JP2012221401A - Electronic instrument and selection method - Google Patents

Electronic instrument and selection method Download PDF

Info

Publication number
JP2012221401A
JP2012221401A JP2011089063A JP2011089063A JP2012221401A JP 2012221401 A JP2012221401 A JP 2012221401A JP 2011089063 A JP2011089063 A JP 2011089063A JP 2011089063 A JP2011089063 A JP 2011089063A JP 2012221401 A JP2012221401 A JP 2012221401A
Authority
JP
Japan
Prior art keywords
pattern
unit
change
pixel
unit area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011089063A
Other languages
Japanese (ja)
Other versions
JP5845612B2 (en
Inventor
Takeshi Yagi
健 八木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2011089063A priority Critical patent/JP5845612B2/en
Priority to PCT/JP2012/057134 priority patent/WO2012133028A1/en
Publication of JP2012221401A publication Critical patent/JP2012221401A/en
Priority to US14/029,421 priority patent/US20140098992A1/en
Application granted granted Critical
Publication of JP5845612B2 publication Critical patent/JP5845612B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To acquire number values showing picked up images themselves simply which enables simple comparison between the picked up images.SOLUTION: An electronic instrument 1 includes: an imaging unit 10; and an extracting unit 20 which extracts rhythm information showing a pattern of spatial change of a picked up image picked up by the imaging unit 10. The extracting unit 20 includes: a first storage unit 22 which stores the rhythm information in association with a pattern of spatial change of a unit region within an image; a calculation unit 24 which calculates a pattern of spatial change of a unit region in the picked up image picked up by the imaging unit 10; and a selection unit 26 which selects the rhythm information corresponding to the pattern of spatial change of the unit region calculated by the calculation unit 24 from the first storage unit 22.

Description

本発明は、電子機器及び選択方法に関するものである。   The present invention relates to an electronic device and a selection method.

従来、動画像からパターンマッチングにより所定のオブジェクト(例えば人の顔)を抽出する技術が開示されている(例えば、特許文献1参照)。特許文献1によれば、表示画面上に所定のオブジェクトの撮像領域を示すことができる。   Conventionally, a technique for extracting a predetermined object (for example, a human face) from a moving image by pattern matching has been disclosed (for example, see Patent Document 1). According to Patent Document 1, an imaging area of a predetermined object can be shown on the display screen.

特開2009−31469号公報JP 2009-31469 A

しかしながら、特許文献1に開示された技術では、撮像画像自体を数値化(指標化)していないので、撮像画像同士を比較することができないという問題がある。更に、撮像画像同士を比較することができないので、撮像画像同士の比較結果を応用した種々の応用処理(例えば、撮像画像の類似度に基づく撮像画像のグループ化、各撮像機器による撮像画像の類似度に基づく撮像機器のグループ化、基準とする撮像画像に類似する撮像画像の抽出、異なる画像からの類似点の抽出)を実現することができないという問題がある。
本発明は、上記問題に鑑みてなされたものであり、撮像画像同士を簡便に比較可能な、撮像画像自体を示す数値(指標)を簡便に取得する電子機器を提供する。
However, the technique disclosed in Patent Document 1 has a problem that the captured images themselves cannot be compared because the captured images themselves are not digitized (indexed). Furthermore, since the captured images cannot be compared, various application processes that apply the comparison results between the captured images (for example, grouping of captured images based on the similarity of captured images, similarity of captured images by each imaging device) There is a problem that grouping of imaging devices based on degree, extraction of a captured image similar to a reference captured image, and extraction of similar points from different images) cannot be realized.
The present invention has been made in view of the above problems, and provides an electronic apparatus that can easily acquire a numerical value (an index) indicating a captured image itself that can easily compare captured images.

上記問題を解決するために、本発明の一態様である電子機器は、画像内の単位領域の空間的な変化のパターンに対応付けて画像の空間的な変化のパターンを表すリズム情報を記憶する記憶部と、撮像部と、前記撮像部によって撮像された撮像画像における単位領域の変化のパターンを算出する算出部と、前記算出部によって算出された単位領域の変化のパターンに対応する前記リズム情報を前記記憶部から選択する選択部とを備えることを特徴とする。   In order to solve the above problem, an electronic device according to one embodiment of the present invention stores rhythm information representing a spatial change pattern of an image in association with a spatial change pattern of a unit region in the image. A storage unit, an imaging unit, a calculation unit that calculates a unit area change pattern in a captured image captured by the imaging unit, and the rhythm information corresponding to the unit region change pattern calculated by the calculation unit And a selection unit that selects the storage unit from the storage unit.

上記電子機器において、前記記憶部は、前記記憶部は、単位領域の変化のパターンである第1パターンと、単位領域の変化のパターンである第2パターンの組合せに対応付けて前記リズム情報を記憶し、前記算出部は、前記一の撮像画像における主要オブジェクトを構成する単位領域の変化のパターンと前記主要オブジェクト以外を構成する単位領域の変化のパターンとを算出し、前記選択部は、前記算出部によって算出された前記主要オブジェクトを構成する単位領域の変化のパターンに前記第1パターンが対応し、かつ、前記算出部によって算出された前記主要オブジェクト以外を構成する単位領域の変化のパターンに前記第2パターンが対応する、前記リズム情報を前記記憶部から選択するようにしてもよい。   In the electronic apparatus, the storage unit stores the rhythm information in association with a combination of a first pattern that is a unit area change pattern and a second pattern that is a unit area change pattern. The calculation unit calculates a change pattern of a unit area constituting a main object in the one captured image and a change pattern of a unit area constituting a part other than the main object, and the selection unit calculates the calculation The first pattern corresponds to the pattern of change of the unit area constituting the main object calculated by the unit, and the pattern of change of the unit area constituting the part other than the main object calculated by the calculation unit The rhythm information corresponding to the second pattern may be selected from the storage unit.

上記電子機器において、前記単位領域は、所定数の隣接画素からなる画素グループであって、単位領域の変化のパターンは、前記画素グループ毎の平均画素値、最大画素値、最小画素値、又は、画素値の中央値の空間的な変化を示す情報であってもよい。   In the electronic apparatus, the unit area is a pixel group including a predetermined number of adjacent pixels, and the change pattern of the unit area is an average pixel value, a maximum pixel value, a minimum pixel value, or It may be information indicating a spatial change in the median value of the pixel values.

上記電子機器において、前記単位領域は、所定数の隣接画素からなる画素グループであって、単位領域の変化のパターンは、前記画素グループ中の各画素による情報から、周波数領域と時間領域での変化をリズムとして抽出した情報であってもよい。   In the electronic device, the unit region is a pixel group including a predetermined number of adjacent pixels, and the change pattern of the unit region is a change in the frequency region and the time region based on information from each pixel in the pixel group. May be extracted as a rhythm.

上記電子機器において、前記単位領域は、画素値の差が所定値以下である隣接画素からなる画素グループであって、単位領域の変化のパターンは、前記画素グループ毎の平均画素値、最大画素値、最小画素値、又は、画素値の中央値の空間的な変化を示す情報であってもよい。   In the electronic device, the unit area is a pixel group including adjacent pixels having a pixel value difference equal to or less than a predetermined value, and the change pattern of the unit area includes an average pixel value and a maximum pixel value for each pixel group. , Information indicating a spatial change in the minimum pixel value or the median value of the pixel values.

上記電子機器において、単位領域の変化のパターンは、画素値の差が所定値以下である隣接画素からなる画素グループの分布を示す情報であってもよい。   In the electronic apparatus, the unit area change pattern may be information indicating a distribution of pixel groups including adjacent pixels having a pixel value difference equal to or less than a predetermined value.

上記問題を解決するために、本発明の他の態様である選択方法は、画像内の単位領域の空間的な変化のパターンに対応付けて画像の空間的な変化のパターンを表すリズム情報を記憶する記憶部を備える電子機器において、撮像部によって撮像された撮像画像の前記リズム情報を選択する選択方法であって、前記電子機器の算出手段が、前記撮像画像における単位領域の変化のパターンを算出し、前記電子機器の選択手段が、前記算出手段によって算出された単位領域の変化のパターンに対応する前記リズム情報を前記記憶部から選択することを特徴とする。   In order to solve the above problem, a selection method according to another aspect of the present invention stores rhythm information representing a spatial change pattern of an image in association with a spatial change pattern of a unit region in the image. In the electronic device including the storage unit, the selection method of selecting the rhythm information of the captured image captured by the imaging unit, wherein the calculation unit of the electronic device calculates a pattern of change of the unit region in the captured image The selection unit of the electronic device selects the rhythm information corresponding to the change pattern of the unit area calculated by the calculation unit from the storage unit.

本発明によれば、撮像画像自体を示す数値(リズム情報)を当該撮像画像から簡便に取得することができる。また、当該数値を用いて撮像画像同士を簡便に比較することができる。更に、撮像画像同士の比較結果を種々の応用処理(例えば、撮像画像の類似度に基づく撮像画像のグループ化、各撮像機器による撮像画像の類似度に基づく撮像機器のグループ化、基準とする撮像画像に類似する撮像画像の抽出、異なる画像からの類似点の抽出)に活用することができる。   According to the present invention, a numerical value (rhythm information) indicating a captured image itself can be easily acquired from the captured image. Further, the captured images can be easily compared using the numerical values. Furthermore, the comparison results between the captured images can be applied to various application processes (for example, grouping of the captured images based on the similarity of the captured images, grouping of the imaging devices based on the similarity of the captured images by the respective image capturing devices, and imaging as a reference) It can be used for extraction of captured images similar to images and extraction of similar points from different images).

本発明の一実施形態による電子機器1の一例を示す構成図である。It is a lineblock diagram showing an example of electronic equipment 1 by one embodiment of the present invention. 抽出部20の処理を説明するための説明図である。FIG. 6 is an explanatory diagram for explaining processing of an extraction unit 20. 抽出部20の処理を説明するための説明図である。FIG. 6 is an explanatory diagram for explaining processing of an extraction unit 20. 電子機器1の動作の一例を示すフローチャートである。3 is a flowchart illustrating an example of an operation of the electronic device 1. 抽出部20の他の処理を説明するための説明図である。FIG. 10 is an explanatory diagram for explaining another process of the extraction unit 20.

以下、図面を参照しながら本発明の一実施形態について説明する。図1は、本発明の一実施形態による電子機器1の一例を示す構成図である。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a configuration diagram illustrating an example of an electronic apparatus 1 according to an embodiment of the present invention.

電子機器1は、例えば、デジタルカメラであって、図1に示すように、撮像部10、抽出部20及び第2記憶部40を備える。抽出部20は、第1記憶部22、算出部24及び選択部26を有する。   The electronic device 1 is, for example, a digital camera, and includes an imaging unit 10, an extraction unit 20, and a second storage unit 40 as illustrated in FIG. The extraction unit 20 includes a first storage unit 22, a calculation unit 24, and a selection unit 26.

撮像部10は、静止画像及び動画像を撮像するカメラである。抽出部20は、撮像部10によって撮像された撮像画像(静止画像)の空間的な変化のパターンを表すリズム情報を抽出する。第2記憶部40は、抽出部20によって抽出されたリズム情報を記憶する。   The imaging unit 10 is a camera that captures still images and moving images. The extraction unit 20 extracts rhythm information representing a spatial change pattern of the captured image (still image) captured by the imaging unit 10. The second storage unit 40 stores the rhythm information extracted by the extraction unit 20.

第1記憶部22は、画像内の単位領域(以下、画素グループと称する)の空間的な変化のパターンに対応付けて上述のリズム情報を記憶する。具体的には、第1記憶部22は、画素グループの変化のパターンである第1パターンと、画素グループの変化のパターンである第2パターンの組合せに対応付けてリズム情報を記憶する。   The first storage unit 22 stores the rhythm information described above in association with a spatial change pattern of a unit region (hereinafter referred to as a pixel group) in the image. Specifically, the first storage unit 22 stores rhythm information in association with a combination of a first pattern that is a pixel group change pattern and a second pattern that is a pixel group change pattern.

画素グループは、所定数の隣接画素から構成される。画像内の画素グループの変化のパターンとは、画素グループ毎の平均画素値(画素グループ内の複数の画素の画素値の平均値)の空間的な変化を示す情報である。空間的な変化とは、画像内の位置に応じた変化である。   A pixel group is composed of a predetermined number of adjacent pixels. The change pattern of the pixel group in the image is information indicating a spatial change in the average pixel value for each pixel group (the average value of the pixel values of a plurality of pixels in the pixel group). A spatial change is a change according to the position in the image.

第1パターンは、上述の如く画素グループの変化のパターンであるが、主に、画像内における主要オブジェクト(例えば、中央領域に撮像されているオブジェクト)を構成する画素グループの変化のパターンを表したものである。一方、第2パターンは、主に、画像内における主要オブジェクト以外を構成する画素グループの変化のパターンを表したものである。   The first pattern is a change pattern of the pixel group as described above, but mainly represents a change pattern of the pixel group constituting the main object (for example, an object imaged in the central area) in the image. Is. On the other hand, the second pattern mainly represents a change pattern of a pixel group constituting other than the main object in the image.

第1パターンと第2パターンの組合せに対応付けてリズム情報を記憶する態様としては、特に限定はしないが、本実施形態においては、第1記憶部22は、第1パターンと第2パターンとを夫々記憶するとともに、第1パターンを識別する識別情報(以下、第1パターン識別情報という)と第2パターンを識別する識別情報(以下、第2パターン識別情報という)の組合せ毎にリズム情報を記憶する態様とする。なお、第1パターンと第2パターンとを夫々記憶し、かつ、第1パターン識別情報と第2パターン識別情報の組合せ毎にリズム情報を記憶する態様は、各情報(第1パターン、第2パターン、リズム情報)のメンテナンスに有利である。   The mode of storing rhythm information in association with the combination of the first pattern and the second pattern is not particularly limited, but in the present embodiment, the first storage unit 22 stores the first pattern and the second pattern. The rhythm information is stored for each combination of identification information for identifying the first pattern (hereinafter referred to as first pattern identification information) and identification information for identifying the second pattern (hereinafter referred to as second pattern identification information). It is set as the mode to do. In addition, the aspect which memorize | stores a 1st pattern and a 2nd pattern, respectively, and memorize | stores rhythm information for every combination of 1st pattern identification information and 2nd pattern identification information is each information (1st pattern, 2nd pattern). , Rhythm information) is advantageous for maintenance.

なお、第1記憶部22が記憶する各情報は、電子機器1が作成したものであってもよいし、電子機器1が外部から取得したものであってもよいし、電子機器1のユーザが入力したものであってもよい。なお、電子機器1が作成する態様としては、算出部24が、予め、第1パターン及び第2パターンを算出(生成)するためサンプル画像(撮像部10によって撮像された画像でもよいし、外部から取得したものであってもよい)に基づいて、第1パターン及び第2パターンを算出し、第1記憶部22に、第1パターンと第2パターンとリズム情報とを記憶する。   In addition, each information which the 1st memory | storage part 22 memorize | stores may be what the electronic device 1 created, what the electronic device 1 acquired from the outside, and the user of the electronic device 1 It may be entered. In addition, as an aspect which the electronic device 1 produces, the calculation part 24 may calculate the 1st pattern and the 2nd pattern beforehand (it may be a sample image (the image imaged by the imaging part 10), or from the outside. The first pattern and the second pattern are calculated based on the acquired first pattern, and the first pattern, the second pattern, and the rhythm information are stored in the first storage unit 22.

以下、図2、図3を用いて、抽出部20による処理を詳細に説明する。図2、図3は、抽出部20の処理を説明するための説明図である。   Hereinafter, the processing performed by the extraction unit 20 will be described in detail with reference to FIGS. 2 and 3. 2 and 3 are explanatory diagrams for explaining the processing of the extraction unit 20.

図2(a)に示す画像Pは、第1パターン及び第2パターンを算出するためサンプル画像の一例である。具体的には、サンプル画像Pは、屏風の前に置かれている兜を被写体として、撮像部10によって撮像された撮像画像である。   An image P shown in FIG. 2A is an example of a sample image for calculating the first pattern and the second pattern. Specifically, the sample image P is a captured image that is captured by the imaging unit 10 using a reed placed in front of the screen as a subject.

図2(a)におけるO(X,Y)、O(X,Y)、O(X,Y)、O(X,Y)は、主要オブジェクト(兜)を構成する画素グループの一例である。画素グループO(X,Y)の平均画素値は金色を表す画素値、画素グループO(X,Y)の平均画素値は紺色を表す画素値、画素グループO(X,Y)及び画素グループO(X,Y)の平均画素値は黒色を表す画素値であるものとする。 O (X j , Y n ), O (X j , Y o ), O (X k , Y n ), and O (X k , Y o ) in FIG. 2A constitute a main object (兜). It is an example of a pixel group. The average pixel value of the pixel group O (X j , Y n ) is a pixel value representing gold, the average pixel value of the pixel group O (X j , Y o ) is a pixel value representing amber, and the pixel group O (X k , Y n ) and the average pixel value of the pixel group O (X k , Y o ) are pixel values representing black.

図2(a)におけるB(X,Y)、B(X,Y)、B(X,Y)、B(X,Y)、B(X,Y)、B(X,Y)は、主要オブジェクト(兜)以外を構成する画素グループの一例である。画素グループB(X,Y)及びB(X,Y)の平均画素値は灰色を表す画素値、画素グループB(X,Y)及びB(X,Y)の平均画素値は山吹色を表す画素値、画素グループB(X,Y)及びB(X,Y)の平均画素値は象牙色を表す画素値であるものとする。 B in FIG. 2 (a) (X j, Y l), B (X j, Y m), B (X j, Y p), B (X k, Y l), B (X k, Y m) , B (X k , Y p ) is an example of a pixel group that constitutes other than the main object (兜). The average pixel values of the pixel groups B (X j , Y l ) and B (X k , Y l ) are the pixel values representing gray, the pixel groups B (X j , Y m ) and B (X k , Y m ) It is assumed that the average pixel value is a pixel value representing a hill-brow color, and the average pixel values of the pixel groups B (X j , Y p ) and B (X k , Y p ) are pixel values representing an ivory color.

図2(b)は、図2(a)に基づく第1パターンの一例である。具体的には、図2(b)は、図2(a)に示すサンプル画像Pの主要オブジェクト(兜)を構成する画素グループの変化のパターンである。図2(b)において、例えば、X及びYによって規定される値「金色」は、図2(a)に示す画素グループO(X,Y)の平均画素値が金色である旨を示している。つまり、図2(b)全体は、主要オブジェクト(兜)の空間的な色の変化(位置(X,Y)に応じた変化)のパターンを表している。なお、図2(b)に示す第1パターンを識別する第1パターン識別情報は「P1−I」であるものとする。 FIG. 2B is an example of the first pattern based on FIG. Specifically, FIG. 2B shows a change pattern of pixel groups constituting the main object (兜) of the sample image P shown in FIG. In FIG. 2B, for example, the value “gold color” defined by X j and Y n indicates that the average pixel value of the pixel group O (X j , Y n ) shown in FIG. 2A is gold. Is shown. That is, FIG. 2B as a whole represents a pattern of a spatial color change (change according to position (X, Y)) of the main object (兜). Note that the first pattern identification information for identifying the first pattern shown in FIG. 2B is “P1-I”.

図2(c)は、図2(a)に基づく第2パターンの一例である。具体的には、図2(c)は、図2(a)に示すサンプル画像Pの主要オブジェクト(兜)以外(壁面、屏風、台面)を構成する画素グループの変化のパターンである。図2(c)において、例えば、X及びYによって規定される値「灰色」は、図2(a)に示す画素グループB(X,Y)の平均画素値が灰色である旨を示している。つまり、図2(c)全体は、主要オブジェクト以外(壁面、屏風、台面)の空間的な色の変化(位置(X,Y)に応じた変化)のパターンを表している。なお、図2(c)に示す第2パターンを識別する第2パターン識別情報は「P2−J」であるものとする。 FIG. 2C is an example of the second pattern based on FIG. Specifically, FIG. 2C shows a pattern of changes in pixel groups constituting the main object (wall) other than the main object (wall) in the sample image P shown in FIG. 2A. In FIG. 2C, for example, the value “gray” defined by X j and Y l means that the average pixel value of the pixel group B (X j , Y l ) shown in FIG. 2A is gray. Is shown. That is, FIG. 2C as a whole represents a pattern of spatial color changes (changes according to position (X, Y)) other than the main object (wall surface, screen, and base). Note that the second pattern identification information for identifying the second pattern shown in FIG. 2C is “P2-J”.

第1記憶部22は、図2(a)に示すサンプル画像Pから算出された図2(b)に示す第1パターンと図2(c)に示す第2パターンとを記憶する。なお、実際には、第1記憶部22は、複数のサンプル画像から算出された複数の第1パターン及び複数の第2パターンを記憶する。例えば、第1記憶部22は、N個のサンプル画像から算出されたN個(NはN以下)の第1パターンとN個(NはN以下)の第2パターンを記憶する(第1パターンの数「N」と第2パターンの数「N」は必ずしも一致していなくてもよい)。 The first storage unit 22 stores the first pattern shown in FIG. 2B and the second pattern shown in FIG. 2C calculated from the sample image P shown in FIG. Actually, the first storage unit 22 stores a plurality of first patterns and a plurality of second patterns calculated from a plurality of sample images. For example, the first storage unit 22 stores N 1 (N 1 is N or less) first patterns and N 2 (N 2 is N or less) second patterns calculated from N sample images. (The number of first patterns “N 1 ” and the number of second patterns “N 2 ” do not necessarily match).

図3は、第1パターン識別情報と第2パターン識別情報の組合せ毎のリズム情報の一例である。具体的には、図3に示すリズム情報は、N個の第1パターン識別情報(「P1−1」〜「P1−N」)とN個の第2パターン(「P1−1」〜「P1−N」)のN×N通りの組合せに対応するN×N個のリズム情報(「R(1,1)」〜「R(N,N」))である。 FIG. 3 is an example of rhythm information for each combination of the first pattern identification information and the second pattern identification information. Specifically, the rhythm information shown in FIG. 3, N 1 pieces of the first pattern identification information ( "P1-1" - "P1-N 1") and N 2 pieces of the second pattern ( "P1-1" N 1 × N 2 pieces of rhythm information corresponding to the combination of N 1 × N 2 Street - "P1-N 2") ( "R (1, 1)" - "R (N 1, N 2")) It is.

つまり、第1記憶部22は、図3に示すように、N個の第1パターンを識別する第1パターン識別情報とN個の第2パターンを識別する第2パターン識別情報の組合せ毎のN×N個のリズム情報を記憶する。例えば、図3において、第1記憶部22は、N×N個のリズム情報のうちの1つとして、図2(b)に示す第1パターンを識別する第1パターン識別情報「P2−J」)、図2(c)に示す第2パターンを識別する第2パターン識別情報「P2−J」とに対応付けてリズム情報「R(I,J)」を記憶している。
以上、図2(b)、図2(c)及び図3に示すように、第1記憶部22は、第1パターンと第2パターンの組合せに対応付けてリズム情報を記憶する。
That is, the first storage unit 22, as shown in FIG. 3, each combination of the second pattern identification information for identifying the first pattern identification information and N 2 pieces of the second pattern that identifies the N 1 pieces of first pattern N 1 × N 2 pieces of rhythm information are stored. For example, in FIG. 3, the first storage unit 22, as one of N 1 × N 2 pieces of rhythm information, the first pattern identification information for identifying the first pattern shown in FIG. 2 (b) "P2- J ") and rhythm information" R (I, J) "is stored in association with the second pattern identification information" P2-J "for identifying the second pattern shown in FIG.
As described above, as illustrated in FIGS. 2B, 2C, and 3, the first storage unit 22 stores rhythm information in association with the combination of the first pattern and the second pattern.

第1記憶部22に、図2(b)、図2(c)及び図3に示すように、第1記憶部22は、第1パターンと第2パターンの組合せに対応付けてリズム情報を記憶されている状態において、算出部24は、撮像部10によって撮像された撮像画像から主要オブジェクトを抽出する。   As shown in FIGS. 2B, 2C, and 3, the first storage unit 22 stores rhythm information in association with the combination of the first pattern and the second pattern. In this state, the calculation unit 24 extracts the main object from the captured image captured by the imaging unit 10.

主要オブジェクトを抽出した算出部24は、主要オブジェクトを構成する画素グループ毎の平均画素値を算出する。即ち、算出部24は、主要オブジェクトを構成する画素グループの空間的な色の変化のパターンを算出する。また、算出部24は、主要オブジェクト以外を構成する画素グループ毎の平均画素値を算出する。即ち、算出部24は、主要オブジェクト以外を構成する画素グループの空間的な色の変化のパターンを算出する。算出部24は、算出した主要オブジェクトを構成する画素グループの空間的な色の変化のパターンと、主要オブジェクト以外を構成する画素グループの空間的な色の変化のパターンとを選択部26に供給する。   The calculation unit 24 that has extracted the main object calculates an average pixel value for each pixel group constituting the main object. That is, the calculation unit 24 calculates a spatial color change pattern of the pixel group that constitutes the main object. In addition, the calculation unit 24 calculates an average pixel value for each pixel group that constitutes other than the main object. That is, the calculation unit 24 calculates a spatial color change pattern of a pixel group that constitutes other than the main object. The calculation unit 24 supplies the calculated spatial color change pattern of the pixel group constituting the main object and the spatial color change pattern of the pixel group constituting the main object to the selection unit 26. .

算出部24から、主要オブジェクトを構成する画素グループの空間的な色の変化のパターンと、主要オブジェクト以外を構成する画素グループの空間的な色の変化のパターンとを取得した選択部26は、主要オブジェクトを構成する画素グループの色の空間的な変化のパターンに第1パターンが対応し、かつ、主要オブジェクト以外を構成する画素グループの空間的な色の変化のパターンに第2パターンが対応する、リズム情報を第1記憶部22から選択する。   The selection unit 26 that has acquired the spatial color change pattern of the pixel group constituting the main object and the spatial color change pattern of the pixel group constituting the main object from the calculation unit 24, The first pattern corresponds to the spatial change pattern of the color of the pixel group constituting the object, and the second pattern corresponds to the spatial color change pattern of the pixel group constituting the object other than the main object. Rhythm information is selected from the first storage unit 22.

例えば、選択部26は、主要オブジェクトを構成する画素グループの空間的な色の変化のパターンと一致若しくは最も類似する第1パターンを選択し、該第1パターンと組を構成している第2パターンのうち、主要オブジェクト以外を構成する画素グループの空間的な色の変化のパターンと一致若しくは最も類似する第2パターンを選択し、該選択した第1パターン及び第2パターンの組合せに対応するリズム情報を取得する。選択部26は、取得したリズム情報を第2記憶部40に記憶する。なお、第2記憶部40に記憶されたリズム情報は、撮像画像同士の比較などに用いられる。   For example, the selection unit 26 selects the first pattern that matches or most closely matches the spatial color change pattern of the pixel group that constitutes the main object, and the second pattern that forms a pair with the first pattern. Rhythm information corresponding to a combination of the selected first pattern and second pattern is selected from among the second patterns that match or most similar to the spatial color change pattern of the pixel group that constitutes other than the main object. To get. The selection unit 26 stores the acquired rhythm information in the second storage unit 40. The rhythm information stored in the second storage unit 40 is used for comparison between captured images.

以下、フローチャートを用いて、電子機器1の動作を説明する。図4は、電子機器1の動作の一例を示すフローチャートである。なお、本フローチャートの開示時において、第1記憶部22には、第1パターンと第2パターンの組合せに対応付けてリズム情報が記憶されているものとする。   Hereinafter, the operation of the electronic apparatus 1 will be described using a flowchart. FIG. 4 is a flowchart illustrating an example of the operation of the electronic device 1. Note that at the time of disclosure of this flowchart, it is assumed that rhythm information is stored in the first storage unit 22 in association with the combination of the first pattern and the second pattern.

算出部24は、撮像画像から主要オブジェクトを抽出する(ステップS10)。算出部24は、主要オブジェクトを構成する画素グループの空間的な色の変化のパターンを算出する(ステップS12)。具体的には、算出部24は、主要オブジェクトを構成する画素グループ毎の平均画素値を算出する。算出部24は、主要オブジェクトを構成する画素グループの空間的な色の変化のパターンを選択部26に供給する。   The calculation unit 24 extracts a main object from the captured image (step S10). The calculating unit 24 calculates a spatial color change pattern of the pixel group constituting the main object (step S12). Specifically, the calculation unit 24 calculates an average pixel value for each pixel group constituting the main object. The calculation unit 24 supplies the selection unit 26 with the spatial color change pattern of the pixel group constituting the main object.

また、算出部24は、主要オブジェクト以外を構成する画素グループの空間的な色の変化のパターンを算出する(ステップS14)。具体的には、算出部24は、主要オブジェクト以外を構成する画素グループ毎の平均画素値を算出する。算出部24は、主要オブジェクト以外を構成する画素グループの空間的な色の変化のパターンを選択部26に供給する。   In addition, the calculation unit 24 calculates a spatial color change pattern of the pixel group that constitutes other than the main object (step S14). Specifically, the calculation unit 24 calculates an average pixel value for each pixel group that constitutes other than the main object. The calculation unit 24 supplies the selection unit 26 with the spatial color change pattern of the pixel group that constitutes other than the main object.

算出部24から、主要オブジェクトを構成する画素グループの空間的な色の変化のパターンと、主要オブジェクト以外を構成する画素グループの空間的な色の変化のパターンとを取得した選択部26は、主要オブジェクトを構成する画素グループの空間的な色の変化のパターンに第1パターンが対応し、かつ、主要オブジェクト以外を構成する画素グループの空間的な色の変化のパターンに第2パターンが対応する、リズム情報を第1記憶部22から選択し(ステップS16)、選択したリズム情報を第2記憶部40に記憶する。そして本フローチャートは終了する。   The selection unit 26 that has acquired the spatial color change pattern of the pixel group constituting the main object and the spatial color change pattern of the pixel group constituting the main object from the calculation unit 24, The first pattern corresponds to the spatial color change pattern of the pixel group constituting the object, and the second pattern corresponds to the spatial color change pattern of the pixel group constituting the object other than the main object. Rhythm information is selected from the first storage unit 22 (step S16), and the selected rhythm information is stored in the second storage unit 40. And this flowchart is complete | finished.

なお、図4に示すフローチャートは、主要オブジェクトを構成する画素グループの空間的な色の変化のパターンを算出した後に、主要オブジェクト以外を構成する画素グループの空間的な色の変化のパターンを算出しているが、主要オブジェクト以外を構成する画素グループの空間的な色の変化のパターンを算出した後に、主要オブジェクトを構成する画素グループの空間的な色の変化のパターンを算出してもよい。   In the flowchart shown in FIG. 4, after calculating the spatial color change pattern of the pixel group constituting the main object, the spatial color change pattern of the pixel group constituting the main object is calculated. However, after calculating the spatial color change pattern of the pixel group constituting the object other than the main object, the spatial color change pattern of the pixel group constituting the main object may be calculated.

以上、電子機器1によれば、撮像画像自体を示す数値であるリズム情報を当該オブジェクトから簡便に取得することができる。また、数値によって表されるリズム情報を用いて撮像画像同士を簡便に比較することができる。更に、撮像画像同士の比較結果を種々の応用処理(例えば、撮像画像の類似度に基づく撮像画像のグループ化、各撮像機器による撮像画像の類似度に基づく撮像機器のグループ化、基準とする撮像画像に類似するオブジェクトの抽出、異なる画像からの類似点の抽出)に活用することができる。   As described above, according to the electronic device 1, rhythm information that is a numerical value indicating the captured image itself can be easily acquired from the object. In addition, captured images can be easily compared using rhythm information represented by numerical values. Furthermore, the comparison results between the captured images can be applied to various application processes (for example, grouping of the captured images based on the similarity of the captured images, grouping of the imaging devices based on the similarity of the captured images by the respective image capturing devices, and imaging as a reference) It can be used for extraction of objects similar to images and extraction of similar points from different images).

また、電子機器1では、主要オブジェクトを構成する画素からなる画素グループと、主要オブジェクト以外を構成する画素からなる画素グループとに区別して撮像画像のリズム情報を抽出するため、即ち、主要オブジェクトの空間的な色の変化のパターンに加え、主要オブジェクト以外の空間的な色の変化のパターンを考慮して撮像画像のリズム情報を抽出するため、高い精度でリズム情報を抽出することができる。   Further, in the electronic apparatus 1, in order to extract the rhythm information of the captured image by distinguishing between a pixel group including pixels constituting the main object and a pixel group including pixels other than the main object, that is, the space of the main object. Since the rhythm information of the captured image is extracted in consideration of the spatial color change pattern other than the main object in addition to the typical color change pattern, the rhythm information can be extracted with high accuracy.

なお、上記実施形態は、画素グループの空間的な色の変化のパターンとして、画素グループ毎の平均画素値(画素グループ内の複数の画素の画素値の平均値)の空間的な変化を示す情報を用いる例であったが、画素グループの空間的な色の変化のパターンとして用いる値はこれに限定されない。例えば、画素グループ毎の最大画素値(画素グループ内の複数の画素の画素値の最大値)の空間的な変化を示す情報、画素グループ毎の最小画素値(画素グループ内の複数の画素の画素値の最小値)の空間的な変化を示す情報、画素グループ毎の画素値の中央値(画素グループ内の複数の画素の画素値の中央値)の空間的な変化を示す情報などを画素グループの色の変化のパターンとして用いてもよい。   In the above-described embodiment, information indicating a spatial change of an average pixel value (average value of pixel values of a plurality of pixels in a pixel group) for each pixel group as a spatial color change pattern of the pixel group. However, the value used as the spatial color change pattern of the pixel group is not limited to this. For example, information indicating a spatial change in the maximum pixel value for each pixel group (the maximum value of the pixel values of a plurality of pixels in the pixel group), the minimum pixel value for each pixel group (pixels of the plurality of pixels in the pixel group) Information indicating the spatial change of the minimum value), information indicating the spatial change of the median pixel value of each pixel group (the median value of the pixel values of a plurality of pixels in the pixel group), etc. It may be used as a color change pattern.

また、画素グループ毎の平均画素値(最大画素値、最小画素値又は画素値の中央値)の空間的な変化を示す情報に代えて、画素グループ毎の周波数領域及び時間領域の変化を示す情報を、画素グループの空間的な色の変化のパターンとして用いてもよい。換言すれば、所定数の隣接画素からなる画素グループ(単位領域)の変化のパターンは、画素グループ中の各画素による情報から、周波数領域と時間領域での変化をリズムとして抽出した情報であってもよい。
なお、周波数領域と時間領域の変化を抽出する方法としては、例えば、単位領域内の各画素における撮像情報を、離散ウェーブレット変換により多重解像度分析することにより得られ、また、単位領域内の各画素における撮像情報を、ある一定毎の周波数帯毎に分割し、それらを設定された周波数帯毎に、窓フーリエ変換することにより得ることができる。この結果、画像を周波数領域と時間領域でのリズム的な変化とすることが可能となり、そのリズムにおける特徴の抽出と共に、比較が可能となる。
Also, instead of information indicating the spatial change of the average pixel value (maximum pixel value, minimum pixel value, or median value of pixel values) for each pixel group, information indicating changes in the frequency domain and time domain for each pixel group May be used as a spatial color change pattern of a pixel group. In other words, a change pattern of a pixel group (unit region) composed of a predetermined number of adjacent pixels is information obtained by extracting changes in the frequency domain and the time domain as rhythms from information by each pixel in the pixel group. Also good.
In addition, as a method for extracting changes in the frequency domain and the time domain, for example, it is obtained by performing multi-resolution analysis on imaging information in each pixel in the unit area by discrete wavelet transform, and each pixel in the unit area The imaging information in can be obtained by dividing every certain frequency band and subjecting them to window Fourier transform for each set frequency band. As a result, it is possible to change the image into a rhythmic change in the frequency domain and the time domain, and it is possible to compare the features together with extraction of features in the rhythm.

また、上記実施形態は、所定数の隣接画素を画素グループとし、また、画素グループ毎の平均画素値(最大画素値、最小画素値又は画素値の中央値)の空間的な変化を示す情報を画素グループの色の変化のパターンとし、当該パターンに基づいて撮像画像に対応するリズム情報を抽出する態様であるが、撮像画像に対応するリズム情報を抽出する態様はこれに限定されない。   In the above-described embodiment, a predetermined number of adjacent pixels are used as a pixel group, and information indicating a spatial change in an average pixel value (maximum pixel value, minimum pixel value, or median value of pixel values) for each pixel group. This is a mode of extracting the rhythm information corresponding to the captured image based on the pattern of the color change of the pixel group, but the mode of extracting the rhythm information corresponding to the captured image is not limited to this.

一例として、画素値の差が所定値以下である隣接画素を画素グループとし、また、画素グループ毎の平均画素値(最大画素値、最小画素値又は画素値の中央値)の空間的な変化を示す情報を画素グループの空間的な色の変化のパターンとし、当該パターンに基づいて撮像画像に対応するリズム情報を抽出してもよい。図5は、抽出部20の他の処理を説明するための説明図である。   As an example, an adjacent pixel having a pixel value difference equal to or less than a predetermined value is defined as a pixel group, and a spatial change in an average pixel value (maximum pixel value, minimum pixel value, or median value of pixel values) for each pixel group. The information shown may be a pattern of spatial color change of the pixel group, and rhythm information corresponding to the captured image may be extracted based on the pattern. FIG. 5 is an explanatory diagram for explaining another process of the extraction unit 20.

図5(a)は、図2に示した主要オブジェクト(兜)を構成する画素において、画素値の差が所定数以下である隣接画像を、主要オブジェクトを構成する画素グループとし、また、主要オブジェクト以外を構成する画素において、画素値の差が所定数以下である隣接画像を、主要オブジェクトを構成する画素グループとして模式図に表したものである。具体的には、O及びOは主要オブジェクトを構成する画素グループ、B及びBは主要オブジェクト以外を構成する画素グループである。なお、壁面の画素値(灰色を示す値)と台面の画素値(象牙色を示す値)の差、及び、兜の本体部分の画素値(黒色を示す値)と本体内部の生地部分の画素値(紺色を示す値)の差は、何れも所定値以下であるものとする(図2参照)。なお、図5に示す例は、説明の便宜上、画素グループ数を少なくしている。 FIG. 5A shows an adjacent image having a pixel value difference equal to or less than a predetermined number in the pixels constituting the main object (兜) shown in FIG. 2 as a pixel group constituting the main object. In the pixels constituting other than the above, adjacent images having a pixel value difference equal to or less than a predetermined number are schematically shown as pixel groups constituting the main object. Specifically, O 1 and O 2 are pixel groups that constitute the main object, and B 1 and B 2 are pixel groups that constitute other than the main object. The difference between the pixel value of the wall surface (value indicating gray) and the pixel value of the base surface (value indicating ivory color), and the pixel value of the main body part of the cocoon (value indicating black color) and the pixel of the fabric part inside the main body It is assumed that the difference between the values (values indicating amber color) is not more than a predetermined value (see FIG. 2). In the example shown in FIG. 5, the number of pixel groups is reduced for convenience of explanation.

図5(b)は、図5(a)に示す画素グループにおける第1パターンの一例である。図5(c)は、図5(a)に示す画素グループにおける第2パターンの一例である。なお、図5(b)(c)において、各値(色)は平均画素値であるが、上述した様に、最大画素値、最小画素値又は中央値を用いてもよい。   FIG. 5B is an example of the first pattern in the pixel group shown in FIG. FIG. 5C is an example of the second pattern in the pixel group shown in FIG. 5B and 5C, each value (color) is an average pixel value. However, as described above, the maximum pixel value, the minimum pixel value, or the median value may be used.

また、図5(b)(c)に示す空間情報1〜空間情報n(nは1以上の整数)は、各画素グループの空間的な位置、大きさ等を規定する情報である。空間情報の一例は、該画素グループに外接する外接円の中心座標、該画素グループに外接する外接矩形の対向する2角(対角線上の2つの角)の座標などである。よって、図5(b)に示す第1パターンは、主要オブジェクトを構成する各画素グループの画素値、位置、大きさ等を記憶し、図5(c)に示す第2パターンは、主要オブジェクト以外を構成する各画素グループの画素値、位置、大きさ等を記憶している。   Also, the spatial information 1 to the spatial information n (n is an integer of 1 or more) shown in FIGS. 5B and 5C are information defining the spatial position, size, etc. of each pixel group. An example of the spatial information is the coordinates of the circumscribed circle circumscribing the pixel group, the coordinates of two opposite corners (two corners on the diagonal) of the circumscribed rectangle circumscribing the pixel group. Therefore, the first pattern shown in FIG. 5B stores the pixel value, position, size, etc. of each pixel group constituting the main object, and the second pattern shown in FIG. 5C is other than the main object. The pixel value, position, size, and the like of each pixel group that constitutes is stored.

つまり、抽出部20は、図5(a)に示すように画素値の差が所定値以下である隣接画素を画素グループとし、また、第1パターンとして図5(b)に示すように主要オブジェクトを構成する画素グループ毎の平均画素値の空間的な変化を示す情報を記憶し、第2パターンとして図5(c)に示すように主要オブジェクト以外を構成する画素グループ毎の平均画素値の空間的な変化を示す情報を記憶し、当該第1、第2パターンの組合せに対応するリズム情報(非図示)を記憶し、これらの情報に基づいて撮像画像に対応するリズム情報を抽出してもよい。このようにリズム情報を抽出する場合であっても、図2、3の示すような第1、第2パターン、リズム情報に基づいてリズム情報を抽出する場合と同様の効果を得ることができる。   That is, the extraction unit 20 sets adjacent pixels whose pixel value difference is equal to or smaller than a predetermined value as shown in FIG. 5A as a pixel group, and sets the main object as the first pattern as shown in FIG. 5B. The information indicating the spatial change of the average pixel value for each pixel group constituting the pixel is stored, and the space of the average pixel value for each pixel group constituting other than the main object as shown in FIG. 5C as the second pattern Information indicative of a specific change is stored, rhythm information (not shown) corresponding to the combination of the first and second patterns is stored, and rhythm information corresponding to the captured image is extracted based on the information. Good. Even when rhythm information is extracted in this way, the same effects as those obtained when rhythm information is extracted based on the first and second patterns and rhythm information as shown in FIGS.

なお、図5(b)(c)の空間情報の情報量を多くすれば、画像内における主要オブジェクトを構成する各画素グループ、及び、主要オブジェクト以外を構成する各画素グループの位置及び形状は細かく表現できる。即ち、図5を用いて説明した態様は、画素値の差が所定値以下である隣接画素を画素グループとし、また、画素グループの分布の空間的な変化(即ち、各画素グループの位置及び形状)を示す情報を画素グループの空間的な色の変化のパターンとし、当該パターンに基づいて撮像画像に対応するリズム情報を抽出することに相当する。   If the amount of spatial information in FIGS. 5B and 5C is increased, the position and shape of each pixel group constituting the main object in the image and each pixel group constituting other than the main object are fine. Can express. That is, in the aspect described with reference to FIG. 5, adjacent pixels whose pixel value difference is equal to or smaller than a predetermined value are defined as pixel groups, and the spatial change in the distribution of pixel groups (that is, the position and shape of each pixel group). ) Is a pattern of spatial color change of the pixel group, and rhythm information corresponding to the captured image is extracted based on the pattern.

なお、画素グループの分布の空間的な変化を示す情報として、各画素グループの位置及び形状に代えて、例えば、空間毎の画素グループに関する情報を用いてもよい。空間毎の画素グループに関する情報としては、例えば、画像内に予め定めた所定領域(例えば、左上4分の1の領域、右上4分の1の領域、左下4分の1の領域、右下4分の1の領域)別の、主要オブジェクトを構成する各画素グループ、主要オブジェクト以外を構成する各画素グループの夫々の、画素グループ数、各画素グループの大きさ、色(画素値)の分布などである。   In addition, as information indicating a spatial change in the distribution of pixel groups, for example, information regarding pixel groups for each space may be used instead of the position and shape of each pixel group. As information about the pixel group for each space, for example, a predetermined area in the image (for example, an upper left quarter area, an upper right quarter area, a lower left quarter area, a lower right area 4). Each pixel group that constitutes the main object, and each pixel group that constitutes other than the main object, the number of pixel groups, the size of each pixel group, the distribution of colors (pixel values), etc. It is.

なお、本発明の一実施形態による電子機器1の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、電子機器1の各処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。   Note that a program for executing each process of the electronic apparatus 1 according to an embodiment of the present invention is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed. Thus, each process of the electronic device 1 may be performed. Here, the “computer system” may include an OS and hardware such as peripheral devices. Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used. The “computer-readable recording medium” means a flexible disk, a magneto-optical disk, a ROM, a writable nonvolatile memory such as a flash memory, a portable medium such as a CD-ROM, a hard disk built in a computer system, etc. This is a storage device.

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。   Further, the “computer-readable recording medium” means a volatile memory (for example, DRAM (Dynamic DRAM) in a computer system that becomes a server or a client when a program is transmitted through a network such as the Internet or a communication line such as a telephone line. Random Access Memory)), etc., which hold programs for a certain period of time. The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。   The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.

1…電子機器、10…撮像部、20…抽出部、22…第1記憶部、24…算出部、26…選択部、40…第2記憶部 DESCRIPTION OF SYMBOLS 1 ... Electronic device, 10 ... Imaging part, 20 ... Extraction part, 22 ... 1st memory | storage part, 24 ... Calculation part, 26 ... Selection part, 40 ... 2nd memory | storage part

Claims (7)

画像内の単位領域の空間的な変化のパターンに対応付けて画像の空間的な変化のパターンを表すリズム情報を記憶する記憶部と、
撮像部と、
前記撮像部によって撮像された撮像画像における単位領域の変化のパターンを算出する算出部と、
前記算出部によって算出された単位領域の変化のパターンに対応する前記リズム情報を前記記憶部から選択する選択部と
を備えることを特徴とする電子機器。
A storage unit for storing rhythm information representing a pattern of spatial change of the image in association with a pattern of spatial change of the unit area in the image;
An imaging unit;
A calculation unit that calculates a pattern of a change in unit area in a captured image captured by the imaging unit;
An electronic apparatus comprising: a selection unit that selects, from the storage unit, the rhythm information corresponding to the unit area change pattern calculated by the calculation unit.
請求項1に記載の電子機器において、
前記記憶部は、
単位領域の変化のパターンである第1パターンと、単位領域の変化のパターンである第2パターンの組合せに対応付けて前記リズム情報を記憶し、
前記算出部は、
前記一の撮像画像における主要オブジェクトを構成する単位領域の変化のパターンと前記主要オブジェクト以外を構成する単位領域の変化のパターンとを算出し、
前記選択部は、
前記算出部によって算出された前記主要オブジェクトを構成する単位領域の変化のパターンに前記第1パターンが対応し、かつ、前記算出部によって算出された前記主要オブジェクト以外を構成する単位領域の変化のパターンに前記第2パターンが対応する、前記リズム情報を前記記憶部から選択することを特徴とする電子機器。
The electronic device according to claim 1,
The storage unit
Storing the rhythm information in association with a combination of a first pattern, which is a pattern of change in unit area, and a second pattern, which is a pattern of change in unit area,
The calculation unit includes:
Calculating a change pattern of a unit area constituting a main object and a change pattern of a unit area constituting a part other than the main object in the one captured image;
The selection unit includes:
The first pattern corresponds to the pattern of change of the unit area constituting the main object calculated by the calculation unit, and the pattern of change of the unit area constituting other than the main object calculated by the calculation unit The rhythm information corresponding to the second pattern is selected from the storage unit.
請求項1又は請求項2に記載の電子機器において、
前記単位領域は、
所定数の隣接画素からなる画素グループであって、
単位領域の変化のパターンは、
前記画素グループ毎の平均画素値、最大画素値、最小画素値、又は、画素値の中央値の空間的な変化を示す情報であることを特徴とする電子機器。
The electronic device according to claim 1 or 2,
The unit area is
A pixel group consisting of a predetermined number of adjacent pixels,
The unit area change pattern is
An electronic device, which is information indicating a spatial change in an average pixel value, a maximum pixel value, a minimum pixel value, or a median value of pixel values for each pixel group.
請求項1又は請求項2に記載の電子機器において、
前記単位領域は、
所定数の隣接画素からなる画素グループであって、
単位領域の変化のパターンは、
前記画素グループ中の各画素による情報から、周波数領域と時間領域での変化をリズムとして抽出した情報であることを特徴とする電子機器。
The electronic device according to claim 1 or 2,
The unit area is
A pixel group consisting of a predetermined number of adjacent pixels,
The unit area change pattern is
An electronic apparatus characterized by being information obtained by extracting changes in a frequency domain and a time domain as a rhythm from information by each pixel in the pixel group.
請求項1又は請求項2に記載の電子機器において、
前記単位領域は、
画素値の差が所定値以下である隣接画素からなる画素グループであって、
単位領域の変化のパターンは、
前記画素グループ毎の平均画素値、最大画素値、最小画素値、又は、画素値の中央値の空間的な変化を示す情報であることを特徴とする電子機器。
The electronic device according to claim 1 or 2,
The unit area is
A pixel group consisting of adjacent pixels having a pixel value difference equal to or less than a predetermined value,
The unit area change pattern is
An electronic device, which is information indicating a spatial change in an average pixel value, a maximum pixel value, a minimum pixel value, or a median value of pixel values for each pixel group.
請求項1又は請求項2に記載の電子機器において、
単位領域の変化のパターンは、
画素値の差が所定値以下である隣接画素からなる画素グループの分布を示す情報であることを特徴とする電子機器。
The electronic device according to claim 1 or 2,
The unit area change pattern is
An electronic apparatus characterized by being information indicating a distribution of a pixel group composed of adjacent pixels having a pixel value difference equal to or less than a predetermined value.
画像内の単位領域の空間的な変化のパターンに対応付けて画像の空間的な変化のパターンを表すリズム情報を記憶する記憶部を備える電子機器において、撮像部によって撮像された撮像画像の前記リズム情報を選択する選択方法であって、
前記電子機器の算出手段が、前記撮像画像における単位領域の変化のパターンを算出し、
前記電子機器の選択手段が、前記算出手段によって算出された単位領域の変化のパターンに対応する前記リズム情報を前記記憶部から選択する
ことを特徴とする選択方法。
The rhythm of a captured image captured by an imaging unit in an electronic device including a storage unit that stores rhythm information representing a pattern of spatial change of an image in association with a pattern of spatial change of a unit area in the image A selection method for selecting information,
The calculation unit of the electronic device calculates a pattern of change of the unit area in the captured image,
The selection method of the electronic device, wherein the selection unit of the electronic device selects the rhythm information corresponding to the change pattern of the unit area calculated by the calculation unit from the storage unit.
JP2011089063A 2011-03-25 2011-04-13 Electronic device and selection method Active JP5845612B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011089063A JP5845612B2 (en) 2011-04-13 2011-04-13 Electronic device and selection method
PCT/JP2012/057134 WO2012133028A1 (en) 2011-03-25 2012-03-21 Electronic apparatus, selection method, acquisition method, electronic device, combination method and combination program
US14/029,421 US20140098992A1 (en) 2011-03-25 2013-09-17 Electronic divice, selection method, acquisition method, electronic appratus, synthesis method and synthesis program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011089063A JP5845612B2 (en) 2011-04-13 2011-04-13 Electronic device and selection method

Publications (2)

Publication Number Publication Date
JP2012221401A true JP2012221401A (en) 2012-11-12
JP5845612B2 JP5845612B2 (en) 2016-01-20

Family

ID=47272793

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011089063A Active JP5845612B2 (en) 2011-03-25 2011-04-13 Electronic device and selection method

Country Status (1)

Country Link
JP (1) JP5845612B2 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0520366A (en) * 1991-05-08 1993-01-29 Nippon Telegr & Teleph Corp <Ntt> Animated image collating method
JP2000101437A (en) * 1998-04-17 2000-04-07 Tadahiro Omi Data analysis device and method according to code book system, data recognition device and its method, and recording medium
JP2000293680A (en) * 1999-04-08 2000-10-20 Hitachi Ltd Signal processor
JP2001028050A (en) * 1999-05-10 2001-01-30 Honda Motor Co Ltd Walker detecting device
JP2001134589A (en) * 1999-11-05 2001-05-18 Nippon Hoso Kyokai <Nhk> Moving picture retrieving device
JP2007096379A (en) * 2005-09-27 2007-04-12 Casio Comput Co Ltd Imaging apparatus, image recording and retrieving apparatus and program
JP2010026722A (en) * 2008-07-17 2010-02-04 Sharp Corp Number of step measurement device
JP2010044698A (en) * 2008-08-18 2010-02-25 Seiko Precision Inc Pedestrian detector and program

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0520366A (en) * 1991-05-08 1993-01-29 Nippon Telegr & Teleph Corp <Ntt> Animated image collating method
JP2000101437A (en) * 1998-04-17 2000-04-07 Tadahiro Omi Data analysis device and method according to code book system, data recognition device and its method, and recording medium
JP2000293680A (en) * 1999-04-08 2000-10-20 Hitachi Ltd Signal processor
JP2001028050A (en) * 1999-05-10 2001-01-30 Honda Motor Co Ltd Walker detecting device
JP2001134589A (en) * 1999-11-05 2001-05-18 Nippon Hoso Kyokai <Nhk> Moving picture retrieving device
JP2007096379A (en) * 2005-09-27 2007-04-12 Casio Comput Co Ltd Imaging apparatus, image recording and retrieving apparatus and program
JP2010026722A (en) * 2008-07-17 2010-02-04 Sharp Corp Number of step measurement device
JP2010044698A (en) * 2008-08-18 2010-02-25 Seiko Precision Inc Pedestrian detector and program

Also Published As

Publication number Publication date
JP5845612B2 (en) 2016-01-20

Similar Documents

Publication Publication Date Title
WO2018176938A1 (en) Method and device for extracting center of infrared light spot, and electronic device
CN110533609B (en) Image enhancement method, device and storage medium suitable for endoscope
Vishwakarma et al. Image fusion using adjustable non-subsampled shearlet transform
CN109325988A (en) A kind of facial expression synthetic method, device and electronic equipment
CN110168607A (en) System and method for the identification of automatic table game activities
CN110852160A (en) Image-based biometric identification system and computer-implemented method
JP2020536431A5 (en)
Fang et al. Robust iris presentation attack detection fusing 2d and 3d information
JP2012519927A (en) A novel inpainting technique and method for reconstructing iris scans through partial acquisition mosaic processing
CN110807427B (en) Sight tracking method and device, computer equipment and storage medium
Deligiannidis et al. Emerging trends in image processing, computer vision and pattern recognition
WO2017173183A1 (en) Improved system and method for identifying physical properties of feet
CN107767358B (en) Method and device for determining ambiguity of object in image
CN110298314A (en) The recognition methods of gesture area and device
CN107481280A (en) The antidote and computing device of a kind of skeleton point
CN109241898B (en) Method and system for positioning target of endoscopic video and storage medium
JP2017037424A (en) Learning device, recognition device, learning program and recognition program
CN110826610A (en) Method and system for intelligently detecting whether dressed clothes of personnel are standard
CN109784301A (en) Image processing method, device, computer equipment and storage medium
Sun et al. Image adaptation and dynamic browsing based on two-layer saliency combination
US20100322486A1 (en) Hand-based gender classification
CN111860057A (en) Face image blurring and living body detection method and device, storage medium and equipment
JP5845612B2 (en) Electronic device and selection method
CN110263753A (en) A kind of object statistical method and device
JP4750758B2 (en) Attention area extraction method, attention area extraction device, computer program, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151109

R150 Certificate of patent or registration of utility model

Ref document number: 5845612

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250