JP2015106304A - Subject identifying apparatus, imaging apparatus, and program - Google Patents
Subject identifying apparatus, imaging apparatus, and program Download PDFInfo
- Publication number
- JP2015106304A JP2015106304A JP2013248420A JP2013248420A JP2015106304A JP 2015106304 A JP2015106304 A JP 2015106304A JP 2013248420 A JP2013248420 A JP 2013248420A JP 2013248420 A JP2013248420 A JP 2013248420A JP 2015106304 A JP2015106304 A JP 2015106304A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- reference density
- unit
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims description 40
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000004364 calculation method Methods 0.000 claims abstract description 30
- 238000011156 evaluation Methods 0.000 claims abstract description 25
- 239000000284 extract Substances 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 36
- 230000005484 gravity Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 description 27
- 230000003287 optical effect Effects 0.000 description 13
- 238000001514 detection method Methods 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241000255777 Lepidoptera Species 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Abstract
Description
本発明は、被写体特定装置、撮像装置およびプログラムに関する。 The present invention relates to a subject specifying device, an imaging device, and a program.
従来から、画像に含まれる被写体位置を特定するために、元画像をぼかした画像と元画像の平均濃度画像との差分を求め、かかる差分の絶対値から被写体の顕著性を求める手法が提案されている（例えば、非特許文献１参照）。 Conventionally, in order to specify the position of a subject included in an image, a method has been proposed in which a difference between an image with a blurred original image and an average density image of the original image is obtained, and the saliency of the subject is obtained from the absolute value of the difference. (For example, refer nonpatent literature 1).
従来の技術では、画像によっては被写体の位置を精度よく特定できない点でなお改善の余地があった。 In the conventional technique, there is still room for improvement in that the position of the subject cannot be accurately identified depending on the image.
一つの観点による被写体特定装置は、第１生成部、第２生成部、２値化処理部、算出部、特定部を備える。第１生成部は、入力画像の画素値の平均値を用いて基準濃度画像を生成する。第２生成部は、入力画像と基準濃度画像との差分を用いて、基準濃度画像の画素値から入力画像の画素値を引いた第１画像と、入力画像の画素値から基準濃度画像の画素値を引いた第2画像と、を生成する。２値化処理部は、第１画像および第２画像を２値化して、複数の２値化画像を生成する。算出部は、各々の２値化画像で被写体らしさを示す評価値をそれぞれ算出する。特定部は、評価値を用いて複数の２値化画像から対象画像を抽出し、対象画像に基づいて画像に含まれる被写体の位置を特定する。 A subject specifying device according to one aspect includes a first generation unit, a second generation unit, a binarization processing unit, a calculation unit, and a specification unit. The first generation unit generates a reference density image using an average value of pixel values of the input image. The second generation unit uses a difference between the input image and the reference density image, a first image obtained by subtracting a pixel value of the input image from a pixel value of the reference density image, and a pixel of the reference density image from the pixel value of the input image And a second image with the value subtracted. The binarization processing unit binarizes the first image and the second image to generate a plurality of binarized images. The calculation unit calculates an evaluation value indicating the likelihood of the subject in each binarized image. The specifying unit extracts the target image from the plurality of binarized images using the evaluation value, and specifies the position of the subject included in the image based on the target image.
別の観点による被写体特定装置は、第１生成部、第２生成部、２値化処理部、算出部、特定部を備える。第1生成部は、入力画像の画素値の平均値を用いて基準濃度画像を生成する。第２生成部は、入力画像の画素値と、基準濃度画像とに基づいて、第１の箇所での基準濃度画像からの画素値の乖離度合いを示す第１画像と、第２の箇所での乖離度合いを示す第２画像とを生成する。特定部は、第１画像および第２画像に基づいて、入力画像に含まれる被写体の位置を特定する。 A subject identification device according to another aspect includes a first generation unit, a second generation unit, a binarization processing unit, a calculation unit, and a specification unit. The first generation unit generates a reference density image using an average value of pixel values of the input image. The second generator generates a first image indicating a degree of deviation of the pixel value from the reference density image at the first location based on the pixel value of the input image and the reference density image, and the second location. A second image indicating the degree of deviation is generated. The specifying unit specifies the position of the subject included in the input image based on the first image and the second image.
一つの観点による撮像装置は、被写体の像を撮像する撮像部と、一つの観点の被写体特定装置または別の観点の被写体特定装置とを備える。 An imaging apparatus according to one aspect includes an imaging unit that captures an image of a subject, and a subject specifying apparatus according to one viewpoint or a subject specifying apparatus according to another viewpoint.
一つの観点によるプログラムは、入力画像の画素値の平均値を用いて基準濃度画像を生成する手順と、入力画像の画素値と、基準濃度画像とに基づいて、第１の箇所での基準濃度画像からの画素値の乖離度合いを示す第１画像と、第２の箇所での乖離度合いを示す第２画像とを生成する手順と、第１画像および第２画像に基づいて、入力画像に含まれる被写体の位置を特定する手順と、をコンピュータに実行させる。 A program according to one aspect includes a reference density at a first location based on a procedure for generating a reference density image using an average value of pixel values of an input image, a pixel value of the input image, and the reference density image. Included in the input image based on the procedure for generating the first image indicating the degree of deviation of the pixel value from the image and the second image indicating the degree of deviation at the second location, and the first image and the second image And a computer for executing a procedure for identifying the position of the subject to be read.
本件開示の被写体特定装置、撮像装置およびプログラムは、従来に比べて画像内の被写体の位置を精度よく特定できる。 The subject specifying device, the imaging device, and the program disclosed herein can accurately specify the position of the subject in the image as compared with the related art.
＜第１実施形態の説明＞
図１は、本件開示の撮像装置の一例である第１実施形態の電子カメラの構成例を示す図である。
<Description of First Embodiment>
FIG. 1 is a diagram illustrating a configuration example of the electronic camera according to the first embodiment which is an example of the imaging device disclosed herein.
電子カメラ１００は、撮影光学系１０１と、光学系駆動部１０２と、撮像部１０３と、焦点調節部１０４と、カメラマイコン１０５と、第１メモリ１０６と、第２メモリ１０７と、各種の画像を表示する表示デバイスを含む表示部１０８と、メディアＩ／Ｆ１０９と、ユーザからの操作を受け付ける操作部１１０とを有する。ここで、光学系駆動部１０２、撮像部１０３、焦点調節部１０４、第１メモリ１０６および第２メモリ１０７、表示部１０８、メディアＩ／Ｆ１０９、操作部１１０は、それぞれカメラマイコン１０５に接続されている。 The electronic camera 100 includes a photographing optical system 101, an optical system driving unit 102, an imaging unit 103, a focus adjustment unit 104, a camera microcomputer 105, a first memory 106, a second memory 107, and various images. The display unit 108 includes a display device to be displayed, a media I / F 109, and an operation unit 110 that receives an operation from a user. Here, the optical system driving unit 102, the imaging unit 103, the focus adjustment unit 104, the first memory 106 and the second memory 107, the display unit 108, the media I / F 109, and the operation unit 110 are connected to the camera microcomputer 105, respectively. Yes.
撮影光学系１０１は、例えばズームレンズやフォーカスレンズを含む複数のレンズを有している。簡単のため、図１では、撮影光学系１０１を１枚のレンズで示す。撮影光学系１０１に含まれるズームレンズやフォーカスレンズの各レンズ位置は、光学系駆動部１０２によってそれぞれ光軸方向に調整される。 The photographing optical system 101 has a plurality of lenses including, for example, a zoom lens and a focus lens. For simplicity, FIG. 1 shows the photographing optical system 101 with a single lens. The lens positions of the zoom lens and the focus lens included in the photographing optical system 101 are adjusted in the optical axis direction by the optical system driving unit 102, respectively.
撮像部１０３は、撮影光学系１０１を介して入射された光束による被写体の結像を撮像（撮影）するモジュールである。例えば、撮像部１０３は、光電変換を行う撮像素子と、撮像素子の出力にアナログ信号処理やＡ／Ｄ変換処理などを施す信号処理回路とを含んでいる。なお、上記の撮像素子の画素には、例えば公知のベイヤ配列に従ってＲＧＢのカラーフィルタが配置されており、カラーフィルタでの色分解によって各色に対応する画像信号を出力する。これにより、撮像部１０３は、撮影時に例えばＲＧＢのカラー画像を取得できる。 The imaging unit 103 is a module that captures (captures) an image of a subject formed by a light beam incident via the imaging optical system 101. For example, the imaging unit 103 includes an imaging element that performs photoelectric conversion, and a signal processing circuit that performs analog signal processing, A / D conversion processing, and the like on the output of the imaging element. Note that, for example, RGB color filters are arranged in the pixels of the image sensor according to a known Bayer array, and image signals corresponding to the respective colors are output by color separation in the color filters. Thereby, the imaging unit 103 can acquire, for example, an RGB color image at the time of shooting.
ここで、撮像部１０３は、操作部１１０からの撮像指示に応じて、不揮発性の記憶媒体（１１３）への記録を伴う記録用の静止画像を撮影する。このとき、撮像部１０３は、記録用の静止画像を連写撮影することもできる。また、撮像部１０３は、撮影待機時において所定の時間間隔ごとに観測用の画像（スルー画像）を撮影する。スルー画像は、記録用の静止画像と比べて間引きにより解像度（画像サイズ）が低くなっている。時系列に取得されたスルー画像のデータは、カメラマイコン１０５による各種の演算処理や、表示部１０８での動画表示（ライブビュー表示）に使用される。なお、撮像部１０３で取得される画像を、撮像画像と称することもある。 Here, the imaging unit 103 captures a still image for recording accompanying recording in the nonvolatile storage medium (113) in accordance with an imaging instruction from the operation unit 110. At this time, the imaging unit 103 can also shoot continuous still images for recording. In addition, the imaging unit 103 captures images for observation (through images) at predetermined time intervals during standby for capturing. The through image has a lower resolution (image size) due to thinning than a still image for recording. The through image data acquired in time series is used for various arithmetic processes by the camera microcomputer 105 and for moving image display (live view display) on the display unit 108. Note that an image acquired by the imaging unit 103 may be referred to as a captured image.
焦点調節部１０４は、撮像部１０３の撮像範囲内に設定された焦点検出エリアの情報を用いて、フォーカスレンズの自動焦点調節（Auto Focus）を実行する。 The focus adjustment unit 104 uses the focus detection area information set within the imaging range of the imaging unit 103 to perform automatic focus adjustment (Auto Focus) of the focus lens.
例えば、焦点調節部１０４は、スルー画像を用いて公知のコントラスト検出によりＡＦを実行するものであってもよい。あるいは、焦点調節部１０４は、公知の位相差検出方式により、瞳分割された被写体像の像ズレ量からＡＦを実行するものであってもよい。位相差検出方式による場合、焦点調節部１０４は撮影光学系１０１から入射する光束の一部を用いて、撮像部１０３から独立して焦点検出を行うモジュール（例えば、一眼レフ形式のカメラに実装される焦点検出モジュール）であってもよい。あるいは、撮像部１０３の受光面に焦点検出用の受光素子を配置し、焦点調節部１０４が撮像面で位相差検出ＡＦを行うようにしてもよい。 For example, the focus adjustment unit 104 may perform AF by known contrast detection using a through image. Alternatively, the focus adjustment unit 104 may perform AF based on the image shift amount of the subject image that is divided into pupils by a known phase difference detection method. In the case of the phase difference detection method, the focus adjustment unit 104 is a module that performs focus detection independently of the imaging unit 103 using a part of the light beam incident from the photographing optical system 101 (for example, mounted on a single-lens reflex camera). Focus detection module). Alternatively, a light receiving element for focus detection may be disposed on the light receiving surface of the imaging unit 103, and the focus adjusting unit 104 may perform phase difference detection AF on the imaging surface.
カメラマイコン１０５は、電子カメラ１００の動作を統括的に制御するプロセッサである。例えば、カメラマイコン１０５は、撮像部１０３での撮像画像の撮影制御、自動露出（Auto Exposure）制御、表示部１０８での画像の表示制御、第１メモリ１０６およびメディアＩ／Ｆ１０９での画像の記録制御を行う。また、第１実施形態でのカメラマイコン１０５は、画像処理部１１１、被写体特定部１１２を有している。 The camera microcomputer 105 is a processor that comprehensively controls the operation of the electronic camera 100. For example, the camera microcomputer 105 controls shooting of captured images by the imaging unit 103, automatic exposure control, display control of images by the display unit 108, and recording of images by the first memory 106 and the media I / F 109. Take control. In addition, the camera microcomputer 105 in the first embodiment includes an image processing unit 111 and a subject specifying unit 112.
画像処理部１１１は、撮像画像のデータに対して、色補間、階調変換、ホワイトバランス補正、輪郭強調、ノイズ除去などの画像処理を施す。 The image processing unit 111 performs image processing such as color interpolation, gradation conversion, white balance correction, contour enhancement, and noise removal on the captured image data.
被写体特定部１１２は、本件開示の被写体特定装置の一例であって、撮像部１０３で撮像された画像を用いて、画像に含まれる被写体の位置、形状および大きさを特定する。例えば、被写体特定部１１２は、カラーのスルー画像を用いて、画像に含まれる被写体の位置、形状および大きさを特定する。 The subject specifying unit 112 is an example of the subject specifying device disclosed herein, and uses the image captured by the imaging unit 103 to specify the position, shape, and size of the subject included in the image. For example, the subject specifying unit 112 uses the color through image to specify the position, shape, and size of the subject included in the image.
被写体特定部１１２は、前処理部２００と、第１生成部２０１と、第２生成部２０２と、２値化処理部２０３と、算出部２０４と、特定部２０５とを有する。なお、前処理部２００と、第１生成部２０１、第２生成部２０２、２値化処理部２０３、算出部２０４、特定部２０５の動作については後述する。 The subject specifying unit 112 includes a preprocessing unit 200, a first generation unit 201, a second generation unit 202, a binarization processing unit 203, a calculation unit 204, and a specification unit 205. The operations of the preprocessing unit 200, the first generation unit 201, the second generation unit 202, the binarization processing unit 203, the calculation unit 204, and the specifying unit 205 will be described later.
ここで、図１に示すカメラマイコン１０５の各機能ブロックは、ハードウェア的には任意のプロセッサ、メモリ、その他の電子回路で実現でき、ソフトウェア的にはメモリにロードされたプログラムによって実現される。第１実施形態では、画像処理部１１１、被写体特定部１１２は、カメラマイコン１０５によって処理されるプログラムモジュールである。しかし、画像処理部１１１、被写体特定部１１２の少なくとも一方は、ＡＳＩＣ(Application Specific Integrated Circuit)等であってもよい。同様に、被写体特定部１１２の各機能ブロックは、例えばプログラムモジュールであるが、ＡＳＩＣ等であってもよい。 Here, each functional block of the camera microcomputer 105 shown in FIG. 1 can be realized by an arbitrary processor, memory, or other electronic circuit in hardware, and is realized by a program loaded in the memory in software. In the first embodiment, the image processing unit 111 and the subject specifying unit 112 are program modules processed by the camera microcomputer 105. However, at least one of the image processing unit 111 and the subject specifying unit 112 may be an ASIC (Application Specific Integrated Circuit) or the like. Similarly, each functional block of the subject specifying unit 112 is, for example, a program module, but may be an ASIC or the like.
第１メモリ１０６は、画像処理の前工程や後工程で撮像画像のデータを一時的に記憶するバッファメモリである。例えば、第１メモリ１０６は、ＳＤＲＡＭ等の揮発性メモリである。第２メモリ１０７は、カメラマイコン１０５で処理されるプログラムや、プログラムで使用される各種データを記憶するメモリである。例えば、第２メモリ１０７は、フラッシュメモリ等の不揮発性メモリである。 The first memory 106 is a buffer memory that temporarily stores captured image data in the pre-process and post-process of image processing. For example, the first memory 106 is a volatile memory such as an SDRAM. The second memory 107 is a memory for storing programs processed by the camera microcomputer 105 and various data used in the programs. For example, the second memory 107 is a nonvolatile memory such as a flash memory.
メディアＩ／Ｆ１０９は、不揮発性の記憶媒体１１３を接続するためのコネクタを有している。そして、メディアＩ／Ｆ１０９は、コネクタに接続された記憶媒体１１３に対してデータ（記録用画像）の書き込み／読み込みを実行する。記憶媒体１１３は、例えば、ハードディスクや、半導体メモリを内蔵したメモリカードである。 The media I / F 109 has a connector for connecting the nonvolatile storage medium 113. The media I / F 109 writes / reads data (recording image) to / from the storage medium 113 connected to the connector. The storage medium 113 is, for example, a hard disk or a memory card incorporating a semiconductor memory.
次に、図２を参照しつつ、第１実施形態での電子カメラの動作例を説明する。図２の例では、電子カメラ１００は、画像解析により主要被写体の領域を特定し、主要被写体にピントを合わせるＡＦ制御を実行する。なお、図２の処理は、例えば、撮影モードの起動時にカメラマイコン１０５がプログラムを実行することで開始される。 Next, an example of the operation of the electronic camera in the first embodiment will be described with reference to FIG. In the example of FIG. 2, the electronic camera 100 specifies an area of the main subject by image analysis, and executes AF control for focusing on the main subject. Note that the processing in FIG. 2 is started, for example, when the camera microcomputer 105 executes a program when the shooting mode is activated.
ステップＳ１１において、カメラマイコン１０５は、撮像部１０３を駆動させてスルー画像の撮像を開始する。これにより、カメラマイコン１０５は、カラーのスルー画像を撮像部１３から取得する。なお、撮影待機時において、カメラマイコン１０５は、逐次生成されるスルー画像を表示部１０８に動画表示させてもよい。 In step S <b> 11, the camera microcomputer 105 drives the imaging unit 103 to start capturing a through image. Accordingly, the camera microcomputer 105 acquires a color through image from the imaging unit 13. At the time of shooting standby, the camera microcomputer 105 may cause the display unit 108 to display moving images that are sequentially generated.
ステップＳ１２において、被写体特定部１１２は、スルー画像を入力画像として被写体特定処理を実行する。これにより、撮像部１０３の撮像範囲内での主要被写体の位置が特定される。 In step S12, the subject specifying unit 112 executes subject specifying processing using the through image as an input image. As a result, the position of the main subject within the imaging range of the imaging unit 103 is specified.
ステップＳ１３において、焦点調節部１０４は、被写体特定処理（Ｓ１２）で特定された主要被写体の領域を焦点検出エリアとしてＡＦ制御を実行する。また、Ｓ１３でのカメラマイコン１０５は、被写体特定処理（Ｓ１２）で特定された主要被写体の領域を基準としてスポット測光によるＡＥ演算を実行してもよい。 In step S13, the focus adjustment unit 104 performs AF control using the region of the main subject specified in the subject specifying process (S12) as a focus detection area. Further, the camera microcomputer 105 in S13 may execute AE calculation by spot metering with reference to the area of the main subject specified in the subject specifying process (S12).
ステップＳ１４において、カメラマイコン１０５は、記録用の静止画像の撮像指示を操作部１１０が受け付けたか否かを判定する。撮像指示を操作部１１０が受け付けた場合（Ｓ１４の肯定判定）、Ｓ１５に処理が移行する。一方、撮像指示を操作部１１０が受け付けていない場合（Ｓ１４の否定判定）、Ｓ１６に処理が移行する。 In step S <b> 14, the camera microcomputer 105 determines whether or not the operation unit 110 has received a recording still image capturing instruction. When the operation unit 110 receives an imaging instruction (Yes determination in S14), the process proceeds to S15. On the other hand, when the operation unit 110 has not received an imaging instruction (No determination in S14), the process proceeds to S16.
ステップＳ１５において、カメラマイコン１０５は、撮像部１０３を駆動させて記録用の静止画像の撮像処理を実行する。記録用の静止画像のデータは、画像処理部１１１で所定の処理が施された後に、メディアＩ／Ｆ１０９を介して記憶媒体１１３に記録される。その後、図２の流れ図の処理は終了する。 In step S <b> 15, the camera microcomputer 105 drives the imaging unit 103 to execute a recording still image imaging process. The still image data for recording is recorded in the storage medium 113 via the media I / F 109 after being subjected to predetermined processing by the image processing unit 111. Thereafter, the process of the flowchart of FIG. 2 ends.
ステップＳ１６において、カメラマイコン１０５は、撮影終了の指示を操作部１１０が受け付けたか否かを判定する。撮影終了の指示を操作部１１０が受け付けた場合（Ｓ１６の肯定判定）、図２の流れ図の処理は終了する。一方、撮影終了の指示を操作部１１０が受け付けていない場合（Ｓ１６の否定判定）、Ｓ１２に処理が戻って上記の動作が繰り返される。Ｓ１６の否定判定からＳ１２のループにより被写体特定処理が継続的に実行されるので、電子カメラ１００は、主要被写体を追尾してＡＦを行うことができる。以上で、図２の説明を終了する。 In step S <b> 16, the camera microcomputer 105 determines whether the operation unit 110 has received an instruction to end shooting. When the operation unit 110 receives an instruction to end shooting (Yes determination in S16), the process of the flowchart of FIG. 2 ends. On the other hand, if the operation unit 110 has not received an instruction to end shooting (No determination in S16), the process returns to S12 and the above operation is repeated. Since the subject specifying process is continuously executed by the loop of S12 from the negative determination of S16, the electronic camera 100 can perform AF by tracking the main subject. This is the end of the description of FIG.
また、図３は、被写体特定処理（図２のＳ１２）における被写体特定部１１２の動作例を示す流れ図である。なお、図３に示す流れ図は、本件開示のプログラムの一例である。 FIG. 3 is a flowchart showing an operation example of the subject specifying unit 112 in the subject specifying process (S12 in FIG. 2). Note that the flowchart shown in FIG. 3 is an example of the program disclosed herein.
ステップＳ２１において、前処理部２００は、入力画像であるスルー画像を所定の色空間に変換する。 In step S21, the preprocessing unit 200 converts the through image, which is an input image, into a predetermined color space.
例えば、第１実施形態の前処理部２００は、ＲＧＢ色空間のスルー画像をＹＣｂＣｒ色空間に変換する。スルー画像がＹＣｂＣｒ色空間のデータである場合、Ｓ２１の処理は省略してもよい。なお、前処理部２００は、必要に応じて画像の解像度変換を行い、入力画像の解像度を所望の解像度まで低下させてもよい。 For example, the preprocessing unit 200 according to the first embodiment converts a through image in the RGB color space into a YCbCr color space. When the through image is data in the YCbCr color space, the process of S21 may be omitted. Note that the pre-processing unit 200 may perform image resolution conversion as necessary to reduce the resolution of the input image to a desired resolution.
なお、図４は、入力画像に対応する元画像の一例を示している。図４の元画像は、例えば、記録用の静止画像と同じ解像度であって、草原を背景に蝶と花を撮影した絵柄である。ここで、入力画像であるスルー画像は、元画像の撮像範囲を間引きして読み出される画像であり、元画像よりも解像度が低い。 FIG. 4 shows an example of the original image corresponding to the input image. The original image in FIG. 4 is, for example, a picture that has the same resolution as a still image for recording and is a picture of butterflies and flowers against a meadow. Here, the through image that is an input image is an image that is read out by thinning out the imaging range of the original image, and has a lower resolution than the original image.
ステップＳ２２において、第１生成部２０１は、ＹＣｂＣｒ色空間の各チャネルで入力画像の画素値の平均値をそれぞれ求める。そして、第１生成部２０１は、ＹＣｂＣｒの各チャネルでの平均値を用いて、ＹＣｂＣｒのチャネル別に３つの基準濃度画像を生成する。 In step S22, the first generation unit 201 obtains an average value of pixel values of the input image in each channel of the YCbCr color space. Then, the first generation unit 201 generates three reference density images for each YCbCr channel, using the average value of each YCbCr channel.
各基準濃度画像は、入力画像（スルー画像）と同じ解像度であって、各画素の画素値がいずれも共通する一様の画像である。Ｙチャネルの基準濃度画像は、各画素の画素値がいずれもＹチャネルでの平均値を示す。Ｃｂチャネルの基準濃度画像は、各画素の画素値がいずれもＣｂチャネルでの平均値を示す。Ｃｒチャネルの基準濃度画像は、各画素の画素値がいずれもＣｒチャネルでの平均値を示す。 Each reference density image is a uniform image having the same resolution as the input image (through image) and having the same pixel value for each pixel. In the reference density image of the Y channel, the pixel values of the pixels all indicate the average value in the Y channel. In the reference density image of the Cb channel, the pixel value of each pixel shows an average value in the Cb channel. In the reference density image of the Cr channel, the pixel value of each pixel shows an average value in the Cr channel.
ステップＳ２３において、第２生成部２０２は、ＹＣｂＣｒのチャネル別に、入力画像と基準濃度画像との正負の差分を用いて、第１画像および第２画像を生成する。すなわち、Ｓ２３での第２生成部２０２は、ＹＣｂＣｒの各チャネルで第１画像および第２画像を１組ずつ、計３組生成する。 In step S <b> 23, the second generation unit 202 generates a first image and a second image using the positive / negative difference between the input image and the reference density image for each channel of YCbCr. In other words, the second generation unit 202 in S23 generates a total of three sets of the first image and the second image for each channel of YCbCr.
まず、第１画像の生成手順につき説明する。第２生成部２０２は、ＹＣｂＣｒのチャネル別に、入力画像から基準濃度画像を減じた正の差分画像（入力画像−基準濃度画像）をそれぞれ生成する。正の差分画像では、入力画像の画素値が基準濃度画像の値を上回る箇所で画素値が正の値を示し、入力画像の画素値が基準濃度画像の値を下回る箇所で画素値が負の値を示す。そして、第２生成部２０２は、各々の正の差分画像において負の値を示す画素をゼロ値に置換することで、ＹＣｂＣｒの各チャネルの第１画像を生成する。 First, the first image generation procedure will be described. The second generation unit 202 generates a positive difference image (input image-reference density image) obtained by subtracting the reference density image from the input image for each channel of YCbCr. In the positive difference image, the pixel value indicates a positive value where the pixel value of the input image exceeds the value of the reference density image, and the pixel value is negative where the pixel value of the input image falls below the value of the reference density image Indicates the value. Then, the second generation unit 202 generates a first image of each channel of YCbCr by replacing a pixel indicating a negative value in each positive difference image with a zero value.
第１画像では、入力画像の画素値が基準濃度画像の値を下回る箇所や入力画像の画素値が基準濃度画像の値と一致する箇所では画素値がゼロになる。よって、第１画像では、入力画像の画素値が基準濃度画像の値を上回る箇所で正の差分画像の階調が保持される。また、第１画像の画素値の大きさは、入力画像の画素値が基準濃度画像の値を上回る箇所において、基準濃度画像の値からの乖離度合いを示している。 In the first image, the pixel value becomes zero at a location where the pixel value of the input image is lower than the value of the reference density image or a location where the pixel value of the input image matches the value of the reference density image. Therefore, in the first image, the gradation of the positive difference image is held at a location where the pixel value of the input image exceeds the value of the reference density image. Further, the magnitude of the pixel value of the first image indicates the degree of deviation from the value of the reference density image at a location where the pixel value of the input image exceeds the value of the reference density image.
次に、第２画像の生成手順につき説明する。第２生成部２０２は、ＹＣｂＣｒのチャネル別に、基準濃度画像から入力画像を減じた負の差分画像（基準濃度画像−入力画像）をそれぞれ生成する。負の差分画像では、入力画像の画素値が基準濃度画像の値を下回る箇所で画素値が正の値を示し、入力画像の画素値が基準濃度画像の値を上回る箇所で画素値が負の値を示す。そして、第２生成部２０２は、各々の負の差分画像において負の値を示す画素をゼロ値に置換することで、ＹＣｂＣｒの各チャネルの第２画像を生成する。 Next, a procedure for generating the second image will be described. The second generation unit 202 generates a negative difference image (reference density image-input image) obtained by subtracting the input image from the reference density image for each channel of YCbCr. In the negative difference image, the pixel value indicates a positive value when the pixel value of the input image is lower than the value of the reference density image, and the pixel value is negative when the pixel value of the input image exceeds the value of the reference density image. Indicates the value. Then, the second generation unit 202 generates a second image of each channel of YCbCr by replacing a pixel indicating a negative value in each negative difference image with a zero value.
第２画像では、入力画像の画素値が基準濃度画像の値を上回る箇所や入力画像の画素値が基準濃度画像の値と一致する箇所では画素値がゼロになる。よって、第２画像では、入力画像の画素値が基準濃度画像の値を下回る箇所で負の差分画像の階調が保持される。また、第２画像の画素値の大きさは、入力画像の画素値が基準濃度画像の値を下回る箇所において、基準濃度画像の値からの乖離度合いを示している。 In the second image, the pixel value becomes zero at a location where the pixel value of the input image exceeds the value of the reference density image or a location where the pixel value of the input image matches the value of the reference density image. Therefore, in the second image, the gradation of the negative difference image is maintained at a location where the pixel value of the input image is lower than the value of the reference density image. The magnitude of the pixel value of the second image indicates the degree of deviation from the value of the reference density image at a location where the pixel value of the input image is lower than the value of the reference density image.
一例として、或るチャネルにおいて、基準濃度画像の画素値が１１８、入力画像の画素Ａの画素値が１５０、入力画像の画素Ｂの画素値が９０の場合を考える。上記の場合、正の差分画像では、画素Ａの画素値は３２であり、画素Ｂの画素値は−２８である。そして、第１画像では、画素Ａの画素値は３２であるが、画素Ｂの画素値は負の値のためゼロに置換される。また、上記の場合、負の差分画像では、画素Ａの画素値は−３２であり、画素Ｂの画素値は２８である。そして、第２画像では、画素Ｂの画素値は２８であるが、画素Ａの画素値は負の値のためゼロに置換される。 As an example, consider a case where the pixel value of the reference density image is 118, the pixel value of the pixel A of the input image is 150, and the pixel value of the pixel B of the input image is 90 in a certain channel. In the above case, in the positive difference image, the pixel value of the pixel A is 32 and the pixel value of the pixel B is −28. In the first image, the pixel value of the pixel A is 32, but the pixel value of the pixel B is a negative value and is replaced with zero. In the above case, in the negative difference image, the pixel value of the pixel A is −32 and the pixel value of the pixel B is 28. In the second image, the pixel value of the pixel B is 28, but the pixel value of the pixel A is a negative value and is replaced with zero.
図５（ａ）〜（ｃ）は、図４に対応する各チャネルの第１画像の例を示している。図５（ａ）はＹチャネルの第１画像であり、図５（ｂ）はＣｂチャネルの第１画像であり、図５（ｃ）はＣｒチャネルの第１画像である。図５の例では、第１画像での画素値が大きい部分が白色となる。 FIGS. 5A to 5C show examples of the first image of each channel corresponding to FIG. 5A is a first image of the Y channel, FIG. 5B is a first image of the Cb channel, and FIG. 5C is a first image of the Cr channel. In the example of FIG. 5, a portion with a large pixel value in the first image is white.
また、図６（ａ）〜（ｃ）は、図４に対応する各チャネルの第２画像の例を示している。図６（ａ）はＹチャネルの第２画像であり、図６（ｂ）はＣｂチャネルの第２画像であり、図６（ｃ）はＣｒチャネルの第２画像である。図６の例では、第２画像での画素値が大きい部分が白色となる。 6A to 6C show examples of the second image of each channel corresponding to FIG. 6A is a second image of the Y channel, FIG. 6B is a second image of the Cb channel, and FIG. 6C is a second image of the Cr channel. In the example of FIG. 6, the part with a large pixel value in the second image is white.
ステップＳ２４において、２値化処理部２０３は、色空間のチャネルごとに生成された第１画像および第２画像を所定の閾値で２値化する２値化処理を行う。以下の説明では、各々の２値化画像において、閾値以上の画素を白画素で示し、閾値以上の画素を黒画素で示す。 In step S24, the binarization processing unit 203 performs binarization processing that binarizes the first image and the second image generated for each channel in the color space with a predetermined threshold. In the following description, in each binarized image, pixels that are equal to or higher than the threshold are indicated as white pixels, and pixels that are equal to or higher than the threshold are indicated as black pixels.
ここで、２値化処理部２０３は、第１画像を２値化するときの閾値を第１画像の画素値の標準偏差により決定する。例えば、２値化処理部２０３は、２値化する第１画像の画素値の標準偏差σを求め、標準偏差の２σ、３σに対応する画素値を閾値として第１画像から２値化画像を生成する。以下の説明では、第１画像から生成される２値化画像を正の２値化画像と称することもある。 Here, the binarization processing unit 203 determines a threshold for binarizing the first image based on the standard deviation of the pixel values of the first image. For example, the binarization processing unit 203 obtains the standard deviation σ of the pixel value of the first image to be binarized, and converts the binarized image from the first image using the pixel values corresponding to the standard deviations 2σ and 3σ as threshold values. Generate. In the following description, the binarized image generated from the first image may be referred to as a positive binarized image.
また、２値化処理部２０３は、第２画像を２値化するときの閾値を第２画像の画素値の標準偏差により決定する。例えば、２値化処理部２０３は、２値化する第２画像の画素値の標準偏差σを求め、標準偏差の２σに対応する画素値を閾値として第２画像から２値化画像を生成する。以下の説明では、第２画像から生成される２値化画像を負の２値化画像と称することもある。 In addition, the binarization processing unit 203 determines a threshold for binarizing the second image based on the standard deviation of the pixel values of the second image. For example, the binarization processing unit 203 obtains the standard deviation σ of the pixel value of the second image to be binarized, and generates a binarized image from the second image using the pixel value corresponding to 2σ of the standard deviation as a threshold value. . In the following description, the binarized image generated from the second image may be referred to as a negative binarized image.
Ｓ２４の２値化処理部２０３は、ＹＣｂＣｒのチャネル別にそれぞれ上記の２値化処理を実行する。すなわち、Ｓ２４の２値化処理では、各チャネルで正の２値化画像２枚（閾値２σ、３σ）、負の２値化画像１枚（閾値２σ）がそれぞれ生成され、１枚の入力画像につき合計９枚の２値化画像が生成される（図７参照）。 The binarization processing unit 203 in S24 executes the above-described binarization processing for each YCbCr channel. That is, in the binarization process of S24, two positive binarized images (threshold values 2σ, 3σ) and one negative binarized image (threshold value 2σ) are generated in each channel, and one input image is generated. In total, nine binarized images are generated (see FIG. 7).
ステップＳ２５において、２値化処理部２０３は、Ｓ２４で生成された各々の２値化画像に対して、領域のまとまりを求めるラベリング処理を行う。そして、２値化処理部２０３は、各々の２値化画像について白画素のかたまりを被写体候補の島領域として抽出する。 In step S25, the binarization processing unit 203 performs a labeling process for obtaining a group of regions for each binarized image generated in S24. Then, the binarization processing unit 203 extracts a cluster of white pixels for each binarized image as an object candidate island area.
図７（ａ）〜（ｉ）は、Ｓ２５のラベリング処理後の各２値化画像の例を示している。図７（ａ）はＹチャネルの正の２値化画像（閾値２σ）であり、図７（ｂ）はＣｂチャネルの正の２値化画像（閾値２σ）であり、図７（ｃ）はＣｒチャネルの正の２値化画像（閾値２σ）である。また、図７（ｄ）はＹチャネルの正の２値化画像（閾値３σ）であり、図７（ｅ）はＣｂチャネルの正の２値化画像（閾値３σ）であり、図７（ｆ）はＣｒチャネルの正の２値化画像（閾値３σ）である。また、図７（ｇ）はＹチャネルの負の２値化画像（閾値２σ）であり、図７（ｈ）はＣｂチャネルの負の２値化画像（閾値２σ）であり、図７（ｉ）はＣｒチャネルの負の２値化画像（閾値２σ）である。図７において、被写体候補の島領域は白色で示し、後述の処理により被写体候補から除外される島領域はグレーで示している。 FIGS. 7A to 7I show examples of binarized images after the labeling process of S25. FIG. 7A is a Y channel positive binarized image (threshold 2σ), FIG. 7B is a Cb channel positive binarized image (threshold 2σ), and FIG. It is a positive binary image (threshold value 2σ) of a Cr channel. FIG. 7D shows a Y-channel positive binarized image (threshold value 3σ), and FIG. 7E shows a Cb-channel positive binarized image (threshold value 3σ). ) Is a positive binary image (threshold value 3σ) of the Cr channel. FIG. 7G is a negative binary image (threshold value 2σ) of the Y channel, and FIG. 7H is a negative binary image (threshold value 2σ) of the Cb channel. ) Is a negative binary image (threshold value 2σ) of the Cr channel. In FIG. 7, the island area of the subject candidate is shown in white, and the island area excluded from the subject candidate by the processing described later is shown in gray.
ステップＳ２６において、算出部２０４は、ラベリング処理（Ｓ２５）された各々の２値化画像で、被写体候補の島領域の被写体らしさを示す評価値を算出する。例えば、算出部２０４は、被写体候補の島領域の面積と、島領域の慣性モーメントと、第１画像または第２画像での島領域の画素値とを用いて、被写体らしさの評価値を算出する。 In step S <b> 26, the calculation unit 204 calculates an evaluation value indicating the subjectness of the island area of the subject candidate in each binarized image subjected to the labeling process (S <b> 25). For example, the calculation unit 204 calculates the evaluation value of the subjectness by using the area of the island region of the subject candidate, the moment of inertia of the island region, and the pixel value of the island region in the first image or the second image. .
まず、算出部２０４は、２値化画像での島領域の重心点を求め、求めた重心点を基準として島領域の慣性モーメントを算出する。慣性モーメントは、島領域が重心点から離れるほど値が大きくなる。なお、図７（ａ）〜（ｆ），（ｉ）および後述する図８（ａ）〜（ｆ），（ｉ）では、島領域の重心点をそれぞれ「×」印で示している。 First, the calculation unit 204 obtains the center of gravity of the island region in the binarized image, and calculates the inertia moment of the island region with reference to the obtained center of gravity. The value of the moment of inertia increases as the island region moves away from the center of gravity. 7 (a) to (f) and (i) and FIGS. 8 (a) to (f) and (i) to be described later, the barycentric points of the island regions are indicated by “x” marks, respectively.
ここで、重心点の算出方法および慣性モーメントの算出方法は公知のため詳細な説明は省略するが、例えば、慣性モーメントは、重心点からの画素距離の２乗×（０または１）の和により算出すればよい。そして、算出部２０４は、島領域の面積を、島領域の慣性モーメントで除算することで第１の値を求める。 Here, since the calculation method of the center of gravity point and the calculation method of the moment of inertia are well known, detailed description is omitted. For example, the moment of inertia is calculated by the sum of the square of the pixel distance from the center of gravity point × (0 or 1). What is necessary is just to calculate. Then, the calculation unit 204 obtains the first value by dividing the area of the island region by the moment of inertia of the island region.
次に、算出部２０４は、第１画像または第２画像と、対応する２値化画像との論理積をとることで、第１画像または第２画像での島領域の画素値を抽出する。また、算出部２０４は、第１画像または第２画像での島領域の画素平均値から第２の値を求める。 Next, the calculation unit 204 extracts the pixel value of the island area in the first image or the second image by taking the logical product of the first image or the second image and the corresponding binarized image. In addition, the calculation unit 204 obtains a second value from the pixel average value of the island area in the first image or the second image.
そして、算出部２０４は、上記の第１の値および第２の値を合計して、被写体らしさを示す評価値を算出する。 Then, the calculation unit 204 calculates the evaluation value indicating the subjectness by summing the first value and the second value.
一例として、Ｓ２６の算出部２０４は、以下の式（１）を用いて被写体らしさを示す評価値Ｅｖを算出してもよい。
Ｅｖ＝Ａｒ＾α／ＭＯＩ＋Ａｖ／β ・・・（１）
式（１）において、「Ａｒ」は島領域の面積を示し、「ＭＯＩ」は島領域の慣性モーメントを示し、「Ａｖ」は島領域の画素平均値を示す。また、式（１）において、「α」，「β」はチューニングパラメータとしての係数である。例えば、α＝１．５〜２，β＝１００程度に設定されるが、α，βの値は上記の例に限定されるものではない。
As an example, the calculation unit 204 of S26 may calculate the evaluation value Ev indicating the subjectness using the following formula (1).
Ev = Ar ^ α / MOI + Av / β (1)
In Expression (1), “Ar” represents the area of the island region, “MOI” represents the moment of inertia of the island region, and “Av” represents the pixel average value of the island region. In Expression (1), “α” and “β” are coefficients as tuning parameters. For example, α is set to about 1.5 to 2, β = 100, but the values of α and β are not limited to the above example.
上記の評価値Ｅｖは、島領域の面積Ａｒが大きくなるほど大きな値となり、島領域の慣性モーメントＭＯＩが大きくなるほど小さな値となる。また、上記の評価値Ｅｖは、島領域の画素平均値が大きくなるほど大きな値となる。 The evaluation value Ev increases as the area Ar of the island region increases, and decreases as the inertia moment MOI of the island region increases. Further, the evaluation value Ev becomes larger as the pixel average value of the island region becomes larger.
ここで、Ｓ２６で評価値を算出する前に、算出部２０４は、被写体の可能性が低い領域を被写体候補から除外してもよい。例えば、算出部２０４は、２値化画像の総面積に対して６０％以上の面積となる島領域や、２値化画像の総面積に対して１％以下となる島領域を被写体候補からそれぞれ除外してもよい。また、算出部２０４は、画像の左端又は右端にかかる島領域を被写体候補から除外してもよい。 Here, before calculating the evaluation value in S26, the calculation unit 204 may exclude an area where the possibility of the subject is low from the subject candidates. For example, the calculation unit 204 selects an island region having an area of 60% or more with respect to the total area of the binarized image and an island region having 1% or less with respect to the total area of the binarized image from the subject candidates. It may be excluded. In addition, the calculation unit 204 may exclude an island area at the left end or the right end of the image from the subject candidates.
また、Ｓ２６で評価値を算出する前に、算出部２０４は、被写体候補の島領域を囲む矩形領域を設定するとともに、矩形領域内で白画素が占める面積比や矩形領域の縦横比を用いて被写体候補となる島領域を絞り込んでもよい。例えば、算出部２０４は、矩形領域内で白画素が占める面積比を示す値が所定の閾値（例えば０．２）以下である島領域を被写体候補から除外する。これにより、被写体として通常ありえない凹凸や空洞部分のある島領域がそれぞれ被写体候補から除外される。また、例えば、算出部２０４は、矩形領域の縦横比を示す値が所定の範囲（例えば０．２以上５未満）に含まれる島領域を被写体候補から除外する。これにより、被写体としてありえない細長い島領域が被写体候補から除外される。 Further, before calculating the evaluation value in S26, the calculation unit 204 sets a rectangular area surrounding the island area of the subject candidate, and uses the area ratio occupied by white pixels in the rectangular area and the aspect ratio of the rectangular area. Island areas that are subject candidates may be narrowed down. For example, the calculation unit 204 excludes an island region whose value indicating the area ratio occupied by white pixels in the rectangular region is a predetermined threshold (for example, 0.2) or less from the subject candidates. As a result, island regions having irregularities and hollow portions that are not normally possible as subjects are excluded from the subject candidates. In addition, for example, the calculation unit 204 excludes island regions where a value indicating the aspect ratio of the rectangular region is included in a predetermined range (for example, 0.2 or more and less than 5) from the subject candidates. Thereby, a long and narrow island region that cannot be a subject is excluded from the subject candidates.
ステップＳ２７において、特定部２０５は、ＹＣｂＣｒの各チャネルで生成された複数の２値化画像のうちから、主要被写体の位置を特定するための対象画像を抽出する。特定部２０５は、Ｓ２６で算出された評価値を用いて、評価値が高い順に所定数（例えば３枚）の２値化画像を対象画像として抽出する。そして、特定部２０５は、対象画像に含まれる被写体候補の島領域を主要被写体の位置として特定する。その後、特定部２０５は、被写体特定処理のサブルーチンを終了し、図２の処理に復帰する。 In step S27, the specifying unit 205 extracts a target image for specifying the position of the main subject from a plurality of binarized images generated in each channel of YCbCr. Using the evaluation value calculated in S26, the specifying unit 205 extracts a predetermined number (for example, three) of binarized images in order from the highest evaluation value as a target image. Then, the specifying unit 205 specifies the subject candidate island area included in the target image as the position of the main subject. After that, the specifying unit 205 ends the subject specifying process subroutine and returns to the process of FIG.
図８（ａ）〜（ｉ）は、対象画像を抽出するときの各２値化画像の例を示している。図８（ａ）〜（ｉ）は、図７（ａ）〜（ｉ）の２値化画像にそれぞれ対応している。 FIGS. 8A to 8I show examples of binarized images when extracting a target image. 8A to 8I correspond to the binarized images of FIGS. 7A to 7I, respectively.
図８の例では、被写体候補として残された島領域のうち、被写体らしさを示す評価値の高さが上から２番目までの島領域を示すようにしている。以下、或る２値化画像で評価値が１番目に高い島領域を第１位の島領域とも称し、或る２値化画像で評価値が２番目に高い島領域を第２位の島領域とも称する。図８の（ａ）、（ｃ）の例では、被写体候補として残された島領域が１つのため、２値化画像には第１位の島領域のみが示されている。図８の（ｄ）〜（ｈ）の例では、被写体候補として残された島領域がないため、図８の（ｄ）〜（ｈ）の２値化画像には島領域が示されていない。なお、図８の例では、被写体候補の島領域に対する評価値の記載は省略している。 In the example of FIG. 8, among the island regions left as subject candidates, the island region whose evaluation value indicating the subjectness is the second from the top is shown. Hereinafter, the island region having the highest evaluation value in a certain binarized image is also referred to as the first island region, and the island region having the second highest evaluation value in the certain binarized image is referred to as the second island. Also referred to as a region. In the examples of FIGS. 8A and 8C, only one island region is left as a subject candidate, and therefore, only the first island region is shown in the binarized image. In the example of (d) to (h) in FIG. 8, there is no island area left as a subject candidate, so the island area is not shown in the binarized images of (d) to (h) in FIG. 8. . In the example of FIG. 8, description of evaluation values for the subject candidate island regions is omitted.
図８の例では、図８（ｂ）に示したＣｂチャネルの正の２値化画像（閾値２σ）が１番目に評価値が高く、図８（ａ）に示したＹチャネルの正の２値化画像（閾値２σ）が２番目に評価値が高く、図８（ｃ）に示したＣｒチャネルの正の２値化画像（閾値２σ）が３番目に評価値が高い。上記の場合、特定部２０５は、図８（ｂ）、図８（ａ）、図８（ｃ）を対象画像として抽出し、各対象画像の被写体候補の領域を用いて主要被写体の位置を特定する。 In the example of FIG. 8, the positive binarized image (threshold value 2σ) of the Cb channel shown in FIG. 8B has the first highest evaluation value, and the positive 2 of the Y channel shown in FIG. The evaluation value of the binarized image (threshold value 2σ) is the second highest, and the positive binarized image (threshold value 2σ) of the Cr channel shown in FIG. 8C is the third highest evaluation value. In the above case, the specifying unit 205 extracts FIGS. 8B, 8A, and 8C as target images, and specifies the position of the main subject using the subject candidate area of each target image. To do.
図９は、図４の元画像に主要被写体の位置を重畳して示した図である。図９において、各対象画像の被写体候補の位置は矩形の枠で示している。図９において、１番目の対象画像（図８（ｂ））で第１位の島領域の形状は蝶の形状によく一致する。また、図９において、２番目の対象画像（図８（ａ））および３番目の対象画像（図８（ｃ））でそれぞれ第１位の島領域の形状は一方の花の形状によく一致していることが分かる。以上で、図３の説明を終了する。 FIG. 9 is a diagram showing the position of the main subject superimposed on the original image of FIG. In FIG. 9, the position of the subject candidate of each target image is indicated by a rectangular frame. In FIG. 9, the shape of the first island region in the first target image (FIG. 8B) closely matches the shape of the butterfly. In FIG. 9, the shape of the first island region in the second target image (FIG. 8A) and the third target image (FIG. 8C) is similar to the shape of one flower. You can see that you are doing it. This is the end of the description of FIG.
以下、第１実施形態の被写体特定部１１２による作用効果を述べる。第１実施形態の第１生成部２０１は、入力画像の平均画素値から基準濃度画像を生成する（Ｓ２２）。第２生成部２０２は、基準濃度画像と入力画像との正負の差分を用いて、第１画像および第２画像を生成する（Ｓ２３）。そして、２値化処理部２０３は、第１画像および第２画像をそれぞれ２値化して２値化画像を生成する（Ｓ２４）。上記の処理によると、従来技術のように、平均濃度画像と入力画像またはボケ画像との差分の絶対値に基づいて被写体を抽出する場合と比べて、被写体の形状をより精度よく抽出できる。 Hereinafter, the function and effect of the subject specifying unit 112 of the first embodiment will be described. The first generation unit 201 of the first embodiment generates a reference density image from the average pixel value of the input image (S22). The second generation unit 202 generates the first image and the second image using the positive / negative difference between the reference density image and the input image (S23). Then, the binarization processing unit 203 binarizes the first image and the second image to generate a binarized image (S24). According to the above processing, the shape of the subject can be extracted with higher accuracy than in the case of extracting the subject based on the absolute value of the difference between the average density image and the input image or the blurred image as in the prior art.
例えば、グレーの背景に白い被写体が影とともに写っている輝度画像の例を考える。上記の輝度画像では、平均濃度画像は背景色のグレーに近似する色となる。そして、平均濃度画像とボケ画像との差分の絶対値をとると、背景色のグレーからかけ離れた色は明暗に拘わらずに同様に抽出される。すなわち、上記の輝度画像の例では、従来技術によると、被写体の白色と影の黒色がまとまって抽出されるので白色の被写体の形状を抽出することが困難である。 For example, consider an example of a luminance image in which a white subject is shown with a shadow on a gray background. In the above luminance image, the average density image has a color that approximates the background color gray. When the absolute value of the difference between the average density image and the blurred image is taken, the color far from the gray background color is similarly extracted regardless of the brightness. That is, in the above luminance image example, according to the conventional technique, the white color of the subject and the black color of the shadow are extracted together, so it is difficult to extract the shape of the white subject.
一方、第１実施形態の被写体特定部１１２によると、上記の輝度画像の場合では、白色の被写体は第１画像のみで抽出され、影の部分は第２画像のみで抽出される。よって、第１実施形態の被写体特定部１１２では、基準濃度画像に対して正の値をとる部分と負の値をとる部分とを異なる画像で別々に抽出できるので、従来に比べて画像内の被写体の位置を精度よく特定できる。 On the other hand, according to the subject specifying unit 112 of the first embodiment, in the case of the above luminance image, the white subject is extracted only by the first image, and the shadow portion is extracted only by the second image. Therefore, in the subject specifying unit 112 of the first embodiment, a portion that takes a positive value and a portion that takes a negative value with respect to the reference density image can be extracted separately as different images. The position of the subject can be accurately identified.
また、第１実施形態の被写体特定部１１２は、入力画像の情報だけで被写体の位置を特定できるので、汎用性の高い被写体特定処理を実現できる。 In addition, since the subject specifying unit 112 of the first embodiment can specify the position of the subject using only the information of the input image, highly versatile subject specifying processing can be realized.
また、第１実施形態の被写体特定部１１２は、基準濃度画像と入力画像との正負の差分を用いて第１画像および第２画像を生成し（Ｓ２３）、第１画像および第２画像の２値化画像から被写体を特定する（Ｓ２７）。よって、第１実施形態の被写体特定部１１２は、例えばガボールフィルタ等によりエッジ成分を参照する処理をしなくても、画像内の被写体の位置を精度よく特定できる。 In addition, the subject specifying unit 112 of the first embodiment generates a first image and a second image using a positive / negative difference between the reference density image and the input image (S23), and 2 of the first image and the second image. A subject is specified from the digitized image (S27). Therefore, the subject specifying unit 112 of the first embodiment can specify the position of the subject in the image with high accuracy without performing a process of referring to the edge component by using, for example, a Gabor filter.
また、第１実施形態の被写体特定部１１２は、元画像よりも解像度の低いスルー画像を入力画像として、基準濃度画像、第１画像および第２画像を生成する。元画像よりも解像度が低いスルー画像は、元画像にローパスフィルタをかけた画像とみなすことができる。そのため、元画像をぼかした画像の一例であるスルー画像を用いることで従来技術の手法にある元画像をぼかす工程を省略することができる。 In addition, the subject specifying unit 112 of the first embodiment generates a reference density image, a first image, and a second image by using a through image having a resolution lower than that of the original image as an input image. A through image having a lower resolution than the original image can be regarded as an image obtained by applying a low-pass filter to the original image. Therefore, by using a through image that is an example of an image obtained by blurring the original image, the step of blurring the original image in the conventional technique can be omitted.
＜第２実施形態の説明＞
図１０は、第２実施形態の画像処理装置の構成例を示す図である。第２実施形態の画像処理装置は、本件開示の被写体特定装置として機能するコンピュータである。
<Description of Second Embodiment>
FIG. 10 is a diagram illustrating a configuration example of the image processing apparatus according to the second embodiment. The image processing apparatus according to the second embodiment is a computer that functions as a subject specifying apparatus disclosed herein.
図１０に示すコンピュータ３０１は、データ読込部３０２、記憶装置３０３、ＣＰＵ３０４、メモリ３０５および入出力Ｉ／Ｆ３０６、バス３０７を有している。データ読込部３０２、記憶装置３０３、ＣＰＵ３０４、メモリ３０５および入出力Ｉ／Ｆ３０６は、バス３０７を介して相互に接続されている。さらに、コンピュータ３０１には、入出力Ｉ／Ｆ３０６を介して、入力デバイス３０８（キーボード、ポインティングデバイスなど）とモニタ３０９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ３０６は、入力デバイス３０８からの各種入力を受け付けるとともに、モニタ３０９に対して表示用のデータを出力する。 A computer 301 illustrated in FIG. 10 includes a data reading unit 302, a storage device 303, a CPU 304, a memory 305, an input / output I / F 306, and a bus 307. The data reading unit 302, the storage device 303, the CPU 304, the memory 305, and the input / output I / F 306 are mutually connected via a bus 307. Further, an input device 308 (keyboard, pointing device, etc.) and a monitor 309 are connected to the computer 301 via an input / output I / F 306. Note that the input / output I / F 306 accepts various inputs from the input device 308 and outputs display data to the monitor 309.
データ読込部３０２は、画像のデータや、プログラムを外部から読み込むときに用いられる。データ読込部３０２は、例えば、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）である。 The data reading unit 302 is used when reading image data or a program from the outside. The data reading unit 302 communicates with, for example, a reading device (such as an optical disk, a magnetic disk, or a magneto-optical disk reading device) that acquires data from a removable storage medium, or an external device in accordance with a known communication standard. A communication device to perform (USB interface, LAN module, wireless LAN module, etc.).
記憶装置３０３は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体である。記憶装置３０３には、上記のプログラムや、プログラムの実行に必要となる各種データが記憶されている。なお、記憶装置３０３には、データ読込部３０２から読み込んだ画像のデータなどを記憶しておくこともできる。 The storage device 303 is a storage medium such as a hard disk or a nonvolatile semiconductor memory. The storage device 303 stores the above programs and various data necessary for executing the programs. The storage device 303 can also store image data read from the data reading unit 302.
ＣＰＵ３０４は、コンピュータ３０１の各部を統括的に制御するプロセッサである。このＣＰＵ３０４は、プログラムの実行によって、第１実施形態の画像処理部１１１、被写体特定部１１２（前処理部２００、第１生成部２０１、第２生成部２０２、２値化処理部２０３、算出部２０４、特定部２０５）として機能する。 The CPU 304 is a processor that comprehensively controls each unit of the computer 301. The CPU 304 executes an image processing unit 111, a subject specifying unit 112 (a preprocessing unit 200, a first generation unit 201, a second generation unit 202, a binarization processing unit 203, and a calculation unit according to the first embodiment by executing a program. 204, the specifying unit 205).
メモリ３０５は、プログラムでの各種演算結果を一時的に記憶する。メモリ３０５は、例えば揮発性のＳＤＲＡＭである。 The memory 305 temporarily stores various calculation results in the program. The memory 305 is, for example, a volatile SDRAM.
ここで、第２実施形態の画像処理装置は、データ読込部３０２または記憶装置３０３から入力画像となる画像のデータを取得し、図３に示す被写体特定処理をＣＰＵ３０４が実行する。かかる第２実施形態の画像処理装置においても、第１実施形態の被写体特定処理と同様の効果を得ることができる。 Here, the image processing apparatus according to the second embodiment acquires image data serving as an input image from the data reading unit 302 or the storage device 303, and the CPU 304 executes the subject specifying process shown in FIG. In the image processing apparatus according to the second embodiment, the same effect as that of the subject specifying process according to the first embodiment can be obtained.
＜実施形態の補足事項＞
（１）上記の実施形態では入力画像の色空間がＹＣｂＣｒの例を説明したが、入力画像の色空間は実施形態の例に限定されるものではない。例えば、入力画像の色空間はＬ＊ａ＊ｂ＊やＬ＊ｕ＊ｖ＊であってもよい。また、Ｇ成分を輝度成分、Ｒ成分およびＢ成分を色差成分とみなして、ＲＧＢ色空間の画像を入力画像に用いてもよい。
<Supplementary items of the embodiment>
(1) In the above embodiment, an example in which the color space of the input image is YCbCr has been described. However, the color space of the input image is not limited to the example of the embodiment. For example, the color space of the input image may be L * a * b * or L * u * v * . Alternatively, an RGB color space image may be used as an input image by regarding the G component as a luminance component and the R component and B component as color difference components.
（２）上記の実施形態ではカラー画像を入力画像とする例を説明したが、入力画像は輝度成分のみのモノクロ画像であってもよい。 (2) Although an example in which a color image is an input image has been described in the above embodiment, the input image may be a monochrome image having only a luminance component.
（３）上記の第１実施形態では、元画像をぼかした画像（スルー画像）を入力画像とする例を説明したが、例えば、元画像が入力画像であってもよい。 (3) In the first embodiment described above, an example in which an image (through image) in which the original image is blurred is used as the input image, but the original image may be the input image, for example.
（４）上記の実施形態の２値化処理（図３のＳ２４）において、第１画像および第２画像から生成する１チャネル当たりの２値化画像の枚数の組み合わせは適宜変更できる。また、上記実施形態の２値化処理（図３のＳ２４）において、２値化の閾値は、標準偏差の２σや３σに限定されることなく適宜変更できる。 (4) In the binarization process (S24 in FIG. 3) of the above embodiment, the combination of the number of binarized images per channel generated from the first image and the second image can be changed as appropriate. In the binarization process (S24 in FIG. 3) of the above embodiment, the threshold for binarization can be changed as appropriate without being limited to the standard deviations 2σ and 3σ.
（５）上記の実施形態では、入力画像の画素値の平均値を用いて基準濃度画像を生成する例を説明したが、本発明の基準濃度画像は上記の実施形態の例に限定されるものではない。例えば、例えば入力画像の画素値の中央値を用いて基準濃度画像を生成するようにしてもよい。 (5) In the above embodiment, the example in which the reference density image is generated using the average value of the pixel values of the input image has been described. However, the reference density image of the present invention is limited to the above embodiment example. is not. For example, the reference density image may be generated using, for example, the median pixel value of the input image.
（６）上記の実施形態では、特定部２０５が３枚の対象画像を抽出する例を説明したが、Ｓ２７の処理で抽出される対象画像の数は適宜変更できる。 (6) In the above embodiment, the example in which the specifying unit 205 extracts three target images has been described. However, the number of target images extracted in the process of S27 can be changed as appropriate.
（７）上記の第１実施形態ではレンズ一体型の電子カメラでの構成例を説明した。しかし、本発明の撮像装置は、レンズ交換式の電子カメラであってもよい。また、本発明の撮像装置は、例えば、携帯電子機器（スマートフォン、携帯電話、タブレットコンピュータ等）に組み込まれるカメラモジュールにも適用できる。 (7) In the first embodiment, the configuration example in the lens-integrated electronic camera has been described. However, the imaging device of the present invention may be an interchangeable lens electronic camera. The imaging device of the present invention can also be applied to, for example, a camera module incorporated in a mobile electronic device (smart phone, mobile phone, tablet computer, etc.).
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。 From the above detailed description, features and advantages of the embodiments will become apparent. It is intended that the scope of the claims extend to the features and advantages of the embodiments as described above without departing from the spirit and scope of the right. Also, any improvement and modification should be readily conceivable by those having ordinary knowledge in the art. Therefore, there is no intention to limit the scope of the inventive embodiments to those described above, and appropriate modifications and equivalents included in the scope disclosed in the embodiments can be used.
１００…電子カメラ、１０１…撮影光学系、１０２…光学系駆動部、１０３…撮像部、１０４…焦点調節部、１０５…カメラマイコン、１０６…第１メモリ、１０７…第２メモリ、１０８…表示部、１０９…メディアＩ／Ｆ、１１０…操作部、１１１…画像処理部、１１２…被写体特定部、１１３…記憶媒体、２００…前処理部２００、２０１…第１生成部、２０２…第２生成部、２０３…２値化処理部、２０４…算出部、２０５…特定部、３０１…コンピュータ、３０２…データ読込部、３０３…記憶装置、３０４…ＣＰＵ、３０５…メモリ、３０６…入出力Ｉ／Ｆ、３０７…バス、３０８…入力デバイス、３０９…モニタ DESCRIPTION OF SYMBOLS 100 ... Electronic camera, 101 ... Shooting optical system, 102 ... Optical system drive part, 103 ... Imaging part, 104 ... Focus adjustment part, 105 ... Camera microcomputer, 106 ... 1st memory, 107 ... 2nd memory, 108 ... Display part , 109 ... Media I / F, 110 ... Operation part, 111 ... Image processing part, 112 ... Subject specifying part, 113 ... Storage medium, 200 ... Pre-processing part 200, 201 ... First generation part, 202 ... Second generation part , 203 ... binarization processing unit, 204 ... calculation unit, 205 ... identification unit, 301 ... computer, 302 ... data reading unit, 303 ... storage device, 304 ... CPU, 305 ... memory, 306 ... input / output I / F, 307 ... bus, 308 ... input device, 309 ... monitor
Claims (10)
前記入力画像と前記基準濃度画像との差分を用いて、前記基準濃度画像の画素値から前記入力画像の画素値を引いた第１画像と、前記入力画像の画素値から前記基準濃度画像の画素値を引いた第2画像と、を生成する第２生成部と、
前記第１画像および前記第２画像を２値化して、複数の２値化画像を生成する２値化処理部と、
各々の２値化画像で被写体らしさを示す評価値をそれぞれ算出する算出部と、
前記評価値を用いて前記複数の２値化画像から対象画像を抽出し、前記対象画像に基づいて画像に含まれる被写体の位置を特定する特定部と、
を備えることを特徴とする被写体特定装置。 A first generation unit that generates a reference density image using an average value of pixel values of an input image;
A first image obtained by subtracting a pixel value of the input image from a pixel value of the reference density image using a difference between the input image and the reference density image, and a pixel of the reference density image from a pixel value of the input image A second image generated by subtracting a second image;
A binarization processing unit that binarizes the first image and the second image to generate a plurality of binarized images;
A calculation unit for calculating an evaluation value indicating the likelihood of a subject in each binarized image;
A specifying unit that extracts a target image from the plurality of binarized images using the evaluation value and specifies a position of a subject included in the image based on the target image;
An apparatus for identifying a subject characterized by comprising:
前記第１生成部は、前記入力画像の前記色空間のチャネルごとに前記基準濃度画像を生成し、
前記第２生成部は、前記色空間のチャネルごとに前記第１画像および前記第２画像を生成し、
前記２値化処理部は、前記色空間のチャネルごとに複数の２値化画像を生成し、
前記特定部は、前記色空間の各チャネルで生成された前記複数の２値化画像から対象画像を抽出することを特徴とする被写体特定装置。 The subject specifying device according to claim 1,
The first generation unit generates the reference density image for each channel of the color space of the input image,
The second generation unit generates the first image and the second image for each channel of the color space,
The binarization processing unit generates a plurality of binarized images for each channel of the color space,
The subject specifying device, wherein the specifying unit extracts a target image from the plurality of binarized images generated in each channel of the color space.
前記２値化処理部は、前記第１画像を２値化するときの閾値を前記第１画像の画素値の標準偏差により決定し、前記第２画像を２値化するときの閾値を前記第２画像の画素値の標準偏差により決定することを特徴とする被写体特定装置。 The subject specifying device according to claim 1 or 2,
The binarization processing unit determines a threshold value when binarizing the first image based on a standard deviation of pixel values of the first image, and sets a threshold value when binarizing the second image. A subject specifying device, wherein the subject specifying device determines the standard deviation of pixel values of two images.
前記算出部は、前記２値化画像の一方の画素のまとまりを示す島領域の面積と、前記島領域の慣性モーメントとを用いて、前記評価値を算出することを特徴とする被写体特定装置。 In the photographic subject specifying device according to any one of claims 1 to 3,
The subject specifying device, wherein the calculation unit calculates the evaluation value using an area of an island region indicating a group of one pixel of the binarized image and an inertia moment of the island region.
前記算出部は、前記島領域での前記入力画像と前記基準濃度画像との差分を用いて、前記評価値を算出することを特徴とする被写体特定装置。 The subject specifying device according to claim 4,
The calculation unit is configured to calculate the evaluation value using a difference between the input image and the reference density image in the island region.
前記算出部は、前記２値化画像に含まれる前記島領域の重心を基準として前記慣性モーメントを求めることを特徴とする被写体特定装置。 In the subject identification device according to claim 4 or 5,
The subject specifying device, wherein the calculation unit obtains the moment of inertia based on a center of gravity of the island area included in the binarized image.
前記入力画像の代わりに、前記入力画像をぼかした画像を使用することを特徴とする被写体特定装置。 The subject specifying device according to any one of claims 1 to 6,
An object specifying apparatus using an image obtained by blurring the input image instead of the input image.
前記入力画像の画素値と、前記基準濃度画像とに基づいて、第１の箇所での前記基準濃度画像からの前記画素値の乖離度合いを示す第１画像と、第２の箇所での前記乖離度合いを示す第２画像とを生成する第２生成部と、
前記第１画像および前記第２画像に基づいて、前記入力画像に含まれる被写体の位置を特定する特定部と、
を備えることを特徴とする被写体特定装置。 A first generation unit that generates a reference density image using an average value of pixel values of an input image;
Based on the pixel value of the input image and the reference density image, the first image indicating the degree of deviation of the pixel value from the reference density image at the first location, and the divergence at the second location. A second generation unit for generating a second image indicating the degree;
A specifying unit that specifies a position of a subject included in the input image based on the first image and the second image;
An apparatus for identifying a subject characterized by comprising:
請求項１から請求項８のいずれか１項に記載の被写体特定装置と、
を備えることを特徴とする撮像装置。 An imaging unit that captures an image of a subject;
The subject specifying device according to any one of claims 1 to 8,
An imaging apparatus comprising:
前記入力画像の画素値と、前記基準濃度画像とに基づいて、第１の箇所での前記基準濃度画像からの前記画素値の乖離度合いを示す第１画像と、第２の箇所での前記乖離度合いを示す第２画像とを生成する手順と、
前記第１画像および前記第２画像に基づいて、前記入力画像に含まれる被写体の位置を特定する手順と、
をコンピュータに実行させることを特徴とするプログラム。 A procedure for generating a reference density image using an average value of pixel values of an input image;
Based on the pixel value of the input image and the reference density image, the first image indicating the degree of deviation of the pixel value from the reference density image at the first location, and the divergence at the second location. Generating a second image indicating the degree;
A procedure for identifying a position of a subject included in the input image based on the first image and the second image;
A program that causes a computer to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013248420A JP6331363B2 (en) | 2013-11-29 | 2013-11-29 | Subject identification device, imaging device, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013248420A JP6331363B2 (en) | 2013-11-29 | 2013-11-29 | Subject identification device, imaging device, and program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018089405A Division JP2018125041A (en) | 2018-05-07 | 2018-05-07 | Subject identifying apparatus and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015106304A true JP2015106304A (en) | 2015-06-08 |
| JP6331363B2 JP6331363B2 (en) | 2018-05-30 |
Family
ID=53436357
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013248420A Active JP6331363B2 (en) | 2013-11-29 | 2013-11-29 | Subject identification device, imaging device, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6331363B2 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012039210A (en) * | 2010-08-04 | 2012-02-23 | Nikon Corp | Object specification program and camera |
| WO2013114884A1 (en) * | 2012-02-01 | 2013-08-08 | 株式会社ニコン | Program for identifying position of subject, device for identifying position of subject, and camera |
-
2013
- 2013-11-29 JP JP2013248420A patent/JP6331363B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012039210A (en) * | 2010-08-04 | 2012-02-23 | Nikon Corp | Object specification program and camera |
| WO2013114884A1 (en) * | 2012-02-01 | 2013-08-08 | 株式会社ニコン | Program for identifying position of subject, device for identifying position of subject, and camera |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6331363B2 (en) | 2018-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10997696B2 (en) | Image processing method, apparatus and device | |
| US9607240B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, image capturing method, and non-transitory computer-readable medium for focus bracketing | |
| JP4898761B2 (en) | Apparatus and method for correcting image blur of digital image using object tracking | |
| US9204034B2 (en) | Image processing apparatus and image processing method | |
| US20130307966A1 (en) | Depth measurement apparatus, image pickup apparatus, and depth measurement program | |
| US8472747B2 (en) | Image composition device, image composition method, and storage medium storing program | |
| US8295609B2 (en) | Image processing apparatus, image processing method and computer readable-medium | |
| JP5949559B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
| JP6331363B2 (en) | Subject identification device, imaging device, and program | |
| JP6556033B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2018125041A (en) | Subject identifying apparatus and program | |
| JP2018198456A (en) | Image processing program, image processing apparatus, and imaging apparatus | |
| JP6776532B2 (en) | Image processing equipment, imaging equipment, electronic devices and image processing programs | |
| JP6232808B2 (en) | Image processing program, image processing apparatus, and imaging apparatus | |
| JP2018152095A (en) | Image processing apparatus, imaging apparatus, and image processing program | |
| JP6390779B2 (en) | Image processing program, image processing apparatus, and imaging apparatus | |
| JP6248662B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
| JP7458723B2 (en) | Image processing device, imaging device, control method, and program | |
| JP2017182668A (en) | Data processor, imaging device, and data processing method | |
| JP6318661B2 (en) | Subject detection device, imaging device, and image processing program | |
| JP6326840B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
| JP2018141991A (en) | Subject detector | |
| JP6405638B2 (en) | Subject detection device, imaging device, and program | |
| JP2015149570A (en) | Image processing apparatus, imaging apparatus and image processing program | |
| JP2017116606A (en) | Focus adjustment device, imaging device and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161104 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20170323 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20170323 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170327 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170810 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170829 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20171030 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171226 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180403 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180416 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6331363 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |