JP2010130309A - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP2010130309A JP2010130309A JP2008302479A JP2008302479A JP2010130309A JP 2010130309 A JP2010130309 A JP 2010130309A JP 2008302479 A JP2008302479 A JP 2008302479A JP 2008302479 A JP2008302479 A JP 2008302479A JP 2010130309 A JP2010130309 A JP 2010130309A
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- detection
- face
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置に関し、特に指定した領域の拡大表示を行う画面表示制御に関する。 The present invention relates to an imaging apparatus, and more particularly to screen display control for performing enlarged display of a specified area.
従来、特許文献１のように、スルー画像上の一部を拡大表示させることが可能な撮像装置が提案されている。拡大表示により、拡大前の通常表示画面を見る場合に比べて、特に注目する点の視認がスムーズに行えるようになる。
しかし、拡大表示させる領域（拡大表示対象領域）は、予め設定された複数のエリアから指定されたものに限られる。このため、拡大表示させたい対象物を適切に、拡大表示させることは困難である。 However, the area to be enlarged (enlarged display target area) is limited to those designated from a plurality of preset areas. For this reason, it is difficult to appropriately enlarge and display an object to be enlarged and displayed.
したがって本発明の目的は、スルー画像上の任意の領域を、適切に拡大表示させる撮像装置を提供することである。 Accordingly, an object of the present invention is to provide an imaging apparatus that appropriately enlarges and displays an arbitrary region on a through image.
本発明に係る撮像装置は、撮像により得られた画像データに基づく第１スルー画像を表示する表示部と、第１スルー画像上における第１位置を指定するために使用される操作部と、表示部に対して、第１スルー画像の一部の上に、第１位置を含む拡大表示対象領域の画像を拡大した第２スルー画像を表示させる制御部とを備え、操作部は、第２スルー画像上における第２位置を指定するために使用され、制御部は、第２位置が指定された場合に、第１位置を、第１スルー画像上における第２位置に対応する位置に変更し、拡大表示対象領域を、第１位置の変更に応じて更新し、且つ拡大表示対象領域を狭め拡大倍率を上げた状態で第２スルー画像を表示させる。 An imaging apparatus according to the present invention includes a display unit that displays a first through image based on image data obtained by imaging, an operation unit that is used to designate a first position on the first through image, and a display. And a control unit that displays a second through image obtained by enlarging the image of the enlarged display target area including the first position on a part of the first through image. The operation unit includes the second through image. Used to designate a second position on the image, and when the second position is designated, the control unit changes the first position to a position corresponding to the second position on the first through image; The enlarged display target area is updated according to the change in the first position, and the second through image is displayed in a state where the enlarged display target area is narrowed and the enlargement magnification is increased.
使用者は、拡大表示させたい位置（第２位置）を、第２スルー画像を見ながら指定出来る。このため、使用者は、拡大表示させたい位置を、簡単で且つ正確に指定することが可能になり、使用者の意図に沿った任意の領域の画像について適切に拡大表示を行うことが可能になる。 The user can specify the position (second position) to be enlarged and displayed while viewing the second through image. For this reason, the user can easily and accurately specify the position to be enlarged and displayed, and can appropriately enlarge and display an image in an arbitrary area according to the user's intention. Become.
好ましくは、拡大表示対象領域の画像における顔領域を検出する顔検出機能を有する検出部を更に備え、制御部は、顔領域の検出結果に基づいて位置が調整された拡大表示対象領域の画像を、第２スルー画像として表示させる。 Preferably, the image processing apparatus further includes a detection unit having a face detection function for detecting a face area in the image of the enlarged display target area, and the control unit reads the image of the enlarged display target area whose position is adjusted based on the detection result of the face area. And displayed as a second through image.
顔認識機能の検出結果に基づいて、拡大表示対象領域を移動させることにより、任意の領域の画像（特定対象物ＳＦ１を含む画像）の拡大表示を維持することが可能になる。 By moving the enlarged display target area based on the detection result of the face recognition function, it is possible to maintain an enlarged display of an image of an arbitrary area (an image including the specific target object SF1).
さらに好ましくは、検出部が、１つの顔領域を検出した場合は、制御部は、１つの顔領域が中心になるように位置が調整された拡大表示対象領域の画像を、第２スルー画像として表示させる。 More preferably, when the detection unit detects one face area, the control unit uses an image of the enlarged display target area whose position is adjusted so that the one face area is the center as the second through image. Display.
さらに好ましくは、検出部は、二値化情報と輝度パターンの少なくとも一方と、顔検出機能とに基づいて、１つの顔領域を追尾し、制御部は、１つの顔領域を追尾した結果に基づいて位置が調整された拡大表示対象領域の画像を、第２スルー画像として表示させる。 More preferably, the detection unit tracks one face area based on at least one of the binarized information and the luminance pattern and the face detection function, and the control unit is based on the result of tracking the one face area. The image of the enlargement display target area whose position is adjusted is displayed as the second through image.
また、好ましくは、検出部が、複数の顔領域を検出した場合は、制御部は、位置を変えずに拡大表示対象領域の画像を、第２スルー画像として表示させる。 Preferably, when the detection unit detects a plurality of face regions, the control unit displays the image of the enlarged display target region as the second through image without changing the position.
また、好ましくは、検出部が、顔領域を検出しなかった場合は、制御部は、位置を変えずに拡大表示対象領域の画像を、第２スルー画像として表示させる。 Preferably, when the detection unit does not detect the face region, the control unit displays the image of the enlarged display target region as the second through image without changing the position.
また、好ましくは、検出部は、二値化情報と輝度パターンの少なくとも一方に基づいて、拡大表示対象領域の画像の形状パターンを追尾し、制御部は、形状パターンを追尾した結果に基づいて位置が調整された拡大表示対象領域の画像を、第２スルー画像として表示させる。 Preferably, the detection unit tracks the shape pattern of the image of the enlarged display target region based on at least one of the binarization information and the luminance pattern, and the control unit performs positioning based on the result of tracking the shape pattern. The image of the enlarged display target area in which is adjusted is displayed as the second through image.
また、好ましくは、制御部は、拡大表示対象領域の位置に応じて、第１スルー画像における第２スルー画像を表示する位置を調整する。 Preferably, the control unit adjusts a position for displaying the second through image in the first through image in accordance with the position of the enlarged display target region.
以上のように本発明によれば、スルー画像上の任意の領域を、適切に拡大表示させる撮像装置を提供することができる。 As described above, according to the present invention, it is possible to provide an imaging apparatus that appropriately enlarges and displays an arbitrary region on a through image.
以下、第１実施形態について、図を用いて説明する。撮像装置１は、デジタルカメラである。撮像装置１の撮像に関する部分は、操作部１０、レリーズボタン１３、各部の制御を行う制御部３０、レンズ駆動部４５、露出制御部４７、レンズ５１、ＣＣＤなどの撮像素子５３、ＡＦＥ（アナログフロントエンド）５５、ＤＳＰ（映像信号処理回路）６０、記録部７０、及び表示部９０を備える（図１参照）。
Hereinafter, the first embodiment will be described with reference to the drawings. The
被写体像は、レンズ５１を介した光学像として、撮像素子５３で撮像される。撮像により得られた画像データは、ＡＦＥ５５でアナログ信号からデジタル信号に変換され、ＤＳＰ６０で画像処理される。かかる動作が一定時間（フレームレートなどに準拠、約１／３０秒）ごとに行われ、表示部９０に、画像データに基づいて第１スルー画像Ｓ１が表示される（ライブビュー表示、図２参照）。第１実施形態では、第１スルー画像Ｓ１の一部の上に、後述する第２スルー画像Ｓ２が表示される。
The subject image is captured by the
操作部１０は、第１スルー画像上のカーソル１１を上下左右方向に移動させるために使用する方向キー１０ａ、及びカーソル１１の移動位置を決定するために使用する決定キー１０ｂを有し、これらは、後述する第１スルー画像Ｓ１上における第１位置Ｐ１、及び第２スルー画像Ｓ２上における第２位置Ｐ２を指定するために使用される。また、操作部１０は、第２スルー画像Ｓ２の表示を終了させるために使用する終了キー１０ｃを有する。
The
レリーズボタン１３は、半押しすることにより測光スイッチ（不図示）がオン状態にされ測光やレンズ駆動部４５による測距及び測距結果に基づく合焦動作が行われる。測光は、撮像素子５３における撮像で得られた画像データに基づいて行われる。具体的には、ＤＳＰ６０は、画像処理において生成される輝度信号から測光領域における輝度値（被写体の明るさに関する情報）を求め、輝度情報に基づく適正露出を演算し、露出時間や絞り情報などを、制御部３０に通知する。また、レリーズボタン１３は、全押しすることによりレリーズスイッチ（不図示）がオン状態にされ、制御部３０は、ＤＳＰ６０で算出された露出時間や絞り情報などで撮影が行われるように、露出制御部４７を制御し、撮像が行われる。撮像により得られた画像データに対応する画像は、表示部９０に表示され、画像データは記録部７０に記録される。但し、後述する拡大表示対象領域（第１〜第４領域ＣＡ１〜ＣＡ４）の外形枠や、第２スルー画像Ｓ２は記録されない。これらは構図の確認のために使用されるもので、実際の撮像によって得られる画像データには記録されない。
When the
第１スルー画像Ｓ１が表示された状態で、使用者が、方向キー１０ａを操作すると、カーソル１１が表示される（図３参照）。第１スルー画像Ｓ１上の任意の場所にカーソル１１を移動させた後、決定キー１０ｂを操作すると、制御部３０は、第１スルー画像Ｓ１のカーソル１１の位置（第１位置Ｐ１）を中心とした第１領域ＣＡ１の画像を取得し、電子ズームを使って拡大し、第２スルー画像Ｓ２として表示する（図４参照）。最初に第２スルー画像Ｓ２を表示させたときの第１領域ＣＡ１の大きさは、第２スルー画像Ｓ２の大きさの約０．６倍に設定される。また、第１スルー画像Ｓ１上には、第１領域ＣＡ１の外形枠が表示される（図４の実線参照）。
When the user operates the
第２スルー画像Ｓ２が表示された状態で、第１スルー画像Ｓ１内で、カーソル１１を移動させて、新しい位置（第１位置Ｐ１）を決定すると、制御部３０は、新たに設定した第１位置Ｐ１を中心とした第１領域ＣＡ１の画像を、電子ズームを使って拡大し、第２スルー画像Ｓ２として表示する（不図示）。この場合は、拡大表示する領域（拡大表示対象領域）の大きさは変動しない。
When the
第２スルー画像Ｓ２内で、カーソル１１を移動させて、新しい位置（第２位置Ｐ２）を決定すると、制御部３０は、第２スルー画像Ｓ２上における第２位置Ｐ２に対応する第１スルー画像Ｓ１上の位置（第１位置Ｐ１）を新たに算出し、新たに算出した第１位置Ｐ１を中心とした第２領域ＣＡ２の画像を、電子ズームを使って拡大し、第２スルー画像Ｓ２として表示する（図５参照）。この第２領域ＣＡ２は、第１領域ＣＡ１より小さく、例えば第２スルー画像Ｓ２の大きさの約０．４倍に設定される。このため第２領域ＣＡ２を第２スルー画像Ｓ２で表示すると、第１領域ＣＡ１の拡大表示時に比べて、拡大倍率が上がった状態で表示されることになる。また、第１スルー画像Ｓ１上には、第２領域ＣＡ２の外形枠が表示される（図５の実線参照）。
When the
更に、第２スルー画像Ｓ２内で、カーソル１１を移動させて、新しい位置（第２位置Ｐ２）を決定すると、制御部３０は、第２スルー画像Ｓ２上における第２位置Ｐ２に対応する第１スルー画像Ｓ１上の位置（第１位置Ｐ１）を新たに算出し、新たに算出した第１位置Ｐ１を中心とした第３領域ＣＡ３の画像を、電子ズームを使って拡大し、第２スルー画像Ｓ２として表示する（図６参照）。この第３領域ＣＡ３は、第２領域ＣＡ２より小さく、例えば第２スルー画像Ｓ２の大きさの約０．２倍に設定される。このため第３領域ＣＡ３を第２スルー画像Ｓ２で表示すると、第２領域ＣＡ２の拡大表示時に比べて、拡大倍率が上がった状態で表示されることになる。なお、カーソル１１の位置を、第２領域ＣＡ２の拡大表示時から移動させなかった場合には、第２位置Ｐ２は変わらないので、第１位置Ｐ１も変わらず、拡大表示対象領域だけが第２領域ＣＡ２から第３領域ＣＡ３に狭められる。また、第１スルー画像Ｓ１上には、第３領域ＣＡ３の外形枠が表示される（図６の実線参照）。
Further, when the
更に、第２スルー画像Ｓ２内で、カーソル１１を移動させて、新しい位置（第２位置Ｐ２）を決定すると、制御部３０は、第２スルー画像Ｓ２上における第２位置Ｐ２に対応する第１スルー画像Ｓ１上の位置（第１位置Ｐ１）を新たに算出し、新たに算出した第１位置Ｐ１を中心とした第４領域ＣＡ４の画像を、電子ズームを使って拡大し、第２スルー画像Ｓ２として表示する（図７参照）。この第４領域ＣＡ４は、第３領域ＣＡ３より小さく、例えば第２スルー画像Ｓ２の大きさの約０．０４倍に設定される。このため第４領域ＣＡ４を第２スルー画像Ｓ２で表示すると、第３領域ＣＡ３の拡大表示時に比べて、拡大倍率が上がった状態で表示されることになる。なお、カーソル１１の位置を、第３領域ＣＡ３の拡大表示時から移動させなかった場合には、第２位置Ｐ２は変わらないので、第１位置Ｐ１も変わらず、拡大表示対象領域だけが第３領域ＣＡ３から第４領域ＣＡ４に狭められる。また、第１スルー画像Ｓ１上には、第４領域ＣＡ４の外形枠が表示される（図７の実線参照）。
Further, when the
操作部１０は、表示部９０に設けられたタッチパネルであってもよい。この場合は、第１スルー画像Ｓ１上の任意の場所に使用者の指などが触れることにより、触れた位置に第１位置Ｐ１が指定され、第２スルー画像Ｓ２上の任意の場所に使用者の指などが触れることにより、触れた位置に第２位置Ｐ２が指定される。
The
使用者は、カーソル１１を移動させて、拡大表示させたい位置（第２位置）を、第２スルー画像Ｓ２を見ながら指定出来る。第２スルー画像Ｓ２の拡大倍率は、決定キー１０ｂの操作回数に応じて、徐々に上げられる。このため、使用者は、拡大表示させたい位置を、簡単で且つ正確に指定することが可能になり、使用者の意図に沿って適切に拡大表示を行うことが可能になる。
The user can move the
制御部３０は、第２スルー画像Ｓ２が表示されている最中に、終了キー１０ｃが押下されたことを認識すると、第２スルー画像Ｓ２の表示を終了させる。
When the
次に、第２実施形態について説明する。第１実施形態では、使用者により指定された位置（第１、第２位置Ｐ１、Ｐ２）を含む拡大表示対象領域の画像を拡大した第２スルー画像Ｓ２を表示する形態を説明したが、第２実施形態では、さらに顔検出などの検出処理を行い、特定対象物ＳＦ１を特定し、第１位置Ｐ１を補正し、拡大表示対象領域の位置を補正しながら、第２スルー画像Ｓ２を表示する。以下、第２実施形態の詳細について説明する。 Next, a second embodiment will be described. In the first embodiment, the form of displaying the second through image S2 in which the image of the enlarged display target area including the positions (first and second positions P1, P2) designated by the user is displayed has been described. In the second embodiment, detection processing such as face detection is further performed, the specific object SF1 is specified, the first position P1 is corrected, and the position of the enlarged display target region is corrected, and the second through image S2 is displayed. . Details of the second embodiment will be described below.
第２実施形態における撮像装置１は、さらに検出部６３を備える（図８参照）。検出部６３は、顔検出機能や、二値化情報や輝度パターンを使った他の検出処理機能を有する。制御部３０は、第１領域ＣＡ１の情報（画像情報や座標など）を、検出部６３に出力する。検出部６３は、顔検出や、二値化情報や輝度パターンを使った他の検出処理を行い、第１領域ＣＡ１の中、及び第１領域ＣＡ１の周辺で特定対象物ＳＦ１となりうる領域を特定する。なお、ここでは、拡大表示対象領域が第１領域ＣＡ１である場合を説明するが、該対象が第２〜第４領域ＣＡ２〜ＣＡ４である場合も同様である。
The
特定対象物ＳＦ１は、顔や目など、予め設定された形状パターンであって、顔は、顔検出機能や他の検出処理によって検出され、目などその他の形状は、二値化情報や輝度パターンを使った他の検出処理によって検出される。検出部６３は、顔検出機能で、顔領域を検出した場合には、検出後の次のフレーム画像からは顔認識機能だけでなく、二値化情報や輝度パターンを使った他の検出処理に基づいて、顔領域を含む特定対象物ＳＦ１の動き（形状や大きさの変化）を追尾する。特定対象物ＳＦ１として追尾する対象物の形状や大きさは変動する可能性があり、たとえ一方の認識機能での特定対象物ＳＦ１の特定が困難な状態になっても、他の認識機能で特定し、特定対象物ＳＦ１を追尾し続ける。例えば、正面を向いていた顔が横を向いたりするなど、顔認識機能では、顔領域であると判断出来ない場合に、二値化情報や輝度パターンを使った他の検出処理に基づいて、特定対象物ＳＦ１を特定する。また、ポートレート撮影などで、顔の画面全体に対する比率が大きく、顔検出機能では拡大表示対象領域内で顔を特定できない場合には、二値化情報や輝度パターンを使った他の検出処理で、例えば目を含む領域を特定対象物ＳＦ１に設定し、特定対象物ＳＦ１（第１領域ＣＡ１）の形状パターンに基づいて、特定対象物ＳＦ１の位置を特定する。 The specific object SF1 is a preset shape pattern such as a face or an eye, and the face is detected by a face detection function or other detection processing. The other shape such as the eye is binarized information or a luminance pattern. Detected by other detection processes using. When the face detection function detects the face area, the detection unit 63 performs not only the face recognition function but also other detection processing using the binarized information and the luminance pattern from the next frame image after detection. Based on this, the movement (change in shape and size) of the specific object SF1 including the face area is tracked. The shape and size of the target object to be tracked as the specific target object SF1 may vary, and even if it becomes difficult to specify the specific target object SF1 with one recognition function, it is specified with another recognition function. Then, the tracking of the specific object SF1 is continued. For example, when the face recognition function cannot determine that it is a face area, such as when the face facing the front faces sideways, based on other detection processing using binarized information and luminance pattern, The specific object SF1 is specified. Also, if the ratio of the face to the entire screen is large, such as in portrait photography, and the face detection function cannot identify the face within the enlargement display target area, other detection processing using binarization information or luminance patterns can be used. For example, the area including the eyes is set as the specific object SF1, and the position of the specific object SF1 is specified based on the shape pattern of the specific object SF1 (first area CA1).
第１領域ＣＡ１における特定対象物ＳＦ１を特定する場合、検出処理に優先順位をつけて、その優先順序で一定時間（フレームレートなどに準拠、約１／３０秒）ごとに検出を実施する。例えば、検出処理の優先順位で、第１位に顔認識が設定されていた場合、第１領域ＣＡ１内に顔領域を検出させ、顔領域を検出出来た場合は、検出部６３は、検出した顔領域を特定対象物ＳＦ１に設定する。顔領域が検出出来ない場合は、優先順位の第２位以降の検出処理で、第１領域ＣＡ１全体を形状パターンとして検出を行う。検出処理のいずれかで特定対象物ＳＦ１を検出することが出来れば、特定対象物ＳＦ１をフレームごとに連続して特定すること、すなわち追尾が可能になる。 When specifying the specific object SF1 in the first area CA1, the detection process is prioritized, and detection is performed every predetermined time (based on a frame rate, about 1/30 second) in the priority order. For example, when face recognition is set to the first position in the priority order of detection processing, when the face area is detected in the first area CA1 and the face area can be detected, the detection unit 63 detects The face area is set to the specific object SF1. When the face area cannot be detected, the entire first area CA1 is detected as a shape pattern in the detection process from the second highest priority. If the specific object SF1 can be detected by any of the detection processes, the specific object SF1 can be continuously specified for each frame, that is, tracking can be performed.
一度特定した特定対象物ＳＦ１が、拡大表示対象領域の周辺で特定出来なくなった場合、すなわち特定対象物ＳＦ１の追尾が不能になった場合は、制御部３０は、特定対象物ＳＦ１の特定を終了させる。これに伴い、第２スルー画像Ｓ２の表示も終了する。
When the specific object SF1 once specified cannot be specified around the enlarged display target area, that is, when the tracking of the specific object SF1 becomes impossible, the
顔認識により、検出部６３が、カーソル１１で示される第１位置Ｐ１を中心とする第１領域ＣＡ１の中で、顔領域を１つだけ検出した場合には、制御部３０は、検出した顔領域を特定対象物ＳＦ１に設定し、第１位置Ｐ１を、特定対象物ＳＦ１を中心とした検索原点Ｐ１ａに補正し、補正後の第１位置Ｐ１（検索原点Ｐ１ａ）を中心とした第１領域ＣＡ１ａを算出する。制御部３０は、新たに算出された第１領域ＣＡ１ａの画像を第２スルー画像Ｓ２として拡大表示する（図９参照）。また、第１スルー画像Ｓ１上には、新たな第１領域ＣＡ１（ＣＡ１ａ）の外形枠が表示される（図９の実線参照）。
When the detection unit 63 detects only one face region in the first region CA1 centered on the first position P1 indicated by the
顔認識より、検出部６３が、カーソル１１で示される第１位置Ｐ１を中心とする第１領域ＣＡ１の中で、複数の顔領域（第１〜第３顔領域ＳＦ１１〜ＳＦ１３）を検出した場合には、制御部３０は、第１位置Ｐ１を補正しない。制御部３０は、第１位置Ｐ１を中心とした第１領域ＣＡ１の画像を第２スルー画像Ｓ２として拡大表示する（図１１参照）。この場合、制御部３０は、第１〜第３顔領域ＳＦ１１〜ＳＦ１３を含む第１領域ＣＡ１ａ全体を、特定対象物ＳＦ１に設定する。また、第１スルー画像Ｓ１上には、第１領域ＣＡ１の外形枠が表示される（図１１の実線参照）。
When the detection unit 63 detects a plurality of face areas (first to third face areas SF11 to SF13) in the first area CA1 centered on the first position P1 indicated by the
顔認識より、検出部６３が、カーソル１１で示される第１位置Ｐ１を中心とする第１領域ＣＡ１の中で、顔領域を検出しなかった場合には、制御部３０は、第１位置Ｐ１を補正しない。制御部３０は、第１位置Ｐ１を中心とした第１領域ＣＡ１の画像を第２スルー画像Ｓ２として拡大表示する（不図示）。この場合、制御部３０は、第１領域ＣＡ１ａ全体を、特定対象物ＳＦ１に設定する。また、第１スルー画像Ｓ１上には、第１領域ＣＡ１の外形枠が表示される。
If the detection unit 63 does not detect a face area in the first area CA1 centered on the first position P1 indicated by the
１回目の検出が行われた次のフレーム画像、すなわち１回目の検出が行われてから一定時間が経過後（約１／３０秒経過後）のフレーム画像に対して、制御部３０は、２回目の検出を、検出部６３に行わせる。
For the next frame image in which the first detection is performed, that is, the frame image after a certain time has elapsed since the first detection was performed (after about 1/30 seconds have elapsed), the
１回目の検出で、顔領域を１つだけ検出した場合（図９参照）、検出部６３は、１回目の検出で設定された第１位置Ｐ１（検索原点Ｐ１ａ）を中心とした第１領域ＣＡ１ａ及びその周辺について、１回目の検出で設定した特定対象物ＳＦ１と似通った領域（特定対象物ＳＦ１’）の検索を行う（図１０参照）。この場合、顔認識機能だけでなく、二値化情報や輝度パターンを使った他の検出処理も併用して検索が行われる。検出部６３が、顔検出または、他の検出処理により、特定対象物ＳＦ１’を検出すると、制御部３０は、第１位置Ｐ１を、検索原点Ｐ１ａから、特定対象物ＳＦ１’の中心である新たな検索原点Ｐ１ｂに補正し、新たな第１位置Ｐ１（検索原点Ｐ１ｂ）を中心とした新たな第１領域ＣＡ１ｂを算出する。すなわち、第１領域ＣＡ１が、１回目の検出時に設定された第１位置Ｐ１（検索原点Ｐ１ａ）を中心としたものから、２回目の検出時に新たに設定された第１位置Ｐ１（検索原点Ｐ１ｂ）を中心としたものに補正される。制御部３０は、該第１領域ＣＡ１ｂの画像を第２スルー画像Ｓ２として拡大表示する。なお、第１領域ＣＡ１ａの周辺とは、例えば、第１領域ＣＡ１ａの一定量だけ拡大した領域を言う（図１３下段左の検索範囲参照）。また、第１スルー画像Ｓ１上には、新たな第１領域ＣＡ１（ＣＡ１ｂ）の外形枠が表示される（図１０の実線参照）。新たに設定された第１位置Ｐ１などは、後述する第２スルー画像Ｓ２の表示位置の調整にも利用される。
When only one face area is detected in the first detection (see FIG. 9), the detection unit 63 uses the first area centered on the first position P1 (search origin P1a) set in the first detection. For CA1a and its surroundings, an area similar to the specific object SF1 set in the first detection (specific object SF1 ′) is searched (see FIG. 10). In this case, the search is performed using not only the face recognition function but also other detection processing using the binarized information and the luminance pattern. When the detection unit 63 detects the specific object SF1 ′ by face detection or other detection processing, the
１回目の検出で、複数の顔領域（第１〜第３顔領域ＳＦ１１〜ＳＦ１３）を検出した場合（図１１参照）、検出部６３は、１回目の検出で設定された第１位置Ｐ１（検索原点Ｐ１ａ）を中心とした第１領域ＣＡ１ａ及びその周辺について、１回目の検出で設定した特定対象物ＳＦ１の形状パターンと似通った領域（特定対象物ＳＦ１’）の検索を行う（図１２参照）。検出部６３が特定対象物ＳＦ１’を検出すると、制御部３０は、かかる領域（特定対象物ＳＦ１’）を新たな第１領域ＣＡ１ｂに設定する。すなわち、第１領域ＣＡ１が、１回目の検出時に設定された第１領域ＣＡ１ａから、新たな第１領域ＣＡ１ｂに補正される。制御部３０は、該第１領域ＣＡ１ｂの画像を第２スルー画像Ｓ２として拡大表示する。また、制御部３０は、新たな第１領域ＣＡ１ｂの中心（検索原点Ｐ１ｂ）を新たな第１位置Ｐ１として算出し、次のフレーム画像における特定対象物ＳＦ１の検出や、第２スルー画像Ｓ２の表示位置の調整に利用する。また、第１スルー画像Ｓ１上には、新たな第１領域ＣＡ１（ＣＡ１ｂ）の外形枠が表示される（図１２の実線参照）。
When a plurality of face areas (first to third face areas SF11 to SF13) are detected by the first detection (see FIG. 11), the detection unit 63 sets the first position P1 ( For the first area CA1a centered on the search origin P1a) and its periphery, an area (specific object SF1 ′) similar to the shape pattern of the specific object SF1 set in the first detection is searched (see FIG. 12). ). When the detection unit 63 detects the specific object SF1 ', the
なお、検出部６３は、１回目の検出時における第１領域ＣＡ１ａの形状パターンと、一定量以上だけ一致する部分を含む領域を、特定対象物ＳＦ１の形状パターンと似通った領域（特定対象物ＳＦ１’）であると判断する。具体的には、１回目の検出時における第１領域ＣＡ１ａの形状パターンの数値化されたものと、比較対照の領域の形状パターンの数値化されたものとの比較に基づいて判断される。数値化されたものとしては、例えば、二値化情報の場合には、０になっている画素数などであり、輝度情報の場合には、突出した輝度値を示す画素数（輝度の明るい部分または暗い部分の画素数）などが挙げられる。検索の結果、形状パターンが一致すると判断出来る領域が無い場合には、検索によって特定対象物ＳＦ１’が特定出来ないとされる。 Note that the detection unit 63 uses a region similar to the shape pattern of the specific object SF1 (specific object SF1) as a region including a portion that matches the shape pattern of the first region CA1a at the time of the first detection by a certain amount or more. '). Specifically, the determination is made based on a comparison between the digitized shape pattern of the first area CA1a at the time of the first detection and the digitized shape pattern of the comparison area. For example, in the case of binarized information, the number of pixels is the number of pixels that are 0, and in the case of luminance information, the number of pixels that indicate a protruding luminance value (a bright portion with high luminance). Or the number of pixels in a dark part). As a result of the search, if there is no region where it can be determined that the shape patterns match, the specific object SF1 'cannot be specified by the search.
１回目の検出で、顔領域を検出しなかった場合は、上述の複数の顔領域を検出した場合と同様の処理が行われる。すなわち、検出部６３は、１回目の検出で設定された第１位置Ｐ１（検索原点Ｐ１ａ）を中心とした第１領域ＣＡ１ａ及びその周辺について、１回目の検出で設定した特定対象物ＳＦ１の形状パターンと似通った領域（特定対象物ＳＦ１’）の検索を行う。検出部６３が特定対象物ＳＦ１’を検出すると、制御部３０は、かかる領域（特定対象物ＳＦ１’）を新たな第１領域ＣＡ１ｂに設定する。すなわち、第１領域ＣＡ１が、１回目の検出時に設定された第１領域ＣＡ１ａから、新たな第１領域ＣＡ１ｂに補正される。制御部３０は、該第１領域ＣＡ１ｂの画像を第２スルー画像Ｓ２として拡大表示する。また、制御部３０は、新たな第１領域ＣＡ１ｂの中心（検索原点Ｐ１ｂ）を新たな第１位置Ｐ１として算出し、次のフレーム画像における特定対象物ＳＦ１の検出や、第２スルー画像Ｓ２の表示位置の調整に利用する。また、第１スルー画像Ｓ１上には、新たな第１領域ＣＡ１（ＣＡ１ｂ）の外形枠が表示される。
If the face area is not detected in the first detection, the same processing as when the plurality of face areas are detected is performed. That is, the detection unit 63 forms the shape of the specific object SF1 set in the first detection with respect to the first area CA1a centered on the first position P1 (search origin P1a) set in the first detection and the periphery thereof. An area similar to the pattern (specific object SF1 ′) is searched. When the detection unit 63 detects the specific object SF1 ', the
上記、２回目の検出動作をフレーム画像が得られるたびに繰り返すことにより、制御部３０は、特定対象物ＳＦ１が第１領域ＣＡ１に含まれるように第１領域ＣＡ１の位置を変更する。これにより、第２スルー画像Ｓ２の表示は、安定的に特定対象物ＳＦ１を含む第１領域ＣＡ１の拡大映像を表示し続けることが可能になる。
By repeating the second detection operation every time a frame image is obtained, the
第１の例として、撮像装置１の保持姿勢が同じ状態のまま、１つの顔領域（特定対象物ＳＦ１）の検出及び追尾を説明する（図１３参照）。
As a first example, detection and tracking of one face region (specific target object SF1) will be described with the holding posture of the
制御部３０からの指示を受けた検出部６３は、第１位置Ｐ１を中心とする第１領域ＣＡ１の中で、１つの顔領域を検出する（１回目の検出、図１３上段左参照）。次に、制御部３０は、検出した顔領域を特定対象物ＳＦ１に設定し、第１位置Ｐ１を、特定対象物ＳＦ１を中心とした検索原点Ｐ１ａに補正し、検索原点Ｐ１ａを中心とした第１領域ＣＡ１ａを算出する。１回目の検出結果として、第１領域ＣＡ１ａの画像が、第２スルー画像Ｓ２として拡大表示される（図１３上段右参照）。
Upon receiving an instruction from the
次に検出部６３は、次のフレーム画像における、第１位置Ｐ１（検索原点Ｐ１ａ）を中心とした第１領域ＣＡ１ａ及びその周辺（２回目の検出、図１３下段左の検索範囲参照）について特定対象物ＳＦ１’の検索を行う。第１の例では、左に移動した特定対象物ＳＦ１’が検出される。制御部３０は、１回目の検出時における第１位置Ｐ１（検索原点Ｐ１ａ）は、新たに検出された特定対象物ＳＦ１’を中心とした新たな検索原点Ｐ１ｂに補正し、１回目の検出時における第１領域ＣＡ１ａを、新たな第１位置Ｐ１（検索原点Ｐ１ｂ）を中心とした第１領域ＣＡ１ｂに補正し、新たな第１領域ＣＡ１ｂの画像を、第２スルー画像Ｓ２として拡大表示する（図１３下段右参照）。３回目以降は、２回目の検出と同じ動作を繰り返す。
Next, the detection unit 63 specifies the first area CA1a around the first position P1 (search origin P1a) and its periphery (second detection, refer to the search range on the lower left in FIG. 13) in the next frame image. Search for the object SF1 ′. In the first example, the specific object SF1 'that has moved to the left is detected. The
第２の例として、撮像装置１の保持姿勢が同じ状態のまま、第１〜第３顔領域ＳＦ１１〜ＳＦ１３を含む特定対象物ＳＦ１の形状パターンの検出及び追尾を説明する（図１４参照）。
As a second example, detection and tracking of the shape pattern of the specific object SF1 including the first to third face regions SF11 to SF13 while the holding posture of the
制御部３０からの指示を受けた検出部６３は、第１位置Ｐ１を中心とする第１領域ＣＡ１の中で、第１〜第３顔領域ＳＦ１１〜ＳＦ１３を検出する（１回目の検出、図１４上段左参照）。次に、制御部３０は、第１位置Ｐ１（検索原点Ｐ１ａ）を中心とした第１領域ＣＡ１ａを特定対象物ＳＦ１の形状パターンに設定し、１回目の検出結果として、第１領域ＣＡ１ａの画像を、第２スルー画像Ｓ２として拡大表示する（図１３上段右参照）。
Receiving the instruction from the
次に検出部６３は、次のフレーム画像における、検索原点Ｐ１ａを中心とした第１領域ＣＡ１ａ及びその周辺（２回目の検出、図１４下段左の検索範囲参照）について特定対象物ＳＦ１の形状パターンに似通った領域（特定対象物ＳＦ１’）の検索を行う。第２の例では、右下に移動した領域が特定対象物ＳＦ１’として検出される。制御部３０は、１回目の検出時における第１位置Ｐ１（検索原点Ｐ１ａ）を、新たに検出された特定対象物ＳＦ１’を中心とした新たな検索原点Ｐ１ｂに補正し、１回目の検出時における第１領域ＣＡ１ａを、新たな第１位置Ｐ１（検索原点Ｐ１ｂ）を中心とした第１領域ＣＡ１ｂに補正し、新たな第１領域ＣＡ１ｂの画像を、第２スルー画像Ｓ２として拡大表示する（図１４下段右参照）。３回目以降は、２回目の検出と同じ動作を繰り返す。
Next, the detection unit 63 forms the shape pattern of the specific object SF1 in the next frame image with respect to the first area CA1a centered on the search origin P1a and its periphery (second detection, refer to the search range on the lower left in FIG. 14). A search is made for a region similar to (specific object SF1 ′). In the second example, the region moved to the lower right is detected as the specific object SF1 '. The
従って、複数の顔領域が含まれる拡大画像が第２スルー画像Ｓ２として表示されている場合には、複数の顔領域が含まれた画像の拡大表示を維持するように、第１領域ＣＡ１の位置が調整される。この状態で、第２位置Ｐ２が指定されると、現在の拡大表示対象領域（例えば第１領域ＣＡ１）を狭くした新たな拡大表示対象領域（例えば第２領域ＣＡ２）の画像が、第２スルー画像Ｓ２として表示される。第２位置Ｐ２の指定により、拡大画像に含まれる顔領域が１つになれば、１つの顔領域が含まれた画像の拡大表示を維持するように、第２領域ＣＡ２の位置が調整される。 Therefore, when an enlarged image including a plurality of face areas is displayed as the second through image S2, the position of the first area CA1 is maintained so as to maintain an enlarged display of the image including the plurality of face areas. Is adjusted. When the second position P2 is designated in this state, an image of a new enlarged display target area (for example, the second area CA2) narrowed from the current enlarged display target area (for example, the first area CA1) is displayed in the second through state. Displayed as image S2. If the number of face areas included in the enlarged image becomes one by designating the second position P2, the position of the second area CA2 is adjusted so as to maintain the enlarged display of the image including one face area. .
但し、特定対象物ＳＦ１が第１スルー画像Ｓ１上から外れた場合、すなわち撮像素子５３の撮像領域から外れた場合や、特定対象物ＳＦ１の形状が大きく変化するなど検出部６３が特定対象物ＳＦ１を特定できない状態になった場合には、かかる旨の情報を制御部３０に出力し、制御部３０は、第２スルー画像Ｓ２の表示を終了する。具体的には、２回目以降のフレーム画像において、検出部６３が、１つの顔領域（特定対象物ＳＦ１）の検出や、特定対象物ＳＦ１の形状パターンと似通った領域を検出出来なかった場合、制御部３０は、特定対象物ＳＦ１の追尾が行えなかったとして、第２スルー画像Ｓ２の表示を終了する。
However, when the specific object SF1 deviates from the first through image S1, that is, when the specific object SF1 deviates from the imaging region of the
また、制御部３０は、第１位置Ｐ１の動きに応じて、第２スルー画像Ｓ２が、拡大表示対象領域（第１〜第４領域ＣＡ１〜ＣＡ４のいずれか）と重複しないように、第２スルー画像Ｓ２を表示する位置を調整する。第１位置Ｐ１の動きに応じて第１領域ＣＡ１が移動した場合、第１スルー画像Ｓ１上の第１領域ＣＡ１と、第２スルー画像Ｓ２とが重なり合い、第１スルー画像Ｓ１上の第１領域ＣＡ１が、第２スルー画像Ｓ２の下に隠れて見えなくなることが起こり得る。このため、第２実施形態では、制御部３０は、第１スルー画像Ｓ１を４等分し、更に、中心に１つの範囲を設けた５つのエリア（第１〜第５エリアＡＲ１〜ＡＲ５）に分割し、第１位置Ｐ１の移動履歴を、通過したエリアに対応させて記録する。例えば、第１位置Ｐ１が第３エリアＡＲ３に居る状態（図１５参照）から、第１領域ＣＡ１が移動して第１位置Ｐ１が第３エリアＡＲ３→第５エリアＡＲ５→第２エリアＡＲ２と移動した場合、第２スルー画像Ｓ２を第３エリアＡＲ３に移動する（図１６参照）。また、第１位置Ｐ１が第３エリアＡＲ３に居る状態（図１５参照）から、画像が移動して第１位置Ｐ１が第３エリアＡＲ３→第４エリアＡＲ４→第２エリアＡＲ２と移動した場合、第２スルー画像Ｓ２を第１エリアＡＲ１に移動する（不図示）。このように、第１位置Ｐ１が移動した履歴から第２スルー画像Ｓ２の表示場所を、最適な位置に移動させる。なお、移動履歴はリングバッファのような周回記録方式を用いて、最も古い情報は、最新の情報に書き換える形をとり、いくつかの最新情報のみ記録しておく。
Further, the
制御部３０は、第２スルー画像Ｓ２が表示され、検出部６３により、特定対象物ＳＦ１などが検出されている最中に、終了キー１０ｃが押下されたことを認識すると、第２スルー画像Ｓ２の表示を終了させ、検出部６３など検出作業の総ての処理を初期化させ、終了させる。
When the
次に、第２スルー画像Ｓ２の拡大表示を行う手順について、図１７のフローチャートを用いて説明する。撮像装置１の電源がオン状態にされると、ステップＳ１０で、撮像素子５３による撮像、ＤＳＰ６０による画像処理および露出演算が行われ、表示部９０に、画像データに基づいて第１スルー画像Ｓ１が表示される。ステップＳ１０の第１スルー画像Ｓ１の表示は、一定時間ごとに行われる。ただし、レリーズボタン１３が全押しされて本撮影が完了するまでの間は、中断する。
Next, the procedure for enlarging and displaying the second through image S2 will be described with reference to the flowchart of FIG. When the power of the
ステップＳ１１で、操作部１０の終了キー１０ｃが押されたかを確認する。終了に関しては後述するので、ここでは、押されていないという状況で、ステップＳ１２に進む。
In step S11, it is confirmed whether the end key 10c of the
ステップＳ１２で、制御部３０は、操作部１０による第１位置Ｐ１の指定が行われたか否かを判断する。指定が行われていない場合は、ステップＳ１０に戻される。第１位置Ｐ１の指定が行われた場合には、ステップＳ１３に進められる。ステップＳ１３で、制御部３０は、第１位置Ｐ１が指定された状況に基づいて、次に行う手順を選択する。具体的には、第２スルー画像Ｓ２が表示されていない状態で第１位置Ｐ１が初めて指定が行われた場合、もしくは、既に第２スルー画像Ｓ２を表示された状態で第１位置Ｐ１を他の場所に変更する指定が行われた場合には、ステップＳ１４に進められる。第１位置Ｐ１が既に指定されており、変更されていない場合には、ステップＳ１５に進められる。第２位置Ｐ２が第２スルー画像Ｓ２で指定された場合はステップＳ１６に進められる。
In step S <b> 12, the
ステップＳ１４で、検出部６３は、第１位置Ｐ１を中心とした第１領域ＣＡ１内で、特定対象物ＳＦ１の特定を行う。第１領域ＣＡ１内で顔領域を１つ検出した場合、制御部３０は、検出した顔領域を特定対象物ＳＦ１に設定し、第１位置Ｐ１を特定対象物ＳＦ１の中心（検索原点Ｐ１ａ）に補正し、更に、第１領域ＣＡ１を第１位置Ｐ１が中心になるように補正する。第１領域ＣＡ１で複数の顔領域を検出した場合、及び顔領域を１つも検出出来ない場合、制御部３０は、第１領域ＣＡ１全体を特定対象物ＳＦ１に設定する。このとき、第１位置Ｐ１、及び第１領域ＣＡ１の位置は補正しない。第１位置Ｐ１（検索原点Ｐ１ａ）、拡大表示対象領域（ここでは第１領域ＣＡ１）の大きさや位置、及び特定対象物ＳＦ１に関する情報は、制御部３０に一時記録され、次のフレーム画像における特定対象物ＳＦ１の特定、及び第２スルー画像Ｓ２の表示位置調整に用いられる。
In step S14, the detection unit 63 specifies the specific object SF1 in the first area CA1 centered on the first position P1. When one face area is detected in the first area CA1, the
ステップＳ１５で、検出部６３は、ステップＳ１４、または前回のステップＳ１５や、ステップＳ１６で導き出して制御部３０に一時記録した第１位置Ｐ１（検索原点Ｐ１ａ）、拡大表示対象領域の情報、及び特定対象物ＳＦ１に関する情報に基づいて、特定対象物ＳＦ１の特定、すなわち特定対象物ＳＦ１の検出、または特定対象物ＳＦ１の形状パターンの似通った領域の検出を行う。
In step S15, the detection unit 63 determines the first position P1 (search origin P1a) derived in step S14 or the previous step S15 or step S16 and temporarily recorded in the
具体的には、検出部６３は、前回の検出で設定された第１位置Ｐ１（検索原点Ｐ１ａ）を中心とした第１領域ＣＡ１ａ及びその周辺について、前回の検出で設定した特定対象物ＳＦ１と似通った領域（特定対象物ＳＦ１’）の検索を行う。特定対象物ＳＦ１’を検出出来ない場合には、検出部６３は、かかる旨の情報を制御部３０に出力する。
特定対象物ＳＦ１’を検出すると、検出部６３は、関連情報を制御部３０に出力し、制御部３０は、特定対象物ＳＦ１’を新たな特定対象物ＳＦ１に設定する。また、新たな第１位置Ｐ１（検索原点Ｐ１ｂ）、及び新たな第１領域ＣＡ１（ＣＡ１ｂ）を設定する。次回のステップＳ１５では、今回の検出で設定された第１位置Ｐ１（検索原点Ｐ１ｂ）を中心とした第１領域ＣＡ１ｂ及びその周辺について、今回の検出で設定した特定対象物ＳＦ１と似通った領域（特定対象物ＳＦ１’）の検索を行う。
Specifically, the detection unit 63 includes the first area CA1a centered on the first position P1 (search origin P1a) set in the previous detection and the surrounding area with the specific object SF1 set in the previous detection. A similar area (specific object SF1 ′) is searched. When the specific object SF1 ′ cannot be detected, the detection unit 63 outputs information indicating that the specific target object SF1 ′ to the
When the specific target object SF1 ′ is detected, the detection unit 63 outputs related information to the
ステップＳ１６で、制御部３０は、第２位置Ｐ２に対応する第１スルー画像Ｓ１上の位置を特定し、特定した位置に第１位置Ｐ１を変更する。制御部３０は、拡大表示対象領域を、変更した第１位置Ｐ１が中心になる位置に変更し、且つ大きさを１まわり小さくし（例えば、第１領域ＣＡ１から第２領域ＣＡ２へ変更する）する。検出部６３は、１まわり小さく設定された新たな拡大表示対象領域における特定対象物ＳＦ１の特定を行う。第２領域ＣＡ１内で顔領域を１つ検出した場合は、制御部３０は、検出した顔領域を特定対象物ＳＦ１に設定し、第１位置Ｐ１を特定対象物ＳＦ１の中心（検索原点Ｐ１ａ）に補正し、更に、第２領域ＣＡ２を第１位置Ｐ１が中心になるように補正する。第２領域ＣＡ２で複数の顔領域を検出した場合、及び顔領域を１つも検出出来ない場合には、制御部３０は、第２領域ＣＡ２全体を特定対象物ＳＦ１に設定する。このとき、第１位置Ｐ１、及び第２領域ＣＡ２の位置は補正しない。第１位置Ｐ１（検索原点Ｐ１ａ）、拡大表示対象領域（ここでは第２領域ＣＡ２）の大きさや位置、及び特定対象物ＳＦ１に関する情報は、制御部３０に一時記録され、次のフレーム画像における特定対象物ＳＦ１の特定、及び第２スルー画像Ｓ２の表示位置調整に用いられる。
In step S16, the
ステップＳ１７で、制御部３０は、検出部６３から出力された情報に基づいて、特定対象物ＳＦ１の特定が出来ているか否かを判断する。出来ていない場合は、ステップＳ１０に戻される。この場合、指定された第１位置Ｐ１の情報など特定対象物ＳＦ１を特定するために使用された情報は消去（リセット）、すなわち特定対象物ＳＦ１の特定にかかる総ての処理が初期化される。また、第１スルー画像Ｓ１上の拡大表示対象領域（第１〜４領域ＣＡ１〜４のいずれか）の外形枠や、第２スルー画像Ｓ２が表示されている場合にはこれらの表示を終了する。特定対象物ＳＦ１の特定が出来ている場合には、ステップＳ１８に進められる。
In step S <b> 17, the
ステップＳ１８で、制御部３０は、検出部６３から出力された情報に基づいて拡大表示対象領域の画像データを一時記憶する。ステップＳ１９で、第１位置Ｐ１の移動履歴から、現在第２スルー画像Ｓ２を表示する位置が、拡大表示対象領域と重複するか否かを判断する。重複すると判断した場合には、ステップＳ２０で、第２スルー画像Ｓ２を表示させる位置を、拡大表示対象領域と重複しない位置に変更する。また、ステップＳ１９の時点で、第２スルー画像Ｓ２が表示されていない場合、すなわち最初に第２スルー画像Ｓ２を表示する場合には、ステップＳ２０で、第２スルー画像Ｓ２を表示させる位置を、拡大表示対象領域と重複しない位置に設定する。重複しないと判断した場合には、ステップＳ２１に進められる。ステップＳ２１で、第２スルー画像Ｓ２の表示が行われ、ステップＳ１０に戻され、次の第１スルー画像Ｓ１の表示動作が行われる。ステップＳ１０〜Ｓ２１を一定時間ごとに繰り返すことにより、一定時間ごとに第１スルー画像Ｓ１及び第２スルー画像Ｓ２の表示が繰り返し行われる。これにより、第２スルー画像Ｓ２も、第１スルー画像Ｓ１と同様に、ライブビューとして表示出来る。
In step S <b> 18, the
制御部３０は、第１スルー画像Ｓ１表示のステップＳ１０を実施した後に、ステップＳ１１で終了キーが押下されていることを確認する。押下されている場合は、第２スルー画像Ｓ２を表示している場合は、表示を終了し、第２スルー画像Ｓ２の表示に関連する総ての処理を初期化する。この後、ステップＳ１０に戻り、そのまま、第１スルー画像Ｓ１の表示動作が行われる。
The
第２実施形態では、第１スルー画像Ｓ１全体に対して小さい領域（拡大表示対象領域：第１〜４領域ＣＡ１〜４）の画像が、第２スルー画像Ｓ２上に拡大表示されるため、かかる領域の画像の詳細を簡単に視認することが可能になる。また、顔認識機能などにより最初に指定した拡大表示対象領域に含まれる特定対象物ＳＦ１を追尾するため、特定対象物ＳＦ１の移動に応じて、拡大表示対象領域を移動させ、特定対象物ＳＦ１を含む画像の拡大表示を維持することが出来る。 In the second embodiment, an image of a small area (enlarged display target area: first to fourth areas CA1 to CA4) is enlarged and displayed on the second through image S2 with respect to the entire first through image S1. The details of the image in the region can be easily visually confirmed. In addition, in order to track the specific object SF1 included in the enlarged display target area initially designated by the face recognition function or the like, the enlarged display target area is moved in accordance with the movement of the specific target object SF1, and the specific target object SF1 is moved. The enlarged display of the image including it can be maintained.
例えば、風景写真を撮る場合に、特に気になる部分の近くに第１位置Ｐ１を指定し、かかる部分を含む拡大表示対象領域の拡大表示画像（第２スルー画像Ｓ２）を見ながら、被写体全体を示す第１スルー画像Ｓ１を確認することが可能になる。また、集合写真を撮る場合に、ある人物の顔の近くに第１位置Ｐ１を指定し、かかる人物の顔を特定対象物ＳＦ１として特定し、かかる人物の顔を含む拡大表示対象領域の拡大表示画像（第２スルー画像Ｓ２）を見ながら、被写体全体を示す第１スルー画像Ｓ１を確認することが可能になる。また、マクロ撮影において、特に注目したい部分の近くに第１位置Ｐ１を指定し、かかる部分を含む拡大表示対象領域の拡大表示画像（第２スルー画像Ｓ２）を見ながら、被写体全体を示す第１スルー画像Ｓ１を確認することが可能になる。例えば、花を被写体とし、雄しべに注目したい場合は、雄しべを特定対象物ＳＦ１として特定するように第１位置Ｐ１、及び第２位置Ｐ２を指定する（図１８参照）。風などにより雄しべが揺らいで動いたとしても、特定対象物ＳＦ１が追尾されるため、注目したい箇所（特定対象物ＳＦ１）を含む拡大表示対象領域を安定的に第２スルー画像Ｓ２として拡大表示することが出来る。また、多くの動物を含む被写体を撮る場合に、ある動物の近くに第１位置Ｐ１を指定し、かかる動物を含む拡大表示対象領域を特定対象物ＳＦ１として認識させ、かかる動物の拡大表示（第２スルー画像Ｓ２）を見ながら、被写体全体を示す第１スルー画像Ｓ１を確認することが可能になる。 For example, when taking a landscape photo, the first position P1 is designated near a portion of particular interest, and the entire subject is viewed while viewing the enlarged display image (second through image S2) of the enlarged display target region including the portion. It is possible to confirm the first through image S1 indicating When taking a group photo, the first position P1 is specified near the face of a person, the face of the person is specified as the specific object SF1, and the enlarged display target area including the face of the person is enlarged. While viewing the image (second through image S2), the first through image S1 showing the entire subject can be confirmed. Further, in macro photography, a first position P1 is specified near a portion of particular interest, and the first subject indicating the entire subject is viewed while viewing the enlarged display image (second through image S2) of the enlarged display target region including the portion. It is possible to confirm the through image S1. For example, when a flower is an object and it is desired to pay attention to the stamen, the first position P1 and the second position P2 are specified so that the stamen is specified as the specific object SF1 (see FIG. 18). Even if the stamens fluctuate due to wind or the like, the specific object SF1 is tracked, so that the enlarged display target area including the point of interest (specific object SF1) is stably enlarged and displayed as the second through image S2. I can do it. Further, when shooting a subject including many animals, the first position P1 is specified near a certain animal, the enlarged display target region including the animal is recognized as the specific target SF1, and the enlarged display of the animal (the first display) The first through image S1 showing the entire subject can be confirmed while viewing the 2 through image S2).
また、特定対象物ＳＦ１を特定する際に、おおよその位置が使用者の手入力によって指定されているため、指定された第１位置Ｐ１の周辺（拡大表示対象領域）を検出するだけで、特定対象物ＳＦ１を特定できる。このため、画面全体から特定対象物ＳＦ１を特定する形態に比べて、検出時間が短く且つ正確に使用者の意図する対象物を特定対象物ＳＦ１として特定することが可能になる。 Further, when the specific object SF1 is specified, since the approximate position is specified by the user's manual input, it is specified only by detecting the periphery (enlarged display target region) of the specified first position P1. The object SF1 can be specified. For this reason, compared with the form which specifies specific target object SF1 from the whole screen, it becomes possible to specify the target object which a user intends as specific target object SF1 with a short detection time.
第２スルー画像Ｓ２の表示では、使用者の意図に対応した領域が表示されない可能性がある。例えば、目的の特定対象物ＳＦ１が顔であった場合、その周辺に複数の顔が存在すると、意図した顔を特定対象物ＳＦ１として特定しないことが起こり得る。第２実施形態では、検出部６３は、複数の顔領域を含む拡大表示対象領域（例えば第１領域ＣＡ１）を、特定対象物ＳＦ１として特定し、制御部３０は、かかる拡大表示対象領域の画像を第２スルー画像Ｓ２に拡大表示する。この第２スルー画像Ｓ２上で再度位置（第２位置Ｐ２）を指定することにより、拡大表示対象領域の更なる絞り込みと位置変更を可能にする。これにより、使用者の意図に沿った領域を正確に拡大して表示することが可能になる。
In the display of the second through image S2, there is a possibility that an area corresponding to the user's intention may not be displayed. For example, if the target specific object SF1 is a face and there are a plurality of faces around it, the intended face may not be specified as the specific object SF1. In the second embodiment, the detection unit 63 specifies an enlarged display target region (for example, the first region CA1) including a plurality of face regions as the specific object SF1, and the
具体的には、操作部１０を使って、第２スルー画像Ｓ２上における第２位置Ｐ２が指定された場合には、制御部３０は、第１位置Ｐ１を、第１スルー画像Ｓ１上における第２位置Ｐ２に対応する場所に変更する。その後は、変更された第１位置Ｐ１に基づいて、検出部６３による特定対象物ＳＦ１の特定、制御部３０による拡大表示などが行われる。図１７のステップＳ１３で考えると、操作部１０により、既に表示している第２スルー画像Ｓ２上で、第２位置Ｐ２が指定されると、ステップＳ１６に進み、拡大表示対象領域が１まわり縮小した領域に変更され、縮小した拡大表示対象領域における特定対象物ＳＦ１の特定が行われる。
Specifically, when the second position P2 on the second through image S2 is designated using the
また、拡大表示対象領域の大きさを変えずに、指定した第１位置Ｐ１を変更する状況も起こり得る。第２実施形態では、第１スルー画像Ｓ１上で、再度位置（第１位置Ｐ１）を指定することにより、拡大表示対象領域の位置変更をする。これにより、既に第１位置Ｐ１として指定された位置から離れた位置を新たに第１位置Ｐ１として指定することが可能になる。 There may also be a situation in which the designated first position P1 is changed without changing the size of the enlarged display target area. In the second embodiment, the position of the enlarged display target region is changed by designating the position (first position P1) again on the first through image S1. This makes it possible to newly designate a position away from the position already designated as the first position P1 as the first position P1.
具体的には、操作部１０を使って、第１スルー画像Ｓ１上における第１位置Ｐ１が指定された場合には、制御部３０は、第１位置Ｐ１を、新たに指定された場所に変更する。その後は、変更された第１位置Ｐ１に基づいて、検出部６３による特定対象物ＳＦ１の特定、制御部３０による拡大表示などが行われる。図１７のステップＳ１３で考えると、操作部１０により、既に表示している第１スルー画像Ｓ１上で、第１位置Ｐ１が指定されると、ステップＳ１４に進み、拡大表示対象領域の位置が変更され、新たな拡大表示対象領域における特定対象物ＳＦ１の特定が行われる。
Specifically, when the first position P1 on the first through image S1 is designated using the
なお、本実施形態は、撮像装置１がデジタルカメラであるとして説明したが、デジタルビデオカメラであってもよい。
In the present embodiment, the
１ 撮像装置
１０ 操作部
１３ レリーズボタン
３０ 制御部
４５ レンズ駆動部
４７ 露出制御部
５１ レンズ
５３ 撮像素子
５５ ＡＦＥ
６０ ＤＳＰ
６３ 検出部
７０ 記録部
９０ 表示部
DESCRIPTION OF
60 DSP
63
Claims (8)
前記第１スルー画像上における第１位置を指定するために使用される操作部と、
前記表示部に対して、前記第１スルー画像の一部の上に、前記第１位置を含む拡大表示対象領域の画像を拡大した第２スルー画像を表示させる制御部とを備え、
前記操作部は、前記第２スルー画像上における第２位置を指定するために使用され、
前記制御部は、前記第２位置が指定された場合に、前記第１位置を、前記第１スルー画像上における前記第２位置に対応する位置に変更し、前記拡大表示対象領域を、前記第１位置の変更に応じて更新し、且つ前記拡大表示対象領域を狭め拡大倍率を上げた状態で前記第２スルー画像を表示させることを特徴とする撮像装置。 A display unit for displaying a first through image based on image data obtained by imaging;
An operation unit used for designating a first position on the first through image;
A control unit that causes the display unit to display a second through image obtained by enlarging an image of the enlarged display target region including the first position on a part of the first through image;
The operation unit is used to designate a second position on the second through image,
When the second position is designated, the control unit changes the first position to a position corresponding to the second position on the first through image, and the enlarged display target area is changed to the first display area. An image pickup apparatus, wherein the second through image is displayed in a state where the second display image is updated in accordance with a change in one position and the enlargement display target area is narrowed and the enlargement magnification is increased.
前記制御部は、前記顔領域の検出結果に基づいて位置が調整された前記拡大表示対象領域の画像を、前記第２スルー画像として表示させることを特徴とする請求項１に記載の撮像装置。 A detection unit having a face detection function for detecting a face region in the image of the enlarged display target region;
The imaging apparatus according to claim 1, wherein the control unit displays an image of the enlarged display target region, the position of which is adjusted based on the detection result of the face region, as the second through image.
前記制御部は、前記１つの顔領域を追尾した結果に基づいて位置が調整された前記拡大表示対象領域の画像を、前記第２スルー画像として表示させることを特徴とする請求項３に記載の撮像装置。 The detection unit tracks the one face area based on at least one of binarization information and a luminance pattern, and the face detection function,
The said control part displays the image of the said enlarged display object area | region where the position was adjusted based on the result of tracking the said one face area as said 2nd through image. Imaging device.
前記制御部は、前記形状パターンを追尾した結果に基づいて位置が調整された前記拡大表示対象領域の画像を、前記第２スルー画像として表示させることを特徴とする請求項１、５、６に記載の撮像装置。 The detection unit tracks the shape pattern of the image of the enlarged display target region based on at least one of the binarization information and the luminance pattern,
The said control part displays the image of the said enlarged display object area | region where the position was adjusted based on the result of tracking the said shape pattern as said 2nd through image, It is characterized by the above-mentioned. The imaging device described.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008302479A JP5015121B2 (en) | 2008-11-27 | 2008-11-27 | Imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008302479A JP5015121B2 (en) | 2008-11-27 | 2008-11-27 | Imaging device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010130309A true JP2010130309A (en) | 2010-06-10 |
| JP5015121B2 JP5015121B2 (en) | 2012-08-29 |
Family
ID=42330375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008302479A Expired - Fee Related JP5015121B2 (en) | 2008-11-27 | 2008-11-27 | Imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5015121B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012085267A (en) * | 2010-10-14 | 2012-04-26 | Sony Corp | Capturing device, capturing system and capturing method |
| JP2014165523A (en) * | 2013-02-21 | 2014-09-08 | Canon Inc | Display control device and method of controlling the same |
| WO2023062792A1 (en) * | 2021-10-14 | 2023-04-20 | 日本電気株式会社 | Image processing device, image processing method, and storage medium |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001078069A (en) * | 1999-09-06 | 2001-03-23 | Canon Inc | Method and device for photographing and storage medium |
| JP2003179798A (en) * | 2001-12-10 | 2003-06-27 | Canon I-Tech Inc | Digital camera |
| JP2006166396A (en) * | 2004-11-09 | 2006-06-22 | Casio Comput Co Ltd | Camera, method for notifying camera shaking state and program |
| JP2008017166A (en) * | 2006-07-06 | 2008-01-24 | Fujifilm Corp | Photographing device and method, and program |
| WO2008072374A1 (en) * | 2006-12-11 | 2008-06-19 | Nikon Corporation | Electronic camera |
-
2008
- 2008-11-27 JP JP2008302479A patent/JP5015121B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001078069A (en) * | 1999-09-06 | 2001-03-23 | Canon Inc | Method and device for photographing and storage medium |
| JP2003179798A (en) * | 2001-12-10 | 2003-06-27 | Canon I-Tech Inc | Digital camera |
| JP2006166396A (en) * | 2004-11-09 | 2006-06-22 | Casio Comput Co Ltd | Camera, method for notifying camera shaking state and program |
| JP2008017166A (en) * | 2006-07-06 | 2008-01-24 | Fujifilm Corp | Photographing device and method, and program |
| WO2008072374A1 (en) * | 2006-12-11 | 2008-06-19 | Nikon Corporation | Electronic camera |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012085267A (en) * | 2010-10-14 | 2012-04-26 | Sony Corp | Capturing device, capturing system and capturing method |
| US9215376B2 (en) | 2010-10-14 | 2015-12-15 | Sony Corporation | Capturing device, capturing system and capturing method |
| JP2016171599A (en) * | 2010-10-14 | 2016-09-23 | ソニー株式会社 | Image capturing device, image capturing system, and image capturing method |
| US9485429B2 (en) | 2010-10-14 | 2016-11-01 | Sony Corporation | Capturing device, capturing system and capturing method |
| US9643539B2 (en) | 2010-10-14 | 2017-05-09 | Sony Corporation | Capturing device, capturing system and capturing method |
| US10142580B2 (en) | 2010-10-14 | 2018-11-27 | Sony Corporation | Capturing device, capturing system and capturing method |
| US10178339B2 (en) | 2010-10-14 | 2019-01-08 | Sony Corporation | Capturing device, capturing system and capturing method |
| US11082657B2 (en) | 2010-10-14 | 2021-08-03 | Sony Group Corporation | Camera system for use in a vehicle with settable image enlargement values |
| US11418752B2 (en) | 2010-10-14 | 2022-08-16 | Sony Group Corporation | Vehicle camera system |
| JP2014165523A (en) * | 2013-02-21 | 2014-09-08 | Canon Inc | Display control device and method of controlling the same |
| WO2023062792A1 (en) * | 2021-10-14 | 2023-04-20 | 日本電気株式会社 | Image processing device, image processing method, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5015121B2 (en) | 2012-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9830947B2 (en) | Image-capturing device | |
| JP5178553B2 (en) | Imaging device | |
| JP2010050521A (en) | Imaging device | |
| JP5331128B2 (en) | Imaging device | |
| JP2008312242A (en) | Imaging device | |
| JP2006211139A (en) | Imaging apparatus | |
| JP5187035B2 (en) | Imaging apparatus, image processing apparatus, and image processing program | |
| EP3018891B1 (en) | Tracking device, tracking method, and non-transitory recording medium having tracking program stored therein | |
| JP2010045625A (en) | Imaging apparatus | |
| US20110102454A1 (en) | Image processing device, image processing method, image processing program, and imaging device | |
| JP2011030072A (en) | Image processing apparatus, and image processing method and program therefor | |
| JP2009288945A (en) | Image display unit and image display method | |
| TWI693828B (en) | Image-capturing device and method for operating the same | |
| JP5015121B2 (en) | Imaging device | |
| JP2019022026A (en) | Imaging apparatus | |
| JP2015192310A (en) | Projection system, portable equipment, program, and control method of portable equipment | |
| JP6326631B2 (en) | Imaging device | |
| JP2015014672A (en) | Camera control device, camera system, camera control method and program | |
| JP4807582B2 (en) | Image processing apparatus, imaging apparatus, and program thereof | |
| JP6465566B2 (en) | Imaging apparatus and imaging method | |
| JP4716266B2 (en) | Image processing apparatus, imaging apparatus, and program thereof | |
| JP2009152725A (en) | Automatic tracing apparatus and method | |
| JP2009224882A (en) | Image pickup device, display method of image pickup device, program, and computer readable recording medium | |
| KR102198177B1 (en) | Photographing apparatus, method for controlling the same and a computer-readable storage medium | |
| JP2010010881A (en) | Imaging device and notification method of moire existence in image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110525 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120410 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120522 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120606 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150615 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |