JP2013229696A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2013229696A JP2013229696A JP2012099412A JP2012099412A JP2013229696A JP 2013229696 A JP2013229696 A JP 2013229696A JP 2012099412 A JP2012099412 A JP 2012099412A JP 2012099412 A JP2012099412 A JP 2012099412A JP 2013229696 A JP2013229696 A JP 2013229696A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- information
- display
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Indication In Cameras, And Counting Of Exposures (AREA)
- Camera Data Copying Or Recording (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置に関する。 The present invention relates to an imaging apparatus.
従来、構図確認用のスルー画像から人物の顔を識別する撮像装置が知られている(例えば、特許文献1参照)。 2. Description of the Related Art Conventionally, an imaging apparatus that identifies a person's face from a through image for composition confirmation is known (for example, see Patent Document 1).
ところで、例えば5人の友人からなるグループで旅行へ行き、グループ内の何れかの撮影者がそのグループ内の2人を撮影した場面を想定する。この場合、他の2名(撮影者を除く)は、撮影場所の周辺に存在しているにも拘らず、撮影画像には撮影されないことになる。そのため、撮影者がその撮影画像を後日(例えば数年後)になって確認した時に以下の問題が生じることがある。すなわち、撮影者は、誰と旅行へ行ったのかグループ全員を思い出せなくなることがある。 By the way, for example, it is assumed that a group of five friends travels and a photographer in the group photographs two persons in the group. In this case, the other two persons (excluding the photographer) are not photographed in the photographed image even though they exist around the photographing place. Therefore, when the photographer confirms the captured image at a later date (for example, several years later), the following problem may occur. That is, the photographer may not be able to remember the entire group who went to the trip.
しかしながら、特許文献1の撮像装置では、撮影対象の人物を識別することを前提としているので、上記の問題を解決することができない。 However, since the imaging apparatus of Patent Document 1 is premised on identifying a person to be photographed, the above problem cannot be solved.
そこで、本発明は、上記事情に鑑み、撮影場所の周辺に存在しているにも拘らず、構図内に収まらない対象(オブジェクト)の情報を撮影画像に容易に関連付けることができる撮像装置を提供することを目的とする。 Therefore, in view of the above circumstances, the present invention provides an imaging apparatus capable of easily associating information on a target (object) that does not fit in the composition even though it exists in the vicinity of the shooting location with the shot image. The purpose is to do.
第1の発明に係る撮像装置は、撮像素子と、認識部と、撮影制御部と、記録処理部とを備える。撮像素子は、被写体の像を撮像する。認識部は、撮像素子により時系列に得られる第1画像を解析して、第1画像内に含まれるオブジェクトを認識する。撮影制御部は、第1画像の撮影、及び記録用の第2画像の撮影を行なう。記録処理部は、第2画像と認識部によって認識された少なくとも第2画像に含まれないオブジェクトの情報とを関連付けて記録する。 An imaging apparatus according to a first invention includes an imaging element, a recognition unit, a shooting control unit, and a recording processing unit. The imaging element captures an image of a subject. The recognizing unit analyzes the first image obtained in time series by the imaging element, and recognizes an object included in the first image. The shooting control unit performs shooting of the first image and shooting of the second image for recording. The recording processing unit records the second image and information of an object not included in at least the second image recognized by the recognition unit in association with each other.
第2の発明は、第1の発明において、画像表示用の表示部と、表示制御部とをさらに備える。表示制御部は、表示部の表示態様を制御する。表示制御部は、第1画像とオブジェクトの情報とを表示部に表示させる。記録処理部は、第1画像と共に表示部に表示されたオブジェクトの情報を第2画像に関連付けて記録する。 According to a second aspect, in the first aspect, the display device further includes a display unit for displaying an image and a display control unit. The display control unit controls the display mode of the display unit. The display control unit displays the first image and the object information on the display unit. The recording processing unit records the object information displayed on the display unit together with the first image in association with the second image.
第3の発明は、第2の発明において、選択入力部をさらに備える。選択入力部は、表示部に表示された第1画像に対して、ユーザ入力によりオブジェクトを選択する。認識部は、ユーザ入力により選択入力部が選択したオブジェクトを認識する。 According to a third invention, in the second invention, a selection input unit is further provided. The selection input unit selects an object by user input for the first image displayed on the display unit. The recognition unit recognizes the object selected by the selection input unit by user input.
第4の発明は、第3の発明において、選択入力部は、接触体の接触により情報入力を行なうタッチパネルである。認識部は、表示部に表示中の第1画像内のオブジェクトに対して、タッチパネルを介して接触体が指示したオブジェクトを認識する。 In a fourth aspect based on the third aspect, the selection input unit is a touch panel for inputting information by contact of a contact body. A recognition part recognizes the object which the contact body instruct | indicated through the touch panel with respect to the object in the 1st image currently displayed on the display part.
第5の発明は、第1から第4の何れか1の発明において、記録処理部は、第2画像の一部領域にオブジェクトの情報を合成する、若しくは第2画像のタグ情報にオブジェクト情報を追加することで、第2画像とオブジェクト情報とを関連付けて記録する。 In a fifth aspect based on any one of the first to fourth aspects, the recording processing unit synthesizes object information in a partial area of the second image, or adds object information to tag information of the second image. By adding, the second image and the object information are recorded in association with each other.
第6の発明は、第1から第5の何れか1の発明において、データベースと、第1照合部とをさらに備える。データベースには、照合用のオブジェクトの情報が予め登録されている。第1照合部は、第1画像に含まれる部分画像とデータベースに登録された照合用のオブジェクトの情報とを照合する。認識部は、第1照合部の照合結果に応じて、オブジェクトを認識する。 According to a sixth invention, in any one of the first to fifth inventions, the database further includes a database and a first verification unit. In the database, information on objects for collation is registered in advance. The first collating unit collates the partial image included in the first image with the information of the collating object registered in the database. The recognition unit recognizes the object according to the collation result of the first collation unit.
第7の発明は、第1から第6の何れか1の発明において、通信部と、第2照合部をさらに備える。通信部は、照合用のオブジェクトの情報が予め登録されているデータベースを有する外部サーバと通信する。第2照合部は、通信部を介して、第1画像に含まれる部分画像とデータベースに登録された照合用のオブジェクトの情報とを照合させる。認識部は、第2照合部の照合結果に応じて、オブジェクトを認識する。 According to a seventh invention, in any one of the first to sixth inventions, the communication device and the second verification unit are further provided. The communication unit communicates with an external server having a database in which information on objects for verification is registered in advance. The second collation unit collates the partial image included in the first image with the information on the collation object registered in the database via the communication unit. The recognition unit recognizes the object according to the collation result of the second collation unit.
第8の発明は、第6又は第7の発明において、データベースに登録されているオブジェクトの情報にはオブジェクトに関連する情報を含む。記録処理部は、第1照合部又は第2照合部の照合結果に応じて、第2画像とオブジェクトに関連する情報とを関連付けて記録する。 In an eighth invention according to the sixth or seventh invention, the information of the object registered in the database includes information related to the object. The recording processing unit records the second image and information related to the object in association with each other according to the collation result of the first collation unit or the second collation unit.
第9の発明は、第6から第8の何れか1の発明において、管理部をさらに備える。管理部は、記録処理部が登録したオブジェクトの情報を所定の条件ごとに管理する。 According to a ninth invention, in any one of the sixth to eighth inventions, a management unit is further provided. The management unit manages object information registered by the recording processing unit for each predetermined condition.
第10の発明は、第9の発明において、管理部は、複数の前記オブジェクトの情報をグループとして管理する。 In a tenth aspect based on the ninth aspect, the management unit manages information of the plurality of objects as a group.
第11の発明は、第10の発明において、記録処理部は、撮影ごと、時間ごと、日付ごと、または撮影イベントごとに認識部が認識したオブジェクトの情報をグループとしてデータベースへ登録する。 In an eleventh aspect based on the tenth aspect, the recording processing unit registers the object information recognized by the recognition unit as a group in the database for each photographing, every time, every date, or every photographing event.
第12の発明は、第10又は第11の発明において、管理部は、ユーザ入力により指定された特定のグループ、又は認識部が現在認識しているオブジェクトが含まれる特定のグループを読み出す。表示制御部は、特定のグループのオブジェクトの情報を表示部に表示させる。 In a twelfth aspect based on the tenth or eleventh aspect, the management unit reads a specific group designated by a user input or a specific group including an object currently recognized by the recognition unit. The display control unit causes the display unit to display information on objects of a specific group.
本発明の撮像装置は、撮影場所の周辺に存在しているにも拘らず、構図内に収まらない対象(オブジェクト)の情報を撮影画像に容易に関連付けることができる。 The imaging apparatus according to the present invention can easily associate information of a target (object) that does not fit in the composition with a captured image even though it exists in the vicinity of the shooting location.
(第1実施形態)
以下、図面に基づいて本発明の実施の形態を詳細に説明する。第1実施形態では、本発明の一実施形態の電子カメラ1について説明する。なお、第2乃至第6実施形態おいて、電子カメラ1の構成は共通しているので、第2乃至第6実施形態では、電子カメラ1の構成の説明を省略する。
(First embodiment)
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the first embodiment, an electronic camera 1 according to an embodiment of the present invention will be described. In the second to sixth embodiments, since the configuration of the electronic camera 1 is common, the description of the configuration of the electronic camera 1 is omitted in the second to sixth embodiments.
図1は、電子カメラ1の構成例を示すブロック図である。ここで、電子カメラ1は、撮影場所の周辺に存在しているにも拘らず、構図内に収まらない対象(オブジェクト)の情報を撮影画像に容易に関連付けるための撮影モード(以下「関連付けモード」という。)を有している。なお、本実施形態におけるオブジェクトの情報は、構図内に収まらない被写体に関する情報であって、例えば、被写体の画像(人物の顔画像等)や、被写体の名称等を含んで良い。以下の説明では、簡単のため、人物の顔画像等を単にオブジェクトと称することがある。 FIG. 1 is a block diagram illustrating a configuration example of the electronic camera 1. Here, the electronic camera 1 is a photographing mode (hereinafter referred to as “association mode”) for easily associating information on a target (object) that does not fit in the composition even though it exists in the vicinity of the photographing location with the photographed image. I have). Note that the object information in the present embodiment is information relating to a subject that does not fit in the composition, and may include, for example, a subject image (such as a human face image), a subject name, and the like. In the following description, for the sake of simplicity, a human face image or the like may be simply referred to as an object.
電子カメラ1は、撮影光学系10と、撮像素子11と、信号処理部12と、RAM(Random Access Memory)13と、画像処理部14と、フラッシュメモリ15と、記録インターフェース部(以下「記録I/F部」という。)16と、表示モニタ17と、表示インターフェース部(以下「表示I/F部」という。)18と、タッチパネル19と、操作部20と、レリーズ釦21と、通信インターフェース部(以下「通信I/F部」という。)22と、アンテナ22aと、方位センサ23と、CPU(Central Processing Unit)24と、バス25とを備える。 The electronic camera 1 includes a photographing optical system 10, an image sensor 11, a signal processing unit 12, a RAM (Random Access Memory) 13, an image processing unit 14, a flash memory 15, and a recording interface unit (hereinafter referred to as "recording I"). / F unit ") 16, display monitor 17, display interface unit (hereinafter referred to as" display I / F unit ") 18, touch panel 19, operation unit 20, release button 21, and communication interface unit. (Hereinafter referred to as “communication I / F unit”) 22, antenna 22 a, direction sensor 23, CPU (Central Processing Unit) 24, and bus 25.
このうち、信号処理部12、RAM13、画像処理部14、フラッシュメモリ15、記録I/F部16、表示I/F部18及びCPU24は、バス25を介して互いに接続されている。 Among these, the signal processing unit 12, the RAM 13, the image processing unit 14, the flash memory 15, the recording I / F unit 16, the display I / F unit 18, and the CPU 24 are connected to each other via a bus 25.
撮影光学系10は、焦点距離を調整するズームレンズと、撮像素子11の撮像面での結像位置を調整するフォーカスレンズとを含む複数のレンズ群で構成されている。レンズ駆動部(不図示)は、撮影光学系10内でズームレンズやフォーカスレンズのレンズ位置をCPU24の指示に応じて光軸方向に調整する。なお、簡単のため、図1では、撮影光学系10を1枚のレンズとして図示する。 The photographic optical system 10 includes a plurality of lens groups including a zoom lens that adjusts the focal length and a focus lens that adjusts the imaging position on the imaging surface of the imaging element 11. A lens driving unit (not shown) adjusts the lens positions of the zoom lens and the focus lens in the photographic optical system 10 in the direction of the optical axis in accordance with an instruction from the CPU 24. For the sake of simplicity, FIG. 1 shows the photographing optical system 10 as a single lens.
撮像素子11は、被写体の像を撮像して、画像(アナログの画像信号)を生成する。そして、撮像素子11が出力するアナログの画像信号は、信号処理部12に入力される。なお、撮像素子11の撮像面には、R(赤)、G(緑)B(青)の3種類のカラーフィルタが例えばベイヤー配列で配置されている。また、撮像素子11の電荷蓄積時間及び画像信号の読み出しは、タイミングジェネレータ(不図示)によって制御される。撮像素子11は、CCD(Charge Coupled Device)型又はCMOS(Complementary Metal-Oxide Semiconductor)型のカラーイメージセンサである。 The image sensor 11 captures an image of a subject and generates an image (analog image signal). The analog image signal output from the image sensor 11 is input to the signal processing unit 12. Note that three types of color filters of R (red), G (green), and B (blue) are arranged on the imaging surface of the imaging device 11 in, for example, a Bayer array. Further, the charge accumulation time of the image sensor 11 and the reading of the image signal are controlled by a timing generator (not shown). The image sensor 11 is a CCD (Charge Coupled Device) type or CMOS (Complementary Metal-Oxide Semiconductor) type color image sensor.
信号処理部12は、撮像素子11が出力するアナログの画像信号をデジタル信号(画像データ)に変換しバス25に出力する。 The signal processing unit 12 converts an analog image signal output from the image sensor 11 into a digital signal (image data) and outputs the digital signal to the bus 25.
RAM13は、揮発性のメモリ(バッファメモリ)である。RAM13は、CPU24の制御によりバス25を介して、画像データを一時記録する。画像処理部14は、RAM13に記録されている画像データを読み出し、各種の画像処理(階調変換処理、輪郭強調処理、ホワイトバランス処理等)を施す。 The RAM 13 is a volatile memory (buffer memory). The RAM 13 temporarily records image data via the bus 25 under the control of the CPU 24. The image processing unit 14 reads the image data recorded in the RAM 13 and performs various image processing (gradation conversion processing, contour enhancement processing, white balance processing, etc.).
フラッシュメモリ15は、書き換え可能な不揮発性の半導体メモリである。フラッシュメモリ15には、電子カメラ1の制御を行なうプログラム等が予め記録されている。CPU24は、このプログラムに従い、一例として後述の図3及び図7に示すフローチャートの処理(以下「フローの処理」という。)を実行する。 The flash memory 15 is a rewritable nonvolatile semiconductor memory. A program for controlling the electronic camera 1 is recorded in the flash memory 15 in advance. In accordance with this program, the CPU 24 executes processing of flowcharts shown in FIGS. 3 and 7 (to be referred to as “flow processing” hereinafter) as an example.
また、フラッシュメモリ15には、照合用のオブジェクトの情報が予め登録されているデータベース15aを有する。データベース15aについては、第4実施形態で説明する。 Further, the flash memory 15 has a database 15a in which information on objects for verification is registered in advance. The database 15a will be described in a fourth embodiment.
記録I/F部16には、着脱自在の記録媒体30を接続するためのコネクタ(不図示)が形成されている。そして、記録I/F部16は、そのコネクタに接続された記録媒体30にアクセスして記録用の撮影画像の記録処理等を行なう。この記録媒体30は、例えば、カード型の不揮発性のメモリカードである。図1では、コネクタに接続された後の記録媒体30を示している。 The recording I / F unit 16 is formed with a connector (not shown) for connecting a detachable recording medium 30. Then, the recording I / F unit 16 accesses the recording medium 30 connected to the connector and performs recording processing of a recorded image for recording. The recording medium 30 is, for example, a card type nonvolatile memory card. FIG. 1 shows the recording medium 30 after being connected to the connector.
表示モニタ17は、例えば液晶表示媒体により構成される。そして、表示モニタ17は、撮像素子11により時系列に得られる構図確認用のスルー画像、撮影画像、電子カメラ1の操作メニュー等を表示する。 The display monitor 17 is composed of, for example, a liquid crystal display medium. The display monitor 17 displays a through image for composition confirmation obtained by the image sensor 11 in time series, a captured image, an operation menu of the electronic camera 1, and the like.
表示I/F部18は、表示モニタ17に画像等を表示するためのインターフェースを提供する。具体的には、表示I/F部18は、後述する表示制御部24bの指示を受け、電子カメラ1の操作メニューや撮影画像を表示モニタ17に表示させる。 The display I / F unit 18 provides an interface for displaying an image or the like on the display monitor 17. Specifically, the display I / F unit 18 displays an operation menu of the electronic camera 1 and a captured image on the display monitor 17 in response to an instruction from a display control unit 24b described later.
また、表示I/F部18は、撮影待機時において、スルー画像をライブビュー表示用として表示モニタ17に表示させる。具体的には、CPU24は、撮影待機時において、記録媒体30に記録する撮影画像に比べて撮像素子11が出力する画像の解像度を低く設定する。これにより、撮像素子11は、タイミングジェネレータの指示により、例えば30フレーム毎秒(30fps)でスルー画像を出力する。そして、表示I/F部18は、表示制御部24bの指示により、スルー画像をライブビュー表示用のスルー画像として表示モニタ17に表示させる。 In addition, the display I / F unit 18 displays the through image on the display monitor 17 for live view display during shooting standby. Specifically, the CPU 24 sets the resolution of the image output by the image sensor 11 to be lower than that of the captured image recorded on the recording medium 30 during standby for shooting. As a result, the image sensor 11 outputs a through image at 30 frames per second (30 fps), for example, according to an instruction from the timing generator. Then, the display I / F unit 18 causes the display monitor 17 to display the through image as a through image for live view display according to an instruction from the display control unit 24b.
タッチパネル19は、接触体の接触により情報入力を行なう。具体的には、タッチパネル19は、例えば感圧(抵抗膜)式のタッチパネルであって、表示モニタ17上に設けられたタッチパネル表面に接触体(例えば指先)の位置を検出する。そして、タッチパネル19は、検出した位置を示す信号(位置情報)をCPU24に送信する。これにより、タッチパネル19は、表示モニタ17に表示されたスルー画像に対して、ユーザ入力によりオブジェクトの情報を選択することができる。 The touch panel 19 inputs information by contact of a contact body. Specifically, the touch panel 19 is a pressure-sensitive (resistive film) type touch panel, for example, and detects the position of a contact body (for example, a fingertip) on the surface of the touch panel provided on the display monitor 17. Then, the touch panel 19 transmits a signal (position information) indicating the detected position to the CPU 24. Thereby, the touch panel 19 can select object information by a user input with respect to the through image displayed on the display monitor 17.
なお、タッチパネル19は、感圧(抵抗膜)式に限られず、他の方式(例えば、静電容量式)のタッチパネルであっても良い。また、タッチパネル19は、接触体として例えば感圧式のペン型の入力装置(ポインティングデバイス等)の位置を検出しても良い。 The touch panel 19 is not limited to a pressure-sensitive (resistive film) type, and may be a touch panel of another type (for example, a capacitance type). Further, the touch panel 19 may detect the position of, for example, a pressure-sensitive pen-type input device (such as a pointing device) as a contact body.
操作部20は、撮影者の操作を受け付ける複数のボタンを有しており、電子カメラ1を操作するための指示入力を受け付ける。レリーズ釦21は、半押し操作(撮影前におけるオートフォーカス(AF)や自動露出(AE)等の撮影準備の動作開始)と全押し操作(撮影動作開始)との撮影の指示入力とを受け付ける。 The operation unit 20 has a plurality of buttons for receiving a photographer's operation, and receives an instruction input for operating the electronic camera 1. The release button 21 receives a half-press operation (start of shooting preparation operations such as autofocus (AF) and automatic exposure (AE) before shooting) and a shooting instruction input for full-press operation (start of shooting operation).
図2は、電子カメラ1の筐体の背面図である。電子カメラ1の筐体の背面には、一例として、表示モニタ17と、操作部20として、広角ズームボタン20aと、望遠ズームボタン20bと、モードボタン20cと、メニューボタン20dと、十字ボタン20eとが備えられている。また、電子カメラ1の筐体の上面には、レリーズ釦21と操作部20として電源ボタン20fとが備えられている。 FIG. 2 is a rear view of the housing of the electronic camera 1. On the back of the housing of the electronic camera 1, as an example, a display monitor 17, an operation unit 20, a wide-angle zoom button 20a, a telephoto zoom button 20b, a mode button 20c, a menu button 20d, a cross button 20e, Is provided. A release button 21 and a power button 20 f as the operation unit 20 are provided on the upper surface of the casing of the electronic camera 1.
広角ズームボタン20aは、焦点距離を広角側に変更し、望遠ズームボタン20bは焦点距離を望遠側に変更する。モードボタン20cは、撮影モード又は再生モードに切り替える操作を受け付ける。メニューボタン20dは、メニュー画面を立ち上げるための操作をユーザから受け付ける。十字ボタン20eは、電子カメラ1の操作メニューにおける設定条件等の選択又は決定をユーザから受け付ける。 The wide-angle zoom button 20a changes the focal length to the wide-angle side, and the telephoto zoom button 20b changes the focal length to the telephoto side. The mode button 20c receives an operation for switching to the shooting mode or the playback mode. The menu button 20d accepts an operation for starting up the menu screen from the user. The cross button 20e receives selection or determination of setting conditions and the like in the operation menu of the electronic camera 1 from the user.
ここで、十字ボタン20eは、電子カメラ1の操作メニューの設定条件を選択若しくは決定する操作ボタンである。十字ボタン20eは、上下左右の4方向の操作ボタンにより、例えば設定条件等の項目の選択入力をユーザから受け付ける。また、十字ボタン20eは、中央に配置されている円形の操作ボタンが押下されることにより、選択された設定条件の決定の入力をユーザから受け付ける。また、十字ボタン20eは、表示モニタ17に表示されたスルー画像に対して、ユーザ入力によりオブジェクトの情報を選択する。また、電源ボタン20fは、電子カメラ1の電源(不図示)のオン又はオフを受け付ける。 Here, the cross button 20e is an operation button for selecting or determining a setting condition of an operation menu of the electronic camera 1. The cross button 20e receives, for example, selection input of items such as setting conditions from the user by operating buttons in four directions, up, down, left and right. The cross button 20e receives an input for determining the selected setting condition from the user when a circular operation button arranged at the center is pressed. In addition, the cross button 20e selects object information by a user input for the through image displayed on the display monitor 17. The power button 20f accepts turning on or off of the power source (not shown) of the electronic camera 1.
再び、図1の説明に戻り、通信I/F部22は、無線通信するためのインターフェースを提供する。具体的には、通信I/F部22は、アンテナ22aを介して無線通信により、電気通信回線(例えばインターネット網)に接続し、図12で後述する外部サーバ50と通信を行なう。方位センサ23は、例えば電子コンパスであって、地磁気を検知してCPU24へ出力する。 Returning to the description of FIG. 1 again, the communication I / F unit 22 provides an interface for wireless communication. Specifically, the communication I / F unit 22 is connected to an electric communication line (for example, the Internet network) by wireless communication via the antenna 22a, and communicates with an external server 50 described later with reference to FIG. The direction sensor 23 is an electronic compass, for example, and detects geomagnetism and outputs it to the CPU 24.
CPU24は、高速な画像処理機能を備えたASIC(Application Specific Integrated Circuit)を搭載し、マイクロプロセッサとしての各種演算及び電子カメラ1の統括的な制御を行なう。CPU24は、上記のプログラムを実行することにより、電子カメラ1の各部の制御等を行なう。 The CPU 24 is equipped with an application specific integrated circuit (ASIC) having a high-speed image processing function, and performs various operations as a microprocessor and overall control of the electronic camera 1. The CPU 24 controls each part of the electronic camera 1 by executing the above program.
また、CPU24は、認識部24aと、表示制御部24bと、撮影制御部24cと、記録処理部24dと、第1照合部24eと、第2照合部24fと、置換部24gと、管理部24hとしても機能する。 Further, the CPU 24 recognizes the recognition unit 24a, the display control unit 24b, the imaging control unit 24c, the recording processing unit 24d, the first verification unit 24e, the second verification unit 24f, the replacement unit 24g, and the management unit 24h. Also works.
認識部24aは、スルー画像を解析して、スルー画像内に含まれるオブジェクト(例えば顔画像)を認識する。具体的には、認識部24aは、スルー画像の画像データをRAM13から読み出して、その画像データから被写体として人物の顔の領域(顔画像)を抽出する。この場合、人物の顔の領域の抽出は、公知の顔抽出処理により行なうことができる。 The recognition unit 24a analyzes the through image and recognizes an object (for example, a face image) included in the through image. Specifically, the recognizing unit 24a reads through-image image data from the RAM 13, and extracts a human face area (face image) as a subject from the image data. In this case, the extraction of the human face area can be performed by a known face extraction process.
より具体的には、認識部24aは、スルー画像の画像データから顔の領域を肌色等の輝度信号に基づいて抽出し、顔画像をオブジェクトとして認識する。そして、顔画像のデータは、順次、RAM13に一時的に記録される。ここで、認識部24aは、顔を含む顔枠の矩形の領域を顔画像として切り出して認識しても良い。なお、認識部24aは、画像処理部14に指示を出して、画像処理部14にオブジェクトの認識を行なわせる構成としても良い。 More specifically, the recognition unit 24a extracts a face area from the image data of the through image based on a luminance signal such as a skin color, and recognizes the face image as an object. Then, the face image data is sequentially temporarily stored in the RAM 13. Here, the recognition unit 24a may cut out and recognize a rectangular area of the face frame including the face as a face image. The recognition unit 24a may be configured to issue an instruction to the image processing unit 14 and cause the image processing unit 14 to recognize an object.
或いは、認識部24aは、公知のグラフカット(Graph Cuts)法を用いて、人物等の物体の輪郭形状をオブジェクトとして認識しても良い。グラフカット法は、一例として、隣接する画素値が同一領域内の画素値とみなせるか否かの判定を「確からしさ」という数学的尺度に基づいて、対象領域(例えば人物の輪郭形状)と背景領域とを分割して対象領域を決定する方法である。 Alternatively, the recognition unit 24a may recognize the contour shape of an object such as a person as an object by using a known graph cut method. As an example, the graph cut method is based on a mathematical measure of “probability” for determining whether adjacent pixel values can be regarded as pixel values in the same region and the background of the target region (for example, the contour shape of a person). In this method, the target area is determined by dividing the area.
或いは、認識部24aは、タッチパネル19や十字ボタン20eを介して、ユーザの選択によりオブジェクトを認識しても良い。 Alternatively, the recognizing unit 24a may recognize the object by user selection via the touch panel 19 or the cross button 20e.
表示制御部24bは、表示モニタ17の表示態様を制御する。具体的には、表示制御部24bは、表示I/F部18を介して、例えば、スルー画像にオブジェクトを重畳させて表示モニタ17に表示させる。ここで、一例として、撮影者が電子カメラ1の向きを変えてスルー画像を撮影した場合、認識部24aは、電子カメラ1の向きに応じてオブジェクトを認識できる。或いは、一例として、撮影者が、焦点距離を広角側又は望遠側に変更してスルー画像を撮影した場合、認識部24aは、焦点距離に応じてオブジェクトを認識できる。 The display control unit 24 b controls the display mode of the display monitor 17. Specifically, the display control unit 24 b causes the display monitor 17 to display an object superimposed on a through image, for example, via the display I / F unit 18. Here, as an example, when the photographer changes the orientation of the electronic camera 1 and takes a through image, the recognition unit 24 a can recognize the object according to the orientation of the electronic camera 1. Alternatively, as an example, when the photographer changes the focal length to the wide-angle side or the telephoto side and takes a through image, the recognition unit 24a can recognize the object according to the focal length.
そして、表示制御部24bが、例えばスルー画像に少なくとも現在映っていない任意のオブジェクトを表示モニタ17に表示させれば、撮影者は、構図内に収まらないオブジェクトを直感的に認識できる。なお、表示制御部24bは、デフォルト設定(ユーザが特に指定しない場合に、予め設定されている値)において、認識部24aが認識したオブジェクトを順次表示モニタ17に表示させる。 Then, if the display control unit 24b displays, for example, an arbitrary object that is not currently displayed in the through image on the display monitor 17, the photographer can intuitively recognize an object that does not fit in the composition. The display control unit 24b causes the display monitor 17 to sequentially display the objects recognized by the recognition unit 24a in default settings (values set in advance when the user does not specify otherwise).
撮影制御部24cは、スルー画像の撮影、及び撮影画像の撮影を行なう。具体的には、撮影制御部24cは、スルー画像の撮影を行なう場合、撮影制御部24cは、タイミングジェネレータ(不図示)を介して例えば30fpsで撮像素子11にスルー画像を出力させる。また、レリーズ釦21が所定のタイミングで撮影(半押し操作、全押し操作)の指示入力を受け付けると、撮影制御部24cは、撮影画像の撮影を行なう。 The shooting control unit 24c performs shooting of a through image and shooting of a shot image. Specifically, when shooting the through image, the shooting control unit 24c causes the imaging device 11 to output the through image at, for example, 30 fps via a timing generator (not shown). When the release button 21 receives an instruction input for shooting (half-pressing operation, full-pressing operation) at a predetermined timing, the shooting control unit 24c takes a shot image.
記録処理部24dは、撮影画像と認識部24aによって認識された少なくとも撮影画像に含まれないオブジェクトの情報とを関連付けて記録する。なお、記録処理部24dの処理の詳細については、図3、5等を用いて後述する。第1照合部24eは、撮影画像に含まれる部分画像とデータベース15aに登録された照合用のオブジェクトの情報とを照合する。認識部24aは、第1照合部24eの照合結果に応じて、オブジェクトを認識する。 The recording processing unit 24d records the captured image and the information of the object that is not included in the captured image recognized by the recognition unit 24a in association with each other. Details of the processing of the recording processing unit 24d will be described later with reference to FIGS. The first collation unit 24e collates the partial image included in the captured image with the information on the collation object registered in the database 15a. The recognition unit 24a recognizes the object according to the collation result of the first collation unit 24e.
また、第2照合部24fは、通信I/F部22を介して、撮影画像に含まれる部分画像とデータベース50aに登録された照合用のオブジェクトの情報とを照合させる。認識部24aは、第2照合部24fの照合結果に応じて、オブジェクトを認識する。 Further, the second collation unit 24f collates the partial image included in the captured image with the information on the collation object registered in the database 50a via the communication I / F unit 22. The recognizing unit 24a recognizes the object according to the collation result of the second collating unit 24f.
置換部24gは、第1照合部24e又は第2照合部24fの照合結果に応じて、オブジェクトをそのオブジェクトに対応する名前(例えば、テキストデータの文字列)に置き換える。 The replacement unit 24g replaces the object with a name corresponding to the object (for example, a character string of text data) according to the collation result of the first collation unit 24e or the second collation unit 24f.
管理部24hは、オブジェクトの情報の管理を行なう。管理部24hは、例えば、記録処理部24dが登録した少なくとも一つ以上のオブジェクトの情報を管理する。なお、第1照合部24e及び置換部24gの詳細については、第4実施形態で説明する。また、第2照合部24fの詳細については、第5実施形態等で説明する。また、管理部24hの詳細については、第3、第6実施形態等で説明する。 The management unit 24h manages object information. For example, the management unit 24h manages information of at least one object registered by the recording processing unit 24d. Details of the first verification unit 24e and the replacement unit 24g will be described in the fourth embodiment. Details of the second verification unit 24f will be described in the fifth embodiment and the like. Details of the management unit 24h will be described in the third and sixth embodiments.
次に、電子カメラ1の関連付けモード時における動作の一例を説明する。 Next, an example of operation in the association mode of the electronic camera 1 will be described.
図3は、電子カメラ1の動作の一例を示すフローチャートである。図4は、電子カメラ1の動作の一例を説明する図である。図4(1)〜(4)は、撮影手順を模式的に示している。また、図4(5)〜(8)は、図4(1)〜(4)における点線枠31で囲む撮影エリアにおいて、電子カメラ1の向きに応じて表示モニタ17に表示されたスルー画像を各々対応付けて描いている。すなわち、図4(1)及び(5)、図4(2)及び(6)、図4(3)及び(7)、図4(4)及び(8)が各々ペアになっている。 FIG. 3 is a flowchart showing an example of the operation of the electronic camera 1. FIG. 4 is a diagram for explaining an example of the operation of the electronic camera 1. 4 (1) to 4 (4) schematically show the photographing procedure. 4 (5) to (8) show through images displayed on the display monitor 17 in accordance with the orientation of the electronic camera 1 in the photographing area surrounded by the dotted frame 31 in FIGS. 4 (1) to (4). They are drawn in association with each other. That is, FIGS. 4 (1) and (5), FIGS. 4 (2) and (6), FIGS. 4 (3) and (7), and FIGS. 4 (4) and (8) are in pairs.
説明をわかりやすくするため、本実施形態では、5人の友人(A、B、C、D、E)と旅行に行った場面を想定する。図4では、電子カメラ1の撮影者をEとする。ここで、撮影者Eは、友人B、Cを主要被写体として撮影することを考えていることとする。また、撮影者Eは、撮影画像の構図に収まらない位置にいる友人A、Dの情報についても残したいと考えている。 In order to make the explanation easy to understand, in the present embodiment, a scene in which a trip with five friends (A, B, C, D, E) is taken is assumed. In FIG. 4, E is a photographer of the electronic camera 1. Here, it is assumed that the photographer E is thinking about photographing friends B and C as main subjects. The photographer E also wants to keep information on the friends A and D who are in a position that does not fit in the composition of the photographed image.
以下の動作例では、電源オンの後、CPU24は、メニュー画面にて関連付けモードの選択入力を受け付けると、CPU24の撮影制御部24cは、スルー画像の撮影を開始する。そして、CPU24は、図3に示すフローの処理を開始する。 In the following operation example, after the power is turned on, when the CPU 24 receives a selection input of the association mode on the menu screen, the shooting control unit 24c of the CPU 24 starts shooting a through image. And CPU24 starts the process of the flow shown in FIG.
ステップS101:CPU24の表示制御部24bは、ライブビュー表示を開始させる。具体的には、表示制御部24bは、撮像素子11が出力するスルー画像を表示モニタ17に表示させる。図4(1)では、撮影者Eは、電子カメラ1を友人B、Cに向けた状態を表している。図中の矢印(電子カメラ1に重畳させて表記した矢印)は、電子カメラ1の向きを表している。したがって、表示モニタ17には、友人B、Cがスルー画像として映っている(図4(5)参照)。 Step S101: The display control unit 24b of the CPU 24 starts live view display. Specifically, the display control unit 24 b causes the display monitor 17 to display a through image output from the image sensor 11. In FIG. 4 (1), the photographer E represents a state in which the electronic camera 1 is directed toward friends B and C. An arrow (an arrow superimposed on the electronic camera 1) in the figure represents the direction of the electronic camera 1. Therefore, friends B and C are shown as a through image on the display monitor 17 (see FIG. 4 (5)).
ステップS102:CPU24の認識部24aは、オブジェクトの認識処理を行なう。具体的には、認識部24aは、例えば顔認識処理を行ない、スルー画像から友人B、Cの顔をオブジェクトとして認識する。なお、認識部24aは、例えばグラフカット理論を用いた方法によりスルー画像から友人B、Cを切り出しても良い。この場合、認識部24aは、友人B、Cの全体の領域をオブジェクトとして認識する。つまり、本実施形態では、オブジェクトは、人物の顔(顔画像)や、人物全体(人物画像)、或いはその他の物体(例えば、スルー画像内に映っている木の画像)等であって良い。図4の説明では、簡単のため、認識部24aは、人物の顔(顔画像)をオブジェクトとして認識する。 Step S102: The recognition unit 24a of the CPU 24 performs object recognition processing. Specifically, the recognition unit 24a performs face recognition processing, for example, and recognizes the faces of friends B and C as objects from the through image. Note that the recognition unit 24a may cut out the friends B and C from the through image by, for example, a method using graph cut theory. In this case, the recognition unit 24a recognizes the entire area of the friends B and C as an object. That is, in the present embodiment, the object may be a person's face (face image), the entire person (person image), or other object (for example, an image of a tree shown in the through image). In the description of FIG. 4, for the sake of simplicity, the recognition unit 24 a recognizes a person's face (face image) as an object.
ステップS103:認識部24aは、認識したオブジェクトが新規であるか否かを判定する。ここで、関連付けモードでは、撮影者Eが、例えば、電子カメラ1の向きを変えながらスルー画像の撮影を行なうため、認識部24aは、同じ人物の顔を再度認識することが想定される。そこで、新規なオブジェクトの場合、CPU24は、ステップS104の処理を行なうこととする。したがって、認識したオブジェクトが新規でない場合(ステップS103:No)、CPU24は、ステップS105の処理に移行する。認識したオブジェクトが新規である場合(ステップS103:Yes)、CPU24は、ステップS104の処理に移行する。 Step S103: The recognizing unit 24a determines whether or not the recognized object is new. Here, in the association mode, for example, since the photographer E captures a through image while changing the orientation of the electronic camera 1, it is assumed that the recognition unit 24a recognizes the face of the same person again. Therefore, in the case of a new object, the CPU 24 performs the process of step S104. Therefore, when the recognized object is not new (step S103: No), the CPU 24 proceeds to the process of step S105. When the recognized object is new (step S103: Yes), the CPU 24 proceeds to the process of step S104.
ステップS104:CPU24は、認識部24aが認識したオブジェクトの取得処理を行なう。具体的には、CPU24は、友人B、Cの顔画像B1、C1をRAM13に一時的に記録する。 Step S104: The CPU 24 performs an object acquisition process recognized by the recognition unit 24a. Specifically, the CPU 24 temporarily records the face images B1 and C1 of the friends B and C in the RAM 13.
ステップS105:CPU24の撮影制御部24cは、撮影の指示入力の有無を判定する。具体的には、レリーズ釦21が撮影の指示入力を受け付けた場合(ステップS105:Yes)、CPU24は、ステップS106の処理に移行する。レリーズ釦21が撮影の指示入力を受け付けていない場合(ステップS105:No)、CPU24は、ステップS102の処理に戻る。そして、CPU24は、レリーズ釦21が撮影の指示入力を受け付けるまで、ステップS102からステップS105の処理を繰り返す。 Step S105: The photographing control unit 24c of the CPU 24 determines whether or not a photographing instruction is input. Specifically, when the release button 21 receives an instruction input for shooting (step S105: Yes), the CPU 24 proceeds to the process of step S106. If the release button 21 has not received a shooting instruction input (step S105: No), the CPU 24 returns to the process of step S102. Then, the CPU 24 repeats the processing from step S102 to step S105 until the release button 21 accepts a shooting instruction input.
ここで、図4(2)に示す通り、撮影者Eが電子カメラ1の向きを変えて友人Aに向けたとする。すると、CPU24の表示制御部24bは、表示モニタ17の画面上で友人Aが映っているスルー画像に、認識部24aが認識した顔画像B1、C1を重畳表示させる(図4(6)参照)。なお、表示制御部24bは、スルー画像の主要被写体(友人C)に顔画像B1、C1が重ならないように重畳表示させることが好ましい。続いて、認識部24aは、スルー画像から友人Aの顔をオブジェクトとして認識する(ステップS102)。友人Aは、新規なオブジェクトであるため(ステップS103:Yes)、CPU24は、オブジェクトの取得処理を行なう(ステップS104)。 Here, it is assumed that the photographer E turns the electronic camera 1 toward the friend A as shown in FIG. Then, the display control unit 24b of the CPU 24 superimposes and displays the face images B1 and C1 recognized by the recognition unit 24a on the through image showing the friend A on the screen of the display monitor 17 (see FIG. 4 (6)). . The display control unit 24b preferably displays the face images B1 and C1 so as not to overlap the main subject (friend C) of the through image. Subsequently, the recognizing unit 24a recognizes the face of the friend A as an object from the through image (step S102). Since friend A is a new object (step S103: Yes), the CPU 24 performs an object acquisition process (step S104).
続いて、図4(3)に示す通り、撮影者Eが電子カメラ1の向きを変えて友人Dに向けたとする。すると、CPU24の表示制御部24bは、表示モニタ17の画面上で友人Dが映っているスルー画像に、認識部24aが認識した顔画像B1、C1及びA1を重畳表示させる(図4(7)参照)。続いて、認識部24aは、スルー画像から友人Dの顔をオブジェクトとして認識する(ステップS102)。友人Dは、新規なオブジェクトであるため(ステップS103:Yes)、CPU24は、オブジェクトの取得処理を行なう(ステップS104)。 Subsequently, it is assumed that the photographer E changes the direction of the electronic camera 1 and faces the friend D as shown in FIG. Then, the display control unit 24b of the CPU 24 superimposes and displays the face images B1, C1, and A1 recognized by the recognition unit 24a on the through image showing the friend D on the screen of the display monitor 17 (FIG. 4 (7)). reference). Subsequently, the recognizing unit 24a recognizes the face of the friend D as an object from the through image (step S102). Since the friend D is a new object (step S103: Yes), the CPU 24 performs an object acquisition process (step S104).
次に、図4(4)に示す通り、撮影者Eが電子カメラ1を再度友人B、Cに向けたとする。すると、CPU24の表示制御部24bは、表示モニタ17の画面上で友人B、Cが映っているスルー画像に、認識部24aが認識した顔画像B1、C1、A1及びD1を重畳表示させる。ここで、認識部24aは、既に友人B、Cをオブジェクトと認識しているので、CPU24は、ステップS104の処理をスキップしてステップS105の処理に移行する。そして、レリーズ釦21が撮影の指示入力を受け付けた場合(ステップS105:Yes)、CPU24は、ステップS106の処理に移行する。 Next, it is assumed that the photographer E points the electronic camera 1 toward the friends B and C again as shown in FIG. Then, the display control unit 24b of the CPU 24 superimposes and displays the face images B1, C1, A1, and D1 recognized by the recognition unit 24a on the through image that shows the friends B and C on the screen of the display monitor 17. Here, since the recognition unit 24a has already recognized the friends B and C as objects, the CPU 24 skips the process of step S104 and proceeds to the process of step S105. When the release button 21 receives an instruction input for shooting (step S105: Yes), the CPU 24 proceeds to the process of step S106.
ステップS106:撮影制御部24cは、撮影処理を行なう。具体的には、撮影制御部24cは、半押し操作の指示入力により、絞り値、撮像素子11での電荷蓄積時間(シャッタスピード)、信号処理部12のゲイン(ISO感度)等の撮影パラメータをそれぞれ設定する。その後、CPU24は、全押し操作の指示入力により、撮像素子11を駆動してアナログの画像信号を生成させる。信号処理部12は、アナログの画像信号のA/D変換等を行なう。この信号処理部12が出力するデジタルの画像信号は、RAM13に記録用の画像データとして一旦記録される。そして、画像処理部14は、RAM13に記録されている画像データを読み出し、必要に応じて各種の画像処理(例えば、階調変換処理、輪郭強調処理、ホワイトバランス処理等)を施す。 Step S106: The photographing control unit 24c performs a photographing process. Specifically, the shooting control unit 24c receives shooting parameters such as an aperture value, a charge accumulation time (shutter speed) in the image sensor 11 and a gain (ISO sensitivity) of the signal processing unit 12 in response to an instruction input for a half-press operation. Set each. Thereafter, the CPU 24 drives the image sensor 11 to generate an analog image signal in response to a full-press operation instruction input. The signal processing unit 12 performs A / D conversion of an analog image signal. The digital image signal output from the signal processing unit 12 is temporarily recorded as image data for recording in the RAM 13. Then, the image processing unit 14 reads the image data recorded in the RAM 13 and performs various image processing (for example, gradation conversion processing, contour enhancement processing, white balance processing, etc.) as necessary.
ステップS107:CPU24の記録処理部24dは、記録処理を行なう。具体的には、記録処理部24dは、ステップS106の処理が施された撮影画像とオブジェクトとを関連付けて記録する。この場合、記録処理部24dは、撮影画像の一部領域にオブジェクトの情報を組み込むことにより、記録する。具体的には、記録処理部24dは、撮影画像の一部領域にオブジェクトの情報を合成する、若しくは撮影画像のタグ情報にオブジェクト情報を追加することで、撮影画像とオブジェクト情報とを関連付けて記録する。 Step S107: The recording processing unit 24d of the CPU 24 performs a recording process. Specifically, the recording processing unit 24d records the captured image subjected to the process of step S106 and the object in association with each other. In this case, the recording processing unit 24d performs recording by incorporating object information into a partial area of the captured image. Specifically, the recording processing unit 24d records the object image and the object information in association with each other by combining the object information with a partial area of the imaged image or adding the object information to the tag information of the imaged image. To do.
図5は、撮影画像の一例を示す図である。なお、図4(8)に示した顔画像A1、B1、C1及びD1のうち、顔画像B1及びC1は、撮影対象である。そこで、記録処理部24dは、画像処理部14に指示を出して、顔画像B1及びC1を除く、顔画像A1及びD1を撮影画像に合成させる(図5(a)参照)。この場合、画像処理部14は、撮影画像の主要被写体(友人B、C)に顔画像A1、D1が重ならないように合成する。 FIG. 5 is a diagram illustrating an example of a captured image. Of the face images A1, B1, C1, and D1 shown in FIG. 4 (8), the face images B1 and C1 are objects to be photographed. Therefore, the recording processing unit 24d instructs the image processing unit 14 to synthesize the face images A1 and D1 excluding the face images B1 and C1 with the captured image (see FIG. 5A). In this case, the image processing unit 14 combines the face images A1 and D1 so as not to overlap the main subject (friends B and C) of the captured image.
そして、CPU24は、記録I/F部16を介して、撮影画像を記録媒体30に記録する。これにより、オブジェクトの情報が撮影画像に関連付けられる。したがって、図5(a)に示すような撮影画像であれば、撮影者は、いっしょに行った友人を視覚的に思い出しやすくなる。 Then, the CPU 24 records the captured image on the recording medium 30 via the recording I / F unit 16. Thereby, the object information is associated with the captured image. Therefore, if the photographed image is as shown in FIG. 5A, the photographer can easily visually remember the friend who went together.
なお、記録処理部24dは、画像処理部14に指示を出して、顔画像B1、C1、A1及びD1を撮影画像に合成させても良い(図5(b)参照)。 Note that the recording processing unit 24d may instruct the image processing unit 14 to combine the face images B1, C1, A1, and D1 with the captured image (see FIG. 5B).
或いは、撮影画像がExif(Exchangeable Image File Format)形式の画像ファイルの場合、記録処理部24dは、オブジェクトを画像ファイルに記録しても良い。 Alternatively, when the captured image is an image file in Exif (Exchangeable Image File Format) format, the recording processing unit 24d may record the object in the image file.
図6は、Exif形式の画像ファイルの一例を示す図である。図6では、Exif形式の画像ファイルにオブジェクト(例えば顔画像)を登録した例を示す。図6に示す通り、Exif形式の画像ファイルは、例えば、画素数、圧縮モードの種類、撮影日時、機種名、・・・、メーカーノート、サムネイル、撮影画像及びオブジェクト(例えば顔画像)等の領域が構成される。サムネイルは、主画像よりもデータ量の少ない縮小画像(一例として160×120画素)である。撮影画像は、撮像素子11が生成した記録用の画像である。オブジェクトは、記録処理部24dにより撮影画像に関連付けられる画像である。これにより、図6に示すようなExif形式の画像ファイルであれば、表示制御部24bは、撮影者の選択入力に応じて画像再生時にオブジェクトが組み込まれていない撮影画像を表示させたり、オブジェクトが組み込まれた撮影画像(図5(a)参照)を合成して表示させたりすることができる。 FIG. 6 is a diagram illustrating an example of an Exif format image file. FIG. 6 shows an example in which an object (for example, a face image) is registered in an Exif format image file. As shown in FIG. 6, the Exif format image file includes, for example, areas such as the number of pixels, compression mode type, shooting date and time, model name,..., Manufacturer note, thumbnail, shot image, and object (for example, face image). Is configured. The thumbnail is a reduced image (160 × 120 pixels as an example) having a smaller data amount than the main image. The captured image is a recording image generated by the image sensor 11. The object is an image associated with the captured image by the recording processing unit 24d. Thus, if the image file is in an Exif format as shown in FIG. 6, the display control unit 24b displays a captured image in which no object is incorporated at the time of image reproduction according to the selection input of the photographer, The incorporated captured image (see FIG. 5A) can be synthesized and displayed.
CPU24は、ステップS107の処理を終了すると、図3に示すフローの処理を終了させる。 CPU24 complete | finishes the process of the flow shown in FIG. 3, after complete | finishing the process of step S107.
以上より、電子カメラ1は、スルー画像を解析して、スルー画像内に含まれるオブジェクトを認識する。そのため、電子カメラ1では、例えば、撮影画像を写す向きと異なる撮影場所の周辺に存在しているにも拘らず、構図内に収まらない対象(オブジェクト)の情報についてスルー画像を解析することにより撮影画像に容易に関連付けることができる。したがって、撮影者は、関連付けモードで撮影した撮影画像を後日(例えば数年後)になって確認した時、誰と旅行へ行ったのかグループ全員を容易に思い出すことができる。 As described above, the electronic camera 1 analyzes the through image and recognizes an object included in the through image. Therefore, in the electronic camera 1, for example, the electronic camera 1 is photographed by analyzing a through image with respect to information on an object (object) that does not fit in the composition although it exists in the vicinity of a photographing place different from the direction in which the photographed image is taken. Can be easily associated with an image. Therefore, when the photographer confirms a photographed image photographed in the association mode at a later date (for example, several years later), the photographer can easily remember who the group has traveled.
なお、図4(4)の状態で友人A、Dが移動して、友人A、B、C及びDが構図内に収まった場合には、構図内に収まらないオブジェクトが存在しないので、表示制御部24bは、顔画像の重畳表示を行なうのをやめるようにしても良い。 If friends A and D move and friends A, B, C, and D fit in the composition in the state of FIG. 4D, there is no object that does not fit in the composition. The unit 24b may stop performing the superimposed display of the face image.
(第2実施形態)
次に、第2実施形態について説明する。第1実施形態では、認識部24aがスルー画像を解析してオブジェクトを認識した。第2実施形態では、ユーザ入力によりオブジェクトを選択して認識できる機能をさらに追加する。これにより、認識部24aは、オブジェクトの認識の手段を拡張することができる。
(Second Embodiment)
Next, a second embodiment will be described. In the first embodiment, the recognition unit 24a analyzes the through image and recognizes the object. In the second embodiment, a function for selecting and recognizing an object by user input is further added. Thereby, the recognition unit 24a can expand the object recognition means.
図7は、第2実施形態における電子カメラ1の動作の一例を示すフローチャートである。図8は、第2実施形態における電子カメラ1の動作の一例を説明する図である。図8(1)〜(5)は、図4と同様、撮影手順を模式的に示している。図8(6)〜(10)は、図4と同様、電子カメラ1の向きに応じて表示モニタ17に表示されたスルー画像を各々対応付けて描いている。 FIG. 7 is a flowchart showing an example of the operation of the electronic camera 1 in the second embodiment. FIG. 8 is a diagram for explaining an example of the operation of the electronic camera 1 in the second embodiment. 8 (1) to 8 (5) schematically show the photographing procedure as in FIG. FIGS. 8 (6) to (10) depict the through images displayed on the display monitor 17 in association with the orientation of the electronic camera 1, as in FIG.
説明をわかりやすくするため、第1実施形態と同様、5人の友人(A、B、C、D、E)と旅行に行った場面を想定する。但し、5人の友人とは関係ない他人Xが撮影エリア31内にいることとする。ここで、撮影者Eは、友人B、Cを撮影したいと考えている。さらに、撮影画像の構図内に収まらない友人A、Dの近くの位置する木Tの情報も残したいと考えている。なお、撮影者Eは、友人Dについては、情報をあえて残さなくても良いと考えている。また、撮影者Eは、友人Aの隣にいる他人Xの情報は残したくないと考えている。つまり、本実施形態では、撮影画像の構図内に収まらない友人を全て情報として残すのではなく、撮影者の視点で残したい情報を選択することができる。 In order to make the explanation easy to understand, it is assumed that the user has gone on a trip with five friends (A, B, C, D, E) as in the first embodiment. However, it is assumed that another person X who is not related to the five friends is in the shooting area 31. Here, the photographer E wants to photograph the friends B and C. Further, it is desired to keep information on the tree T located near the friends A and D that do not fit in the composition of the photographed image. The photographer E thinks that the friend D does not have to leave any information. In addition, the photographer E thinks that he does not want to leave information on another person X next to the friend A. In other words, in this embodiment, it is possible to select information that the user wants to leave from the viewpoint of the photographer, instead of leaving all friends that do not fit in the composition of the photographed image as information.
以下の動作例では、第1実施形態と同様、CPU24は、メニュー画面にて関連付けモードの選択入力を受け付けると、撮影制御部24cは、スルー画像の撮影を開始する。そして、CPU24は、図7に示すフローの処理を開始する。 In the following operation example, as in the first embodiment, when the CPU 24 receives a selection input of the association mode on the menu screen, the shooting control unit 24c starts shooting a through image. Then, the CPU 24 starts processing of the flow shown in FIG.
ステップS201:表示制御部24bは、ライブビュー表示を開始させる。そして、CPU24は、ステップS202の処理に移行する。図8(1)では、撮影者Eは、電子カメラ1を友人B、Cに向けた状態を表している。したがって、表示モニタ17には、友人B、Cがスルー画像として映っている(図8(6)参照)。ここで、撮影者Eは、電子カメラ1の向きを変えて友人Aに向けたとする(図8(2)参照)。 Step S201: The display control unit 24b starts live view display. And CPU24 transfers to the process of step S202. In FIG. 8 (1), the photographer E represents a state in which the electronic camera 1 is directed to friends B and C. Therefore, friends B and C are shown as a through image on the display monitor 17 (see FIG. 8 (6)). Here, it is assumed that the photographer E changes the direction of the electronic camera 1 toward the friend A (see FIG. 8B).
ステップS202:CPU24は、オブジェクトの選択の指示入力の有無を判定する。ここで、撮影者Eは、撮影対象の友人B、Cの構図に収まらない周辺のオブジェクトをタッチパネル19の操作で選択することができる。オブジェクトの選択の指示入力を受け付けていない場合(ステップS202:No)、CPU24は、ステップS202の処理を繰り返し、オブジェクトの選択の指示入力の待ち状態となる。一方、オブジェクトの選択の指示入力を受け付けた場合(ステップS202:Yes)、CPU24は、ステップS203の処理に移行する。 Step S202: The CPU 24 determines whether or not an instruction for selecting an object has been input. Here, the photographer E can select peripheral objects that do not fit in the composition of the friends B and C to be photographed by operating the touch panel 19. When an object selection instruction input has not been received (step S202: No), the CPU 24 repeats the process of step S202, and enters a state of waiting for an object selection instruction input. On the other hand, when an instruction input for selecting an object is received (step S202: Yes), the CPU 24 proceeds to the process of step S203.
ステップS203:認識部24aは、オブジェクトの認識処理を行なう。ここで、図8(7)に示す通り、表示モニタ17には、友人Aと他人Xとが表示されている。この状態下で、CPU24は、撮影者Eの指Fがタッチパネル19に触れることにより、オブジェクトの選択入力を受け付ける。 Step S203: The recognition unit 24a performs object recognition processing. Here, as shown in FIG. 8 (7), the friend A and the other person X are displayed on the display monitor 17. Under this state, the CPU 24 accepts an object selection input when the photographer E's finger F touches the touch panel 19.
CPU24は、タッチパネル19からの信号を受信し、指先の位置情報をスルー画像内の位置に対応させて検出する。なお、撮影者Eは指Fで選択したいオブジェクトの領域を指で囲むようにしても良い。 The CPU 24 receives a signal from the touch panel 19 and detects the fingertip position information in correspondence with the position in the through image. The photographer E may surround the area of the object to be selected with the finger F with the finger.
認識部24aは、指先の位置情報に基づいて、スルー画像を解析してオブジェクトを認識する。或いは、認識部24aは、指先で囲まれた範囲の領域をオブジェクトとして認識する。そして、CPU24は、ステップS204の処理に移行する。 Based on the fingertip position information, the recognition unit 24a analyzes the through image and recognizes the object. Or the recognition part 24a recognizes the area | region of the range enclosed by the fingertip as an object. Then, the CPU 24 proceeds to the process of step S204.
ステップS204:記録処理部24dは、オブジェクトの登録処理を行なう。具体的には、先ず、CPU24は、タッチパネル19を介して認識部24aが認識した友人Aのオブジェクト(例えば人物画像)をスルー画像から抽出する。続いて、記録処理部24dは、そのオブジェクトをフラッシュメモリ15のデータベース15aに記録する。これにより、オブジェクトが一旦データベース15aに登録される。そして、CPU24は、ステップS205の処理に移行する。 Step S204: The recording processing unit 24d performs object registration processing. Specifically, first, the CPU 24 extracts an object (for example, a person image) of the friend A recognized by the recognition unit 24a via the touch panel 19 from the through image. Subsequently, the recording processing unit 24 d records the object in the database 15 a of the flash memory 15. As a result, the object is temporarily registered in the database 15a. And CPU24 transfers to the process of step S205.
ステップS205:表示制御部24bは、オブジェクトの表示処理を行なう。具体的には、表示制御部24bは、図8(8)に示す通り、表示モニタ17の画面右下に相当するスルー画像の領域に友人Aの人物画像(縮小画像)A2を重畳表示させる。そして、CPU24は、ステップS206の処理に移行する。 Step S205: The display control unit 24b performs object display processing. Specifically, as shown in FIG. 8 (8), the display control unit 24b superimposes and displays a friend A's person image (reduced image) A2 in a through image area corresponding to the lower right of the screen of the display monitor 17. And CPU24 transfers to the process of step S206.
ステップS206:CPU24は、オブジェクトの選択終了の指示入力の有無を判定する。オブジェクトの選択終了の指示入力を受け付けていない場合(ステップS206:No)、CPU24は、ステップS202の処理に戻り、オブジェクトの選択の指示入力の待ち状態に移行し、再度ステップS202からステップS206の処理を繰り返す。
そして、CPU24は、オブジェクトの選択終了の指示入力を受け付けるまで、ステップS202からステップS206の処理を繰り返す。
Step S206: The CPU 24 determines whether or not there is an instruction input for ending the object selection. When the instruction input for ending the object selection has not been received (step S206: No), the CPU 24 returns to the process of step S202, shifts to the waiting state for the instruction selection for the object selection, and again performs the process from step S202 to step S206. repeat.
Then, the CPU 24 repeats the processing from step S202 to step S206 until receiving an instruction input for ending the object selection.
ここで、図8(4)に示す通り、撮影者Eが電子カメラ1の向きを変えて、木Tに向けたとする。そして、CPU24は、撮影者Eの指Fがタッチパネル19に触れることにより、オブジェクトとして木Tの選択入力を受け付ける(ステップS202:Yes)。すると、認識部24aは、木Tの認識処理を行なう(ステップS203)。続いて、記録処理部24dは、木Tの登録処理を行なう(ステップS204)。さらに、表示制御部24bは、木Tの画像T1の表示処理を行なう(ステップS205)。具体的には、表示制御部24bは、図8(9)に示す通り、表示モニタ17の画面右下に相当するスルー画像の領域に友人Aの人物画像A2及び木Tの画像T1を重畳表示させる。 Here, as shown in FIG. 8 (4), it is assumed that the photographer E changes the direction of the electronic camera 1 and faces the tree T. And CPU24 receives selection input of tree T as an object when photographer E's finger F touches touch panel 19 (Step S202: Yes). Then, the recognition unit 24a performs a tree T recognition process (step S203). Subsequently, the recording processing unit 24d performs a registration process for the tree T (step S204). Further, the display control unit 24b performs display processing of the image T1 of the tree T (step S205). Specifically, as shown in FIG. 8 (9), the display control unit 24b superimposes and displays the person A image of the friend A and the image T1 of the tree T on the through image area corresponding to the lower right of the screen of the display monitor 17. Let
そして、オブジェクトの選択終了の指示入力を受け付けた場合(ステップS206:Yes)、CPU24は、ステップS207の処理に移行する。 If an instruction input for ending the selection of the object is received (step S206: Yes), the CPU 24 proceeds to the process of step S207.
ステップS207:CPU24は、撮影の指示入力の有無を判定する。具体的には、レリーズ釦21が撮影の指示入力を受け付けていない場合(ステップS207:No)、CPU24は、ステップS207の処理を繰り返して、撮影の指示入力の待ち状態となる。図8(5)では、撮影者Eが電子カメラ1の向きを変えて、撮影対象である友人B、Cに電子カメラ1を向けた状態を示している。この際、表示制御部24bは、表示モニタ17の画面右側に相当するスルー画像の領域に友人Aの人物画像A2及び木Tの画像T1を重畳表示させる。 Step S207: The CPU 24 determines whether or not a shooting instruction is input. Specifically, when the release button 21 has not received a shooting instruction input (step S207: No), the CPU 24 repeats the process of step S207 to enter a shooting instruction input waiting state. FIG. 8 (5) shows a state in which the photographer E changes the orientation of the electronic camera 1 and points the electronic camera 1 toward the friends B and C that are the photographing objects. At this time, the display control unit 24b superimposes and displays the person A image of the friend A and the image T1 of the tree T on the through image area corresponding to the right side of the screen of the display monitor 17.
この状態で、レリーズ釦21が撮影の指示入力を受け付けた場合(ステップS207:Yes)、CPU24は、ステップS208の処理に移行する。 In this state, when the release button 21 receives an instruction input for photographing (step S207: Yes), the CPU 24 proceeds to the process of step S208.
ステップS208:撮影制御部24cは、撮影処理を行なう。ここで、撮影制御部24cは、図3のステップS106と同様の撮影処理を行なうため、説明を省略する。そして、ステップS209の処理に移行する。 Step S208: The photographing control unit 24c performs a photographing process. Here, the imaging control unit 24c performs the imaging process similar to step S106 in FIG. Then, the process proceeds to step S209.
ステップS209:記録処理部24dは、記録処理を行なう。具体的には、記録処理部24dは、ステップS208の処理が施された撮影画像とデータベース15aに登録されたオブジェクト(図8(10)に示す人物画像A2及び木Tの画像T1)とを関連付けて記録する。ここで、記録処理部24dは、例えば、第1実施形態の図3のステップS107で説明した通り、撮影画像のExif形式の画像ファイルにオブジェクトの情報を関連付けて記録する。つまり、第2実施形態における記録処理部24dは、データベース15aにオブジェクトを登録し、そのオブジェクトを撮影画像に記録する。そして、CPU24は、ステップS209の処理を終了すると、図7に示すフローの処理を終了させる。 Step S209: The recording processing unit 24d performs a recording process. Specifically, the recording processing unit 24d associates the photographed image subjected to the process of step S208 with the object (the person image A2 and the tree T image T1 shown in FIG. 8 (10)) registered in the database 15a. Record. Here, for example, as described in step S107 of FIG. 3 of the first embodiment, the recording processing unit 24d records the object information in association with the image file in the Exif format of the captured image. In other words, the recording processing unit 24d in the second embodiment registers an object in the database 15a and records the object in a captured image. And CPU24 will complete | finish the process of the flow shown in FIG. 7, after complete | finishing the process of step S209.
以上より、電子カメラ1は、ユーザ入力によりオブジェクトを選択的に登録できるので、構図内に収まらない特定の対象(オブジェクト)を選択的に撮影画像に関連付けることができる。また、電子カメラ1は、ユーザ入力により人物以外のオブジェクト(例えば、木等)も容易に登録できる。つまり、第2実施形態では、必要に応じて撮影者が意図したオブジェクトの情報のみを撮影画像に関連付けて記録できる。なお、第2実施形態では、ユーザ入力によりリアルタイムでオブジェクトを選択したが、撮影画像の撮影直後にオブジェクトの情報を一覧表示させて、ユーザ入力により選択するようにしても良い。 As described above, since the electronic camera 1 can selectively register an object by user input, a specific target (object) that does not fit in the composition can be selectively associated with a captured image. In addition, the electronic camera 1 can easily register objects other than a person (for example, a tree) by user input. That is, in the second embodiment, only the information of the object intended by the photographer can be recorded in association with the photographed image as necessary. In the second embodiment, an object is selected in real time by user input. However, a list of object information may be displayed immediately after shooting a captured image, and may be selected by user input.
(第3実施形態)
次に、第3実施形態について説明する。第3実施形態では、既に登録したオブジェクトの情報を管理する機能をさらに追加する。例えば、撮影者が関連付けモードで撮影した後、続けて関連付けモードで撮影したい場合が起こり得る。この場合、スルー画像撮影時にオブジェクト(例えば顔画像)の登録を再度やり直すのでは、二度手間になるという問題が生じる。そこで、第3実施形態では、この問題を解消する手段を提供する。
(Third embodiment)
Next, a third embodiment will be described. In the third embodiment, a function for managing information on objects already registered is further added. For example, there may be a case where the photographer wants to continuously shoot in the association mode after shooting in the association mode. In this case, if an object (for example, a face image) is registered again at the time of shooting a through image, there is a problem that it takes twice. Therefore, the third embodiment provides a means for solving this problem.
図9は、第3実施形態における電子カメラ1の動作の一例を説明する図である。図10は、第3実施形態における撮影画像の一例を示す図である。 FIG. 9 is a diagram for explaining an example of the operation of the electronic camera 1 in the third embodiment. FIG. 10 is a diagram illustrating an example of a captured image in the third embodiment.
ここで、撮影者Eが、図4(4)に示すように電子カメラ1を向けた場合、表示制御部24bは、図4(8)で示す通り、表示モニタ17の画面上でスルー画像に顔画像A1、B1、C1及びD1を重畳表示させる。この状態で、CPU24の記録処理部24dは、顔画像A1、B1、C1及びD1をデータベース15aに登録する。そして、撮影者Eがレリーズ釦21を押下すると、撮影制御部24cは、撮影画像を記録する。 Here, when the photographer E points the electronic camera 1 as shown in FIG. 4 (4), the display control unit 24b converts the through image on the screen of the display monitor 17 as shown in FIG. 4 (8). The face images A1, B1, C1, and D1 are superimposed and displayed. In this state, the recording processing unit 24d of the CPU 24 registers the face images A1, B1, C1, and D1 in the database 15a. When the photographer E presses the release button 21, the shooting control unit 24c records the shot image.
ここで、説明をわかりやすくするため、図9(1)は、図4(8)に示した構図で撮影された後のスルー画像を示している。なお、図9では、図4と比較して、撮影エリア31内の図を省略して、電子カメラ1に矢印を重畳させた表記により、電子カメラ1の向きを示している。 Here, in order to make the explanation easy to understand, FIG. 9A shows a through image after being shot with the composition shown in FIG. In FIG. 9, compared with FIG. 4, the illustration in the imaging area 31 is omitted, and the direction of the electronic camera 1 is indicated by a notation in which an arrow is superimposed on the electronic camera 1.
図9(1)において、表示制御部24bは、表示I/F部18を介して、表示モニタ17の画面右側に相当するスルー画像の領域に顔画像A1、B1、C1及びD1を重畳表示させる。また、認識部24aは、顔認識処理により現在のスルー画像内の顔を認識する。そして、表示制御部24bは、図9(1)に示す通り、現在スルー画像に映っている顔画像B1、C1を特定の色(例えば薄いグレー)でさらに重畳表示させる(以下「グレーアウト表示」という。)。これにより、撮影者Eは、この構図で撮影画像を撮影した場合、顔画像A1、D1が撮影画像に関連付けられることを知ることができる。 In FIG. 9 (1), the display control unit 24 b causes the face images A 1, B 1, C 1, and D 1 to be superimposed and displayed on the through image region corresponding to the right side of the display monitor 17 via the display I / F unit 18. . The recognizing unit 24a recognizes the face in the current through image by face recognition processing. Then, as shown in FIG. 9A, the display control unit 24b further superimposes and displays the face images B1 and C1 currently shown in the through image in a specific color (for example, light gray) (hereinafter referred to as “gray-out display”). .) Thereby, the photographer E can know that the face images A1 and D1 are associated with the captured image when the captured image is captured with this composition.
つまり、表示制御部24bは、データベース15aから顔画像A1、B1、C1及びD1を読み出して、スルー画像に重畳表示させる。これにより、記録処理部24dは、オブジェクトの登録を再度する手間を省くことができる。 In other words, the display control unit 24b reads the face images A1, B1, C1, and D1 from the database 15a and displays them superimposed on the through image. Thereby, the recording processing unit 24d can save the trouble of re-registering the object.
そして、撮影者Eが電子カメラ1を友人Aに向けると、表示制御部24bは、表示モニタ17に友人Aの顔画像A1をグレーアウト表示させる。撮影制御部24cは、この構図で撮影者Eからの撮影の指示入力を受け付けると、撮影処理を行なう。図10(a)に示す撮影画像は、図9(2)に示す構図で撮影されたことを示しており、グレーアウト表示された顔画像A1は、撮影画像に組み込まれないこととなる。 When the photographer E points the electronic camera 1 toward the friend A, the display control unit 24b displays the face image A1 of the friend A in gray on the display monitor 17. When the photographing control unit 24c receives a photographing instruction input from the photographer E with this composition, the photographing control unit 24c performs a photographing process. The photographed image shown in FIG. 10A indicates that the photograph was taken with the composition shown in FIG. 9B, and the face image A1 displayed in gray out is not incorporated into the photographed image.
また、撮影者Eが電子カメラ1を友人Dに向けると、表示制御部24bは、表示モニタ17に友人Dの顔画像D1をグレーアウト表示させる。撮影制御部24cは、この構図で撮影者Eからの撮影の指示入力を受け付けると、撮影処理を行なう。図10(b)に示す撮影画像は、図9(3)に示す構図で撮影されたことを示しており、グレーアウト表示された顔画像D1は、撮影画像に組み込まれないこととなる。 When the photographer E points the electronic camera 1 at the friend D, the display control unit 24b causes the display monitor 17 to gray-out the face image D1 of the friend D. When the photographing control unit 24c receives a photographing instruction input from the photographer E with this composition, the photographing control unit 24c performs a photographing process. The photographed image shown in FIG. 10B indicates that the photograph was taken with the composition shown in FIG. 9C, and the face image D1 displayed in gray out is not incorporated in the photographed image.
このようにして、表示制御部24bがグレーアウト表示を行なうことにより、撮影者Eは、撮影場所の周辺に存在しているにも拘らず、構図内に存在しない人物の存在について視覚的にわかりやすくなる。また、本実施形態では、スルー画像撮影時にオブジェクトの登録を再度やり直す必要がなくなり、例えば構図内に存在しない人物のみを撮影画像の画像ファイルに関連付けて登録できる。 In this way, the display control unit 24b performs gray-out display, so that the photographer E can easily visually understand the presence of a person who does not exist in the composition even though the photographer E exists in the vicinity of the shooting location. Become. Further, in the present embodiment, it is not necessary to register an object again at the time of shooting a through image, and for example, only a person who does not exist in the composition can be registered in association with the image file of the captured image.
次に、オブジェクトの情報を管理する機能として、撮影者Eが構図内に存在しない特定の人物を削除する場合について説明する。例えば、撮影者Eが友人Dの登録を削除したい場合、その撮影者Eは、削除するモードにした上で表示モニタ17の画面上の顔画像D1の領域を指Fでタッチすれば良い。これにより、CPU24は、タッチパネル19を介してオブジェクト(顔画像D1)の削除の確認の指示入力を受け付ける(図9(4)参照)。 Next, a case where the photographer E deletes a specific person who does not exist in the composition will be described as a function for managing object information. For example, when the photographer E wants to delete the registration of the friend D, the photographer E may touch the area of the face image D1 on the screen of the display monitor 17 with the finger F after setting the deletion mode. Thereby, the CPU 24 receives an instruction input for confirming deletion of the object (face image D1) via the touch panel 19 (see FIG. 9 (4)).
そして、表示制御部24bは、ホップアップメニューにより、一例として「削除しますか?」等のメッセージを表示モニタ17に表示させる。撮影者Eが指Fで画面上の「OK」をタッチすることにより、CPU24は、タッチパネル19を介してオブジェクト(顔画像D1)の削除の指示入力を受け付ける(図9(5)参照)。 Then, the display control unit 24b causes the display monitor 17 to display a message such as “Do you want to delete?” As an example, using the hop-up menu. When the photographer E touches “OK” on the screen with the finger F, the CPU 24 receives an instruction to delete the object (face image D1) via the touch panel 19 (see FIG. 9 (5)).
これにより、管理部24hは、データベース15aに登録されていた友人Dのオブジェクト(顔画像D1)を削除する。すると、表示制御部24bは、表示モニタ17の画面右側に相当するスルー画像の領域に顔画像A1、B1及びC1を重畳表示させる(図9(6)参照)。但し、友人B、Cが構図内に存在するので、表示制御部24bは、顔画像B1、C1をグレーアウト表示させる。撮影制御部24cは、この構図で撮影者Eからの撮影の指示入力を受け付けると、撮影処理を行なう。図10(c)に示す撮影画像は、図9(6)に示す構図で撮影されたことを示しており、グレーアウト表示された顔画像B1、C1は、撮影画像に組み込まれないこととなる。 Thereby, the management unit 24h deletes the friend D's object (face image D1) registered in the database 15a. Then, the display control unit 24b superimposes and displays the face images A1, B1, and C1 on the through image area corresponding to the right side of the display monitor 17 (see FIG. 9 (6)). However, since friends B and C exist in the composition, the display control unit 24b displays the face images B1 and C1 in gray out. When the photographing control unit 24c receives a photographing instruction input from the photographer E with this composition, the photographing control unit 24c performs a photographing process. The captured image shown in FIG. 10 (c) indicates that the photograph was taken with the composition shown in FIG. 9 (6), and the face images B1 and C1 displayed in gray out are not incorporated into the photographed image.
以上より、オブジェクトを管理する機能を用いることにより、撮影者Eは、撮影画像に関連付けるオブジェクトを容易に選択することができる。 As described above, by using the function for managing objects, the photographer E can easily select an object to be associated with the captured image.
(第4実施形態)
次に、第4実施形態について説明する。第4実施形態では、電子カメラ1のフラッシュメモリ15内のデータベース15aに予め照合用のオブジェクトの情報を登録しておく。そして、第4実施形態では、スルー画像、若しくはスルー画像に含まれる部分画像(例えば顔画像)とデータベース15aに登録された照合用のオブジェクトの情報とで照合を行なう。ここで、認識部24aは、第1照合部24eの照合結果に応じて、スルー画像、若しくはスルー画像に含まれる部分画像が認識対象となるオブジェクトであると認識する。
(Fourth embodiment)
Next, a fourth embodiment will be described. In the fourth embodiment, collation object information is registered in advance in the database 15 a in the flash memory 15 of the electronic camera 1. In the fourth embodiment, matching is performed using a through image or a partial image (for example, a face image) included in the through image and information on a matching object registered in the database 15a. Here, the recognizing unit 24a recognizes that the through image or the partial image included in the through image is an object to be recognized according to the collation result of the first collating unit 24e.
そして、記録処理部24dは、認識部24aが認識したオブジェクトの情報を撮影画像と関連付ける。第4実施形態では、特定のオブジェクトの情報のみを撮影画像に関連付けることができる。 Then, the recording processing unit 24d associates the object information recognized by the recognition unit 24a with the captured image. In the fourth embodiment, only specific object information can be associated with a captured image.
具体的に説明すると、部分画像(例えば顔画像)に含まれるオブジェクトがデータベース15aに登録されている場合、例えばオブジェクトの認識方法として、データベース15aにオブジェクトの情報を示す特徴量が登録されており、第1照合部24eは、この特徴量とスルー画像に含まれる部分画像とで照合を行なう。 More specifically, when an object included in a partial image (for example, a face image) is registered in the database 15a, for example, as a method for recognizing the object, a feature amount indicating object information is registered in the database 15a. The first matching unit 24e performs matching between the feature amount and the partial image included in the through image.
比較の結果、ある閾値以上一致していると、認識部24aは、スルー画像に含まれる部分画像を認識対象となるオブジェクトと認識する。そして記録処理部24dは、撮影画像に認識部24aが認識したオブジェクトの情報を関連付ける。 As a result of the comparison, if they match by a certain threshold or more, the recognition unit 24a recognizes the partial image included in the through image as an object to be recognized. The recording processing unit 24d associates the information of the object recognized by the recognition unit 24a with the captured image.
ここで、第1照合部24eでは、データベース15aに登録された特徴量とスルー画像との照合を、スルー画像全体で行っても良いし、またスルー画像の一部分のみと照合させても良い。すなわち、予めスルー画像から顔検出などの公知の技術を用いて顔画像を抽出しておき、第1照合部24eでは、その顔画像とデータベース15aに登録された顔画像とで照合を行っても良い。このようにスルー画像の一部分を抽出することで、照合処理の処理負荷を下げることができる。 Here, the first collating unit 24e may collate the feature amount registered in the database 15a with the through image in the entire through image, or may collate with only a part of the through image. That is, a face image is previously extracted from the through image using a known technique such as face detection, and the first collation unit 24e can collate the face image with the face image registered in the database 15a. good. By extracting a part of the through image in this way, the processing load of the collation process can be reduced.
一方、スルー画像、若しくは部分画像(例えば顔画像)に含まれるオブジェクトがデータベース15aに登録されていない(比較の結果、ある閾値以上一致していない)場合、認識部24aは、オブジェクトの認識を行わない。すなわち記録処理部24dは、撮影画像にオブジェクトの情報との関連付けを行なわない。 On the other hand, when the object included in the through image or the partial image (for example, the face image) is not registered in the database 15a (as a result of the comparison, the recognition unit 24a does not match a certain threshold or more), the recognition unit 24a recognizes the object. Absent. That is, the recording processing unit 24d does not associate the captured image with the object information.
したがって、第4実施形態では、ユーザ入力を必要とせずに構図内に収まらない特定のオブジェクトの情報を選択的に撮影画像に関連付けることができる。 Therefore, in the fourth embodiment, information on a specific object that does not require user input and does not fit in the composition can be selectively associated with a captured image.
また、データベース15aには、オブジェクトに対応する名前を予め登録しても良い。置換部24gは、第1照合部24eの照合結果に応じて、オブジェクトをそのオブジェクトに対応する名前(文字列)に置き換える。 In the database 15a, names corresponding to the objects may be registered in advance. The replacement unit 24g replaces the object with a name (character string) corresponding to the object according to the collation result of the first collation unit 24e.
図11は、第4実施形態における電子カメラ1の動作の一例を説明する図である。図11(a)では、例えば、図9(1)に示した構図のスルー画像を表示モニタ17に表示している状態を表している。なお、上記の実施形態では、ライブビュー表示において、オブジェクトをスルー画像内に重畳表示していたが、表示制御部24bによる表示態様は、このような重畳表示に限定されない。表示制御部24bは、図11(a)に示す通り、スルー画像の表示部分とは別のエリアにオブジェクトを表示するようにしても良い。 FIG. 11 is a diagram illustrating an example of the operation of the electronic camera 1 in the fourth embodiment. FIG. 11A shows a state where a through image having the composition shown in FIG. 9A is displayed on the display monitor 17, for example. In the above embodiment, in live view display, an object is superimposed and displayed in a through image, but the display mode by the display control unit 24b is not limited to such superimposed display. As shown in FIG. 11A, the display control unit 24b may display the object in an area different from the display portion of the through image.
ここで、撮影者Eが電子カメラ1を友人Aに向けた後、その撮影者Eは、十字ボタン20eを操作することにより、オブジェクトの表示態様として顔画像の表示をその顔画像に対応する名前(文字列)の表示に置換する指示入力を行なっても良い。 Here, after the photographer E points the electronic camera 1 at the friend A, the photographer E operates the cross button 20e to display the face image as the display mode of the object and the name corresponding to the face image. An instruction to replace the display with (character string) may be input.
この場合、CPU24がその指示入力を受け付けると、第1照合部24eは、データベース15aから、顔画像A1、B1、C1及びD1のそれぞれの名前を照合する。そして、第1照合部24eがそれぞれの名前を照合できた場合、置換部24gは、顔画像A1、B1、C1及びD1に対して、各々対応する名前に置換する。 In this case, when the CPU 24 accepts the instruction input, the first collation unit 24e collates the names of the face images A1, B1, C1, and D1 from the database 15a. When the first collation unit 24e can collate each name, the replacement unit 24g replaces each of the face images A1, B1, C1, and D1 with a corresponding name.
続いて、表示制御部24bは、図11(b)に示す通り、各々の顔画像に対応する名前を表示モニタ17に表示させる。この場合、表示制御部24bは、スルー画像内に友人Aが映っているので、文字列「Aさん」をグレーアウト表示する。これにより、記録処理部24dは、撮影画像に友人B、C及びDの名前を関連付けて記録することができる。 Subsequently, the display control unit 24b causes the display monitor 17 to display a name corresponding to each face image, as shown in FIG. In this case, since the friend A is reflected in the through image, the display control unit 24b displays the character string “Mr. A” in gray out. As a result, the recording processing unit 24d can record the photographed images in association with the names of the friends B, C, and D.
なお、撮影画像がExif形式の画像ファイルの場合、記録処理部24dは、友人の名前を顔画像に対応付けて、その名前のテキストデータをメーカーノートの領域に登録しても良い。また、記録処理部24dは、顔画像も併せて記録するようにしても良い。 When the captured image is an image file in the Exif format, the recording processing unit 24d may associate the name of the friend with the face image and register the text data of the name in the maker note area. The recording processing unit 24d may also record a face image.
以上より、第4実施形態では、第1照合部24eがデータベース15aでオブジェクトの情報を照合することにより、ユーザ入力を必要とせずにオブジェクトの情報を選択的に撮影画像に関連付けできたり、ユーザ入力に応じてオブジェクトの表示態様を画像から文字列に置換したりすることができる。 As described above, in the fourth embodiment, the first collation unit 24e collates the object information in the database 15a, so that the object information can be selectively associated with the photographed image without requiring the user input, or the user input The display mode of the object can be replaced from the image to a character string according to the above.
(第5実施形態)
次に、第5実施形態について説明する。上述した第4実施形態では、電子カメラ1のフラッシュメモリ15内のデータベース15aに予め照合用のオブジェクトの情報を登録していたが、第5実施形態では、照合用のオブジェクトの情報を外部サーバのデータベースに登録して利用する点が異なる。そこで、第5実施形態では、外部サーバを利用する照合システムを採用する。
(Fifth embodiment)
Next, a fifth embodiment will be described. In the fourth embodiment described above, information on the object for verification is registered in advance in the database 15a in the flash memory 15 of the electronic camera 1, but in the fifth embodiment, information on the object for verification is stored in the external server. The difference is that it is registered in the database and used. Therefore, in the fifth embodiment, a collation system using an external server is adopted.
図12は、第5実施形態の照合システムの構成例を説明する図である。照合システムでは、電子カメラ1と、無線LAN(Local Area Network)装置40、インターネット網41、外部サーバ50とで構成される。 FIG. 12 is a diagram illustrating a configuration example of a collation system according to the fifth embodiment. The verification system includes an electronic camera 1, a wireless local area network (LAN) device 40, an Internet network 41, and an external server 50.
外部サーバ50は、一般のサーバコンピュータに適用可能であり、CPU、データ処理の作業用のRAM、OS(オペレーティングシステム)プログラム等を記録するフラッシュメモリ、各種データを記憶する記憶装置(例えばハードディスクドライブ(Hard Disc Drive)装置)、電子カメラ1とインターネット網41を介して通信するための通信手段等を備えていれば良い(図示省略)。 The external server 50 is applicable to a general server computer, and includes a CPU, a RAM for data processing work, a flash memory for recording an OS (operating system) program, and a storage device for storing various data (for example, a hard disk drive ( (Hard Disc Drive) apparatus), communication means for communicating with the electronic camera 1 via the Internet network 41, etc. (not shown).
さらに、外部サーバ50は、記憶装置に本実施形態のデータベース50aがインストールされる。データベース50aは、電子カメラ1内のデータベース15aと同様の構成である。図12に示す外部サーバ50には、説明の便宜上、データベース50aのみ描かれている。なお、外部サーバ50のCPUは、電子カメラ1側からの指示に基づいて、データベース50aのデータ処理を行なう。 Further, in the external server 50, the database 50a of this embodiment is installed in the storage device. The database 50a has the same configuration as the database 15a in the electronic camera 1. In the external server 50 shown in FIG. 12, only the database 50a is drawn for convenience of explanation. Note that the CPU of the external server 50 performs data processing of the database 50a based on an instruction from the electronic camera 1 side.
電子カメラ1の通信I/F部22は、アンテナ22aを介して無線通信により無線LAN装置40を経由してインターネット網41に接続し、外部サーバ50と通信を行なう。 The communication I / F unit 22 of the electronic camera 1 is connected to the Internet network 41 via the wireless LAN device 40 by wireless communication via the antenna 22a and communicates with the external server 50.
第2照合部24fは、上述した通り、通信I/F部22を介して、撮影画像に含まれる部分画像とデータベース50aに登録された照合用のオブジェクトの情報とを照合させる。認識部24aは、第2照合部24fの照合結果に応じて、オブジェクトを認識する。 As described above, the second collation unit 24f collates the partial image included in the captured image with the information on the collation object registered in the database 50a via the communication I / F unit 22. The recognizing unit 24a recognizes the object according to the collation result of the second collating unit 24f.
なお、照合の仕方は、第4実施形態と同様、部分画像(例えば顔画像)に含まれるオブジェクトがデータベース50aに登録されている場合、例えばオブジェクトの認識方法として、データベース50aにオブジェクトの情報を示す特徴量が登録されており、第2照合部24fは、この特徴量とスルー画像に含まれる部分画像とで照合を行なう。 As in the fourth embodiment, the collation is performed when an object included in a partial image (for example, a face image) is registered in the database 50a. For example, as a method for recognizing an object, object information is indicated in the database 50a. The feature amount is registered, and the second matching unit 24f performs matching between the feature amount and the partial image included in the through image.
比較の結果、ある閾値以上一致していると、認識部24aは、第4実施形態と同様、スルー画像に含まれる部分画像を認識対象となるオブジェクトと認識する。そして記録処理部24dは、撮影画像に認識部24aが認識したオブジェクトの情報を関連付ける。 As a result of the comparison, if the values match by a certain threshold value or more, the recognition unit 24a recognizes the partial image included in the through image as an object to be recognized, as in the fourth embodiment. The recording processing unit 24d associates the information of the object recognized by the recognition unit 24a with the captured image.
ここで、第2照合部24fでは、データベース50aに登録された特徴量とスルー画像との照合を、スルー画像全体で行っても良いし、またスルー画像の一部分のみと照合させても良い。なお、詳細については、上述した第1照合部24eの処理と同様であるので、説明を省略する。 Here, the second collating unit 24f may collate the feature amount registered in the database 50a with the through image in the entire through image, or collate with only a part of the through image. Note that details are the same as the processing of the first verification unit 24e described above, and a description thereof will be omitted.
一方、スルー画像、若しくは部分画像(例えば顔画像)に含まれるオブジェクトがデータベース50aに登録されていない(比較の結果、ある閾値以上一致していない)場合、認識部24aは、オブジェクトの認識を行わない。すなわち記録処理部24dは、撮影画像にオブジェクトの情報との関連付けを行なわない。 On the other hand, when the object included in the through image or the partial image (for example, the face image) is not registered in the database 50a (as a result of the comparison, the recognition unit 24a recognizes the object). Absent. That is, the recording processing unit 24d does not associate the captured image with the object information.
したがって、第5実施形態では、外部サーバ50を利用することにより、ユーザ入力を必要とせずに構図内に収まらない特定のオブジェクトの情報を選択的に撮影画像に関連付けることができる。 Therefore, in the fifth embodiment, by using the external server 50, information of a specific object that does not require user input and does not fit in the composition can be selectively associated with the captured image.
また、データベース50aには、データベース15aと同様にしてオブジェクト(例えば顔画像)に対応する名前が予め登録されていても良い。置換部24gは、第2照合部24fの照合結果に応じて、オブジェクトをそのオブジェクトに対応する名前(文字列)に置き換える。これにより、記録処理部24dは、撮影画像と名前とを関連付けて記録することができる。 In the database 50a, names corresponding to objects (for example, face images) may be registered in advance in the same manner as the database 15a. The replacement unit 24g replaces the object with a name (character string) corresponding to the object according to the collation result of the second collation unit 24f. Thereby, the recording processing unit 24d can record the captured image and the name in association with each other.
以上より、第5実施形態では、第2照合部24fが外部サーバ50のデータベース50aを利用してオブジェクトの情報を照合する。これにより、第5実施形態では、ユーザ入力を必要とせずにオブジェクトの情報を選択的に撮影画像に関連付けできたり、ユーザ入力に応じてオブジェクトの情報の表示態様を画像から文字列に置換したりすることができる。 As described above, in the fifth embodiment, the second collation unit 24f collates object information using the database 50a of the external server 50. Thus, in the fifth embodiment, object information can be selectively associated with a captured image without requiring user input, or the display mode of object information is replaced from an image to a character string in accordance with user input. can do.
(第6実施形態)
次に、第6実施形態について説明する。第6実施形態では、CPU24の管理部24hは、記録処理部24dが登録した少なくとも一つ以上のオブジェクトの情報を管理する管理機能をさらに備える。例えば、管理部24hは、以下に説明する通り、オブジェクトの情報をグループとして管理することができる。
(Sixth embodiment)
Next, a sixth embodiment will be described. In the sixth embodiment, the management unit 24h of the CPU 24 further includes a management function for managing information on at least one object registered by the recording processing unit 24d. For example, the management unit 24h can manage object information as a group as described below.
図13は、データベース15a内に登録されているグループの一例を示す概念図である。記録処理部24dは、認識部24aが認識したオブジェクトをグループとして登録するため、一例として撮影の際に、認識しているオブジェクトをグループとしてデータベース15aに記録して行く。これにより、記録処理部24dは、撮影日時に関連付けて、オブジェクトのグループを登録することができる。ここで、記録処理部24dは、記録領域を効率よく利用するために今回登録するグループのオブジェクトが前回登録したグループのオブジェクトと同一の場合は、今回の登録をキャンセルしても良い。 FIG. 13 is a conceptual diagram showing an example of a group registered in the database 15a. Since the recording processing unit 24d registers the objects recognized by the recognition unit 24a as a group, as an example, the recording processing unit 24d records the recognized objects as a group in the database 15a. Thereby, the recording processing unit 24d can register a group of objects in association with the shooting date and time. Here, in order to efficiently use the recording area, the recording processing unit 24d may cancel the current registration when the object of the group registered this time is the same as the object of the group registered last time.
なお、本実施形態では、登録したオブジェクトを、外部サーバ50のデータベース50aに転送するようにしても良い。 In the present embodiment, the registered object may be transferred to the database 50a of the external server 50.
或いは、グループの単位は、ある一つのイベント(XX旅行、YY食事会等)であって、ユーザがタッチパネル19を介して手動(マニュアル操作)でグループを作成するようにしても良い。具体的には、ユーザがカメラメニューのグループ登録を選択すると、表示制御部24bは、表示モニタ17に、「現在の認識しているオブジェクトをグループ登録しますか?」等のメッセージを表示させる。ここで、ユーザが「YES」を選択すると、記録処理部24dは、現在の認識しているオブジェクトをグループとしてデータベース15a内に登録する。 Alternatively, the unit of the group is a certain event (XX trip, YY dinner party, etc.), and the user may create the group manually (manual operation) via the touch panel 19. Specifically, when the user selects group registration in the camera menu, the display control unit 24b causes the display monitor 17 to display a message such as “Do you want to register the currently recognized object as a group?”. Here, when the user selects “YES”, the recording processing unit 24d registers the currently recognized objects as a group in the database 15a.
なお、自動でグループを作成する場合、電子カメラ1では、ある一つのイベントの開始/終了を自動認識して、イベント終了時に現在の認識しているオブジェクトをグルーピングするようにしても良い。 When a group is automatically created, the electronic camera 1 may automatically recognize the start / end of a certain event and group the currently recognized objects at the end of the event.
説明をわかりやすくするため、例えば、図11(a)に示す構図の場合、管理部24hは、認識部24aが現在認識しているオブジェクトが含まれる特定のグループをデータベース15aから自動的に読み出す。この場合、スルー画像には、友人B、Cが映っているので、管理部24hは、友人B、Cを含むグループをデータベース15aから読み出す。なお、管理部24hは、ユーザ入力により指定された特定のグループをデータベース15aから読み出しても良い。 In order to make the explanation easy to understand, for example, in the case of the composition shown in FIG. 11A, the management unit 24h automatically reads a specific group including the object currently recognized by the recognition unit 24a from the database 15a. In this case, since the friends B and C are shown in the through image, the management unit 24h reads the group including the friends B and C from the database 15a. The management unit 24h may read a specific group designated by user input from the database 15a.
そして、表示制御部24bは、一旦画面表示を切り替えて、例えば第1乃至第3グループのオブジェクトを表示モニタ17に表示させる。表示制御部24bは、特定のグループのオブジェクトを表示モニタ17に表示させるため、撮影者Eは、関連付けしたいオブジェクトを容易に探すことができる。 Then, the display control unit 24b temporarily switches the screen display so that, for example, the first to third group objects are displayed on the display monitor 17. Since the display control unit 24b displays a specific group of objects on the display monitor 17, the photographer E can easily find an object to be associated with.
図14は、表示モニタ17に表示されたグループの一例を示す図である。ここで、撮影者Eは、友人A、Dを撮影画像に関連付けたいのであれば、第1グループを選択すれば良い。 FIG. 14 is a diagram illustrating an example of a group displayed on the display monitor 17. Here, if the photographer E wants to associate the friends A and D with the photographed image, the photographer E may select the first group.
以上より、第6実施形態では、グループ管理の機能を利用することにより、撮影者Eの意図に従って、撮影画像にオブジェクトの情報を関連付けることができる。なお、管理部24hは、ユーザ入力に応じて、グループの新規作成、読み出し、編集、又は削除を行なっても良い。 As described above, in the sixth embodiment, object information can be associated with a captured image in accordance with the intention of the photographer E by using the group management function. Note that the management unit 24h may create, read, edit, or delete a group in response to a user input.
(実施形態の補足事項)
(1)上記の実施形態では、本発明の適用可能な撮像装置として、コンパクト方式の電子カメラを例示したが、この方式の電子カメラに限られない。本発明の適用可能な撮像装置は、例えば、一眼レフ方式の電子カメラやミラーレス方式の一眼の電子カメラが含まれる。また、本発明の適用可能な撮像装置は、カメラ機能を備えた携帯電話機、携帯情報端末(PDA:Personal Digital Assistant)も含まれる。また、電子カメラ機能を備えた携帯電話機の場合、外部サーバ50との通信は、携帯電話の基地局を介してインターネット網41に接続する構成とすれば良い。
(Supplementary items of the embodiment)
(1) In the above-described embodiment, the compact electronic camera is illustrated as an imaging apparatus to which the present invention is applicable. However, the present invention is not limited to this electronic camera. The imaging apparatus to which the present invention is applicable includes, for example, a single-lens reflex electronic camera and a mirrorless single-lens electronic camera. The imaging apparatus to which the present invention can be applied also includes a mobile phone having a camera function and a personal digital assistant (PDA). In the case of a mobile phone having an electronic camera function, communication with the external server 50 may be configured to connect to the Internet network 41 via a mobile phone base station.
(2)上記の実施形態では、撮影画像の一例として、図5や図10に示すように、撮影画像の構図内にオブジェクト(顔画像)を重畳させるようにして合成したが、合成の仕方は、これに限られない。以下、図15において、撮影画像の他の表示態様を例示する。 (2) In the above embodiment, as an example of the captured image, as shown in FIG. 5 and FIG. 10, the object (face image) is superimposed on the composition of the captured image. Not limited to this. Hereinafter, in FIG. 15, other display modes of the captured image will be exemplified.
図15は、撮影画像の他の表示態様を例示した図である。図15では、関連付けモードで撮影して記録したExif形式の画像ファイルを、表示モニタ17に再生した状態を表している。図15(a)では、撮影画像とは別エリアに登録済のオブジェクト(顔画像)が合成されている。図15(b)では、撮影画像とは別エリアに登録済のオブジェクトに対応する名前(文字列)が合成されている。図15(c)では、撮影画像内の一部エリアに登録済のオブジェクトに対応する名前(文字列)が重畳表示されている。 FIG. 15 is a diagram illustrating another display mode of a captured image. FIG. 15 shows a state where an Exif format image file shot and recorded in the association mode is reproduced on the display monitor 17. In FIG. 15A, registered objects (face images) are combined in a different area from the photographed image. In FIG. 15B, names (character strings) corresponding to objects registered in a different area from the photographed image are synthesized. In FIG. 15C, names (character strings) corresponding to registered objects are superimposed and displayed in a partial area in the captured image.
以上より、撮影画像の表示態様は、例えば撮影者がメニュー画面で選択することにより、様々なバリエーションにすることができる。 As described above, the display mode of the captured image can be variously changed by, for example, the photographer selecting it on the menu screen.
(3)上記の実施形態に加えて、関連付けモードにおいて、方位角を検出しながらスルー画像の撮影を行なった後に撮影画像を撮影しても良い。ここで、関連付けモードの下位の設定モードとして、方位角検出モードを追加する。 (3) In addition to the above embodiment, in the association mode, a captured image may be captured after capturing a through image while detecting an azimuth angle. Here, an azimuth angle detection mode is added as a setting mode subordinate to the association mode.
具体的には、方位角検出モードにおいて、CPU24は、方位センサ23が出力する地磁気のデータに基づいて、電子カメラ1(撮影光学系10の光軸)からオブジェクトへの向き(方位角)を検出する。そして、記録処理部24dは、撮影画像とスルー画像内のオブジェクトの情報とを関連付けて記録する。さらに、記録処理部24dは、オブジェクトの情報に方位角の情報を付加して記録する。これにより、構図内のオブジェクトと構図内に収まらないオブジェクトとの位置関係がわかる。したがって、表示制御部24bは、例えば撮影画像を再生する際、方位角の情報に基づいて、オブジェクトの表示の仕方を変えることができる。以下、図16を用いて、具体例を説明する。 Specifically, in the azimuth angle detection mode, the CPU 24 detects the direction (azimuth angle) from the electronic camera 1 (the optical axis of the photographing optical system 10) to the object based on the geomagnetic data output from the azimuth sensor 23. To do. Then, the recording processing unit 24d records the captured image and the information of the object in the through image in association with each other. Further, the recording processing unit 24d adds and records the azimuth information to the object information. Thereby, the positional relationship between the object in the composition and the object that does not fit in the composition can be known. Accordingly, the display control unit 24b can change the way of displaying the object based on the azimuth information when, for example, reproducing a captured image. Hereinafter, a specific example will be described with reference to FIG.
図16は、方位角検出モードにおける撮影画像の再生処理を説明する図である。例えば、撮影者Eは、先ず、第1実施形態と同様にして、スルー画像の撮影を行なった後、撮影画像の撮影を行なう。この際、方位角を検出しながら、撮像制御部24cはスルー画像の撮影を行なう。 FIG. 16 is a diagram for explaining a captured image reproduction process in the azimuth angle detection mode. For example, the photographer E first shoots a through image and then shoots a captured image in the same manner as in the first embodiment. At this time, the imaging control unit 24c captures a through image while detecting the azimuth angle.
続いて、撮像制御部24cは撮影画像の撮影を行なう。記録処理部24dは、撮影画像とオブジェクトの情報とを関連付けて記録すると共に、そのオブジェクトの情報に方位角の情報を付加して記録する。 Subsequently, the imaging control unit 24c captures a captured image. The recording processing unit 24d records the captured image and the object information in association with each other, and records the object information with azimuth information added thereto.
図16(a)は、撮影画像を表示モニタ17に表示させた状態を示している。ここで、撮影者Eがタッチパネル19の操作で指Fを左方向又は右方向に移動させると、表示制御部24bは、タッチパネル19の操作に応じて、撮影画像に関連付けられたオブジェクトを方位角の情報に基づいて読み出して表示モニタ17に表示させる(図16(b)、(c)参照)。これにより、撮影者Eは、撮影画像から見て、撮影画像に収まらなかった友人A、Dの位置関係がわかる。 FIG. 16A shows a state where the captured image is displayed on the display monitor 17. Here, when the photographer E moves the finger F to the left or right by operating the touch panel 19, the display control unit 24 b displays the object associated with the captured image with an azimuth angle according to the operation of the touch panel 19. Based on the information, it is read out and displayed on the display monitor 17 (see FIGS. 16B and 16C). As a result, the photographer E can see the positional relationship between the friends A and D who did not fit in the photographed image as seen from the photographed image.
さらに、表示制御部24bは、撮影画像内にオブジェクトを表示させる際に、方位角の情報に基づいて、撮影画像内で表示させる位置を変えても良い。例えば、図16(a)において、表示制御部24bは、顔画像D1、A1を撮影画像の右下側に重畳表示させているが、方位角の情報に基づいて、顔画像D1を撮影画像の右下側に、顔画像A1を撮影画像の左下側に重畳表示させるようにしても良い。これにより、撮影者Eは、撮影画像内で、撮影画像に収まらなかった友人A、Dの位置関係がわかる。 Further, when displaying the object in the captured image, the display control unit 24b may change the position to be displayed in the captured image based on the azimuth information. For example, in FIG. 16A, the display control unit 24b superimposes and displays the face images D1 and A1 on the lower right side of the photographed image. However, the face image D1 of the photographed image is displayed based on the azimuth information. The face image A1 may be superimposed and displayed on the lower left side of the captured image on the lower right side. As a result, the photographer E knows the positional relationship between the friends A and D that did not fit in the captured image in the captured image.
或いは、図16(b)、(c)において、友人Bと友人Aとの距離が、友人Bと友人Dとの距離よりも短いとする。ここで、CPU24は、例えば方位角の情報に基づいて距離を推定しても良い。表示制御部24bは、例えば、友人Bと友人Aとの距離、友人Bと友人Dとの距離に応じて、撮影画像の構図から外れた仮想空間上での友人Aのオブジェクトの情報、及び友人Dのオブジェクトの情報を表示モニタ17上に配置しても良い。この場合、表示制御部24bは、撮影画像の表示中に友人Aのオブジェクトの情報を表示するために必要な指のスライド距離を、友人Dのオブジェクトの情報を表示するために必要な指のスライド距離よりも短くする。 Alternatively, in FIGS. 16B and 16C, it is assumed that the distance between the friend B and the friend A is shorter than the distance between the friend B and the friend D. Here, the CPU 24 may estimate the distance based on, for example, azimuth information. The display control unit 24b, for example, according to the distance between the friend B and the friend A and the distance between the friend B and the friend D, information on the object of the friend A in the virtual space that is out of the composition of the photographed image, and the friend Information on the object D may be arranged on the display monitor 17. In this case, the display control unit 24b displays the finger slide distance necessary for displaying the information of the friend A object while displaying the captured image, and the finger slide necessary for displaying the information of the friend D object. Make it shorter than the distance.
すなわち、タッチパネル19上でユーザが指でなぞると、その指のスライド距離を例えば友人Bと友人Aとの距離や友人Bと友人Dとの距離に対応付ける。これにより、例えば、ユーザが撮影画面に対して右方向に指で2回スクロール操作を行なうと、表示制御部24bは、友人Aのオブジェクトを表示モニタ17に表示させ、ユーザが撮影画面に対して左方向に指で3回スクロール操作を行なうと、表示制御部24bは、友人Dのオブジェクトを表示モニタ17に表示させるようにしても良い。 That is, when the user traces with the finger on the touch panel 19, the sliding distance of the finger is associated with, for example, the distance between the friend B and the friend A or the distance between the friend B and the friend D. Thereby, for example, when the user performs a scrolling operation twice with a finger in the right direction on the shooting screen, the display control unit 24b displays the object of the friend A on the display monitor 17, and the user moves the shooting screen. When the scroll operation is performed three times with the finger in the left direction, the display control unit 24b may display the object of the friend D on the display monitor 17.
或いは、表示制御部24bは、オブジェクトの情報をスライドインさせて表示モニタ17上に表示させる際、オブジェクトの情報が表示モニタ17上の所定位置に表示されるまでにかかる時間を距離に応じて変えるようにしても良い。例えば、友人Bと友人Aとの距離が、友人Bと友人Dとの距離よりも短いとする。撮影画像の表示中(図16(a))、ユーザ入力により、図2に示す十字ボタン20eの左側のボタンが押されると、表示制御部24bは、友人Dをスライドインさせて表示モニタ17上の所定位置(例えば、図16の表示モニタ17上に表示される画像D1の位置)に表示させる。一方、撮影画像の表示中(図16(a))、ユーザ入力により、図2に示す十字ボタン20eの右側のボタンが押されると、表示制御部24bは、友人Aをスライドインさせて表示モニタ17に表示させる。このスライドインによる表示において、表示制御部24bは、友人Bと友人Aとの距離が、友人Bと友人Dとの距離よりも短いので、十字ボタン20eの右側のボタンが押されてから友人Aが表示モニタ17上の所定位置に表示されるまでにかかる時間は、十字ボタン20eの左側のボタンが押されてから友人Dが表示モニタ17上の所定位置に表示されるまでにかかる時間よりも早くしても良い。 Alternatively, when the display control unit 24b slides in the object information and displays it on the display monitor 17, the display control unit 24b changes the time taken for the object information to be displayed at a predetermined position on the display monitor 17 according to the distance. You may do it. For example, it is assumed that the distance between the friend B and the friend A is shorter than the distance between the friend B and the friend D. While the captured image is being displayed (FIG. 16A), when the button on the left side of the cross button 20e shown in FIG. 2 is pressed by a user input, the display control unit 24b slides in the friend D on the display monitor 17. At a predetermined position (for example, the position of the image D1 displayed on the display monitor 17 of FIG. 16). On the other hand, when the photographed image is being displayed (FIG. 16A), when the button on the right side of the cross button 20e shown in FIG. 2 is pressed by the user input, the display control unit 24b slides in the friend A to display monitor. 17 is displayed. In the display by the slide-in, since the distance between the friend B and the friend A is shorter than the distance between the friend B and the friend D, the display control unit 24b displays the friend A after the button on the right side of the cross button 20e is pressed. Is displayed at a predetermined position on the display monitor 17 than when the friend D is displayed at a predetermined position on the display monitor 17 after the button on the left side of the cross button 20e is pressed. You can do it quickly.
(4)上記の実施形態では、Exif形式の画像ファイルを例示したが、画像ファイルは、Exif形式の画像ファイルに限定されない。上記の実施形態では、撮影画像とオブジェクトとを関連付けて記録できる他の形式の画像ファイルであっても良い。 (4) In the above embodiment, an Exif format image file is exemplified, but the image file is not limited to an Exif format image file. In the above embodiment, an image file of another format that can record a captured image and an object in association with each other may be used.
1・・・電子カメラ、11・・・撮像素子、24a・・・認識部、24c・・・撮影制御部、24d・・・記録制御部 DESCRIPTION OF SYMBOLS 1 ... Electronic camera, 11 ... Imaging device, 24a ... Recognition part, 24c ... Shooting control part, 24d ... Recording control part
Claims (12)
前記撮像素子により時系列に得られる第1画像を解析して、前記第1画像内に含まれるオブジェクトを認識する認識部と、
前記第1画像の撮影、及び記録用の第2画像の撮影を行なう撮影制御部と、
前記第2画像と前記認識部によって認識された少なくとも前記第2画像に含まれないオブジェクトの情報とを関連付けて記録する記録処理部と、
を備えることを特徴とする撮像装置。 An image sensor for capturing an image of a subject;
A recognition unit that analyzes a first image obtained in time series by the imaging device and recognizes an object included in the first image;
A shooting control unit for shooting the first image and shooting a second image for recording;
A recording processing unit that records the second image and information of an object not included in at least the second image recognized by the recognition unit in association with each other;
An imaging apparatus comprising:
画像表示用の表示部と、
前記表示部の表示態様を制御する表示制御部とをさらに備え、
前記表示制御部は、前記第1画像と前記オブジェクトの情報とを前記表示部に表示させ、
前記記録処理部は、前記第1画像と共に前記表示部に表示された前記オブジェクトの情報を前記第2画像に関連付けて記録することを特徴とする撮像装置。 The imaging device according to claim 1,
A display unit for displaying images;
A display control unit for controlling the display mode of the display unit,
The display control unit causes the display unit to display the first image and the information of the object,
The recording processing unit records information on the object displayed on the display unit together with the first image in association with the second image.
前記表示部に表示された前記第1画像に対して、ユーザ入力により前記オブジェクトを選択する選択入力部をさらに備え、
前記認識部は、前記ユーザ入力により前記選択入力部が選択した前記オブジェクトを認識することを特徴とする撮像装置。 The imaging device according to claim 2,
A selection input unit that selects the object by user input with respect to the first image displayed on the display unit,
The recognizing unit recognizes the object selected by the selection input unit by the user input.
前記選択入力部は、接触体の接触により情報入力を行なうタッチパネルであって、
前記認識部は、前記表示部に表示中の前記第1画像内の前記オブジェクトに対して、前記タッチパネルを介して前記接触体が指示した前記オブジェクトを認識することを特徴とする撮像装置。 The imaging device according to claim 3.
The selection input unit is a touch panel for inputting information by contact of a contact body,
The said recognition part recognizes the said object which the said contact body instruct | indicated via the said touch panel with respect to the said object in the said 1st image currently displayed on the said display part.
前記記録処理部は、前記第2画像の一部領域に前記オブジェクトの情報を合成する、若しくは前記第2画像のタグ情報に前記オブジェクト情報を追加することで、前記第2画像とオブジェクト情報とを関連付けて記録することを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 4,
The recording processing unit combines the object information with a part of the second image, or adds the object information to the tag information of the second image, thereby combining the second image and the object information. An imaging apparatus characterized by recording in association with each other.
照合用のオブジェクトの情報が予め登録されているデータベースと、
前記第1画像に含まれる部分画像と前記データベースに登録された前記照合用のオブジェクトの情報とを照合する第1照合部とをさらに備え、
前記認識部は、前記第1照合部の照合結果に応じて、前記オブジェクトを認識することを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 5,
A database in which object information for matching is registered in advance;
A first collation unit that collates a partial image included in the first image and information on the object for collation registered in the database;
The recognizing unit recognizes the object according to a collation result of the first collating unit.
照合用のオブジェクトの情報が予め登録されているデータベースを有する外部サーバと通信する通信部と、
前記通信部を介して、前記第1画像に含まれる部分画像と前記データベースに登録された前記照合用のオブジェクトの情報とを照合させる第2照合部をさらに備え、
前記認識部は、前記第2照合部の照合結果に応じて、前記オブジェクトを認識することを特徴とする撮像装置。 The imaging apparatus according to any one of claims 1 to 6,
A communication unit that communicates with an external server having a database in which object information for verification is registered in advance;
A second collation unit that collates the partial image included in the first image and the information of the object for collation registered in the database via the communication unit;
The recognizing unit recognizes the object according to a collation result of the second collating unit.
前記データベースに登録されている前記オブジェクトの情報には前記オブジェクトに関連する情報を含み、前記記録処理部は、前記第1照合部又は前記第2照合部の照合結果に応じて、前記第2画像と前記オブジェクトに関連する情報とを関連付けて記録することを特徴とする撮像装置。 In the imaging device according to claim 6 or 7,
The information of the object registered in the database includes information related to the object, and the recording processing unit is configured to output the second image according to a collation result of the first collation unit or the second collation unit. And an information relating to the object and recorded in association with each other.
前記記録処理部が登録した前記オブジェクトの情報を所定の条件ごとに管理する管理部をさらに備えることを特徴とする撮像装置。 The imaging device according to any one of claims 6 to 8,
An imaging apparatus, further comprising: a management unit that manages information on the object registered by the recording processing unit for each predetermined condition.
前記管理部は、複数の前記オブジェクトの情報をグループとして管理することを特徴とする撮像装置。 The imaging device according to claim 9,
The image capturing apparatus, wherein the management unit manages information of the plurality of objects as a group.
前記記録処理部は、撮影ごと、時間ごと、日付ごと、または撮影イベントごとに前記認識部が認識した前記オブジェクトの情報をグループとして前記データベースへ登録することを特徴とする撮像装置。 The imaging device according to claim 10.
The image processing apparatus, wherein the recording processing unit registers the information of the object recognized by the recognition unit as a group in the database for each photographing, every time, every date, or every photographing event.
前記管理部は、ユーザ入力により指定された特定のグループ、又は前記認識部が現在認識しているオブジェクトが含まれる特定のグループを読み出し、
前記表示制御部は、前記特定のグループのオブジェクトの情報を前記表示部に表示させることを特徴とする撮像装置。
In the imaging device according to claim 10 or 11,
The management unit reads a specific group specified by user input or a specific group including an object that is currently recognized by the recognition unit,
The display control unit causes the display unit to display information on the objects of the specific group.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012099412A JP2013229696A (en) | 2012-04-25 | 2012-04-25 | Imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012099412A JP2013229696A (en) | 2012-04-25 | 2012-04-25 | Imaging apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013229696A true JP2013229696A (en) | 2013-11-07 |
Family
ID=49676949
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012099412A Pending JP2013229696A (en) | 2012-04-25 | 2012-04-25 | Imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013229696A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019149844A (en) * | 2019-06-04 | 2019-09-05 | マクセル株式会社 | Imaging apparatus and image processing method |
-
2012
- 2012-04-25 JP JP2012099412A patent/JP2013229696A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019149844A (en) * | 2019-06-04 | 2019-09-05 | マクセル株式会社 | Imaging apparatus and image processing method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5056061B2 (en) | Imaging device | |
US9041832B2 (en) | Imaging apparatus and method for controlling the same | |
JP6861342B2 (en) | A system including an imaging device and an imaging device and a server | |
JP2010010936A (en) | Image recording apparatus, image recording method, image processing apparatus, image processing method, and program | |
JP2008278350A (en) | Imaging apparatus, imaging control program, and imaging control method | |
JP2012147167A (en) | Imaging device, information processing terminal including the imaging device, method for controlling the imaging device, and program for realizing the method | |
JP6512961B2 (en) | Imaging control apparatus, control method therefor, program, and storage medium | |
JP2014146989A (en) | Image pickup device, image pickup method, and image pickup program | |
JP2007081732A (en) | Imaging apparatus | |
JP2015008385A (en) | Image selection device, imaging device, and image selection program | |
US9374525B2 (en) | Shooting apparatus and shooting method | |
US20150124121A1 (en) | Image capturing apparatus and image capturing method | |
JP2007110261A (en) | Digital camera | |
JP5733956B2 (en) | IMAGING DEVICE AND ITS CONTROL METHOD, MOVIE RECORDING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
JP6312423B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
JP2013149034A (en) | Image display apparatus, image display method, and program | |
US20140125833A1 (en) | Image capturing apparatus and control method thereof | |
JP2013229696A (en) | Imaging apparatus | |
JP2015095082A (en) | Image display device, control method therefor, and control program | |
JP5777446B2 (en) | Display control apparatus and control method thereof | |
JP6128929B2 (en) | Imaging apparatus, control method therefor, and program | |
JP2006237963A (en) | Image display device, photographing device and image display method | |
US9088762B2 (en) | Image capturing apparatus and control method thereof | |
JP6200194B2 (en) | Imaging apparatus, control method therefor, and program | |
JP7282524B2 (en) | Display control device, its control method and program |