JP2014033265A - Imaging device, imaging method, and program - Google Patents

Imaging device, imaging method, and program Download PDF

Info

Publication number
JP2014033265A
JP2014033265A JP2012171280A JP2012171280A JP2014033265A JP 2014033265 A JP2014033265 A JP 2014033265A JP 2012171280 A JP2012171280 A JP 2012171280A JP 2012171280 A JP2012171280 A JP 2012171280A JP 2014033265 A JP2014033265 A JP 2014033265A
Authority
JP
Japan
Prior art keywords
subject
unit
tracking
face
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012171280A
Other languages
Japanese (ja)
Inventor
Koichi Shintani
浩一 新谷
Akira Tani
憲 谷
Satoshi Hara
聡司 原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Imaging Corp
Original Assignee
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Imaging Corp filed Critical Olympus Imaging Corp
Priority to JP2012171280A priority Critical patent/JP2014033265A/en
Publication of JP2014033265A publication Critical patent/JP2014033265A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an imaging device, an imaging method, and a program that are capable of performing photographing while focusing on a tracked subject even when the tracked subject cannot be detected by pattern matching based on face detection.SOLUTION: An imaging device 1 comprises a photographing control unit 221d that, when a subject detection unit 207b has succeeded in detecting a subject in a predetermined posture state in a case where a face detection unit 207a cannot detect a person's face, executes tracking processing for performing tracking while changing a photographing parameter for an area of the subject.

Description

本発明は、被写体を撮像し、該被写体の画像データを生成する撮像装置、撮像方法およびプログラムに関する。   The present invention relates to an imaging apparatus, an imaging method, and a program for imaging a subject and generating image data of the subject.

近年、デジタルカメラ等の撮像装置において、顔検出によるパターンマッチングによって、隣接する画像間で撮像装置のピント位置を合わせながら追尾する追尾被写体を検出し、検出した追尾被写体に対して最適な状態で撮影する技術が知られている(特許文献1参照)。この技術では、顔検出によるパターンマッチングによって検出した追尾被写体の顔に予め対応付けられた画像パラメータの画像処理を画像データに施すことで、追尾被写体に対して最適な状態で撮影を行う。   In recent years, an imaging device such as a digital camera detects a tracking subject to be tracked while matching the imaging device's focus position between adjacent images by pattern matching based on face detection, and shoots in an optimal state for the detected tracking subject. The technique to do is known (refer patent document 1). In this technique, image processing is performed on the tracking subject in an optimal state by performing image processing of image parameters associated in advance with the face of the tracking subject detected by pattern matching based on face detection.

特開2012−70222号公報JP 2012-70222 A

ところで、上述した従来技術では、画像内に追尾被写体が写っていても、顔検出によるパターンマッチングによって、追尾被写体の顔を検出することができない場合、撮像装置のピント位置を合わせることができず、追尾被写体に対してピントがぼけた撮影や露出が適切でない撮影を行ってしまうという問題点があった。   By the way, in the above-described conventional technology, even if the tracking subject is captured in the image, if the face of the tracking subject cannot be detected by pattern matching based on face detection, the focus position of the imaging device cannot be adjusted. There has been a problem that the subject to be tracked is shot out of focus or shot with an inappropriate exposure.

本発明は、上記に鑑みてなされたものであって、顔検出によるパターンマッチングによって追尾被写体を検出することができない場合であっても、追尾被写体に対してピントを合わせた撮影を行うことができる撮像装置、撮像方法およびプログラムを提供することを目的とする。   The present invention has been made in view of the above, and even when a tracking subject cannot be detected by pattern matching based on face detection, it is possible to perform shooting that focuses on the tracking subject. An object is to provide an imaging apparatus, an imaging method, and a program.

上述した課題を解決し、目的を達成するために、本発明にかかる撮像装置は、複数のレンズからなり、所定の視野領域から光を集光するレンズ部と、前記レンズ部によって集光された光を受光して電子的な画像データを時間的に連続して生成する撮像部と、前記画像データに対応する画像から人物の顔を検出する顔検出部と、前記画像データに対応する画像から所定の姿勢状態にある被写体を検出する被写体検出部と、前記顔検出部が前記人物の顔を検出できない場合において、前記被写体検出部が前記被写体を検出したとき、該被写体に対応する領域に対して撮影パラメータを変更しながら前記撮像部による生成タイミングが時間的に隣接する画像間で追尾する追尾処理を実行する撮影制御部と、を備えたことを特徴とする。   In order to solve the above-described problems and achieve the object, an imaging apparatus according to the present invention includes a plurality of lenses, and a lens unit that collects light from a predetermined field of view, and the light is collected by the lens unit. From an imaging unit that receives light and generates electronic image data continuously in time, a face detection unit that detects a human face from an image corresponding to the image data, and an image corresponding to the image data When a subject detection unit that detects a subject in a predetermined posture state and the face detection unit cannot detect the face of the person and the subject detection unit detects the subject, an area corresponding to the subject is detected. And a shooting control unit that executes a tracking process for tracking between images that are temporally adjacent to each other while changing the shooting parameter.

また、本発明にかかる撮像装置は、上記発明において、前記被写体を構成する各パーツの特徴点を抽出する特徴点抽出部と、前記特徴点抽出部が抽出した前記特徴点に基づいて、前記被写体の姿勢を特定する際に用いる被写体情報を生成する被写体情報生成部と、をさらに備え、前記被写体検出部は、前記被写体情報生成部が生成した前記被写体情報との一致度が所定の閾値以上である姿勢状態の被写体を検出することを特徴とする。   Further, the imaging apparatus according to the present invention is the above-described invention, wherein the subject is extracted based on the feature point extracting unit that extracts the feature points of each part constituting the subject and the feature points extracted by the feature point extracting unit. A subject information generating unit that generates subject information used when specifying the posture of the subject, wherein the subject detecting unit has a degree of coincidence with the subject information generated by the subject information generating unit equal to or greater than a predetermined threshold value. It is characterized by detecting a subject in a certain posture state.

また、本発明にかかる撮像装置は、上記発明において、前記特徴点抽出部が抽出した前記特徴点に基づいて、前記被写体を複数の関節よって人物をモデル化する関節モデルを生成する関節モデル生成部をさらに備え、前記被写体情報生成部は、前記関節モデル生成部が生成した前記関節モデルを参照して前記被写体情報を生成することを特徴とする。   In the imaging device according to the present invention, in the above invention, a joint model generation unit that generates a joint model that models a person with a plurality of joints based on the feature points extracted by the feature point extraction unit. The subject information generation unit generates the subject information with reference to the joint model generated by the joint model generation unit.

また、本発明にかかる撮像装置は、上記発明において、前記画像に含まれる複数の人物のいずれかを選択する選択信号の入力を受け付ける操作入力部をさらに備え、前記被写体情報生成部は、前記顔検出部が前記選択信号に応じた人物の顔を検出した際に、該人物の前記被写体情報を生成することを特徴とする。   The imaging apparatus according to the present invention further includes an operation input unit that receives an input of a selection signal for selecting any one of a plurality of persons included in the image, and the subject information generation unit includes the face information When the detection unit detects a person's face according to the selection signal, the subject information of the person is generated.

また、本発明にかかる撮像装置は、上記発明において、前記画像データを記録する記録部と、前記画像データに対応する画像を表示する表示部と、前記表示部が表示する前記画像に含まれる複数の人物のいずれかを選択する選択する選択信号の入力を受け付ける操作入力部と、をさらに備え、前記被写体情報生成部は、前記表示部が前記記録部によって記録された前記画像を再生している場合において、前記顔検出部が前記選択信号に応じた人物の顔を検出したとき、該人物の前記被写体情報を生成することを特徴とする。   In the image pickup apparatus according to the present invention, in the above invention, a recording unit that records the image data, a display unit that displays an image corresponding to the image data, and a plurality of images included in the image displayed by the display unit. An operation input unit that receives an input of a selection signal for selecting one of the persons, and the subject information generation unit reproduces the image recorded by the recording unit by the display unit In this case, when the face detection unit detects a person's face according to the selection signal, the subject information of the person is generated.

また、本発明にかかる撮像装置は、上記発明において、前記撮影パラメータは、前記レンズ部のピント位置、露出値、前記レンズ部の光学ズームおよび電子ズームのいずれかであることを特徴とする。   In the image pickup apparatus according to the present invention as set forth in the invention described above, the photographing parameter is any one of a focus position of the lens unit, an exposure value, an optical zoom and an electronic zoom of the lens unit.

また、本発明にかかる撮像装置は、上記発明において、前記撮影制御部は、前記顔検出部が前記人物の顔を検出できない場合において、前記被写体検出部が前記被写体を検出したとき、該被写体に対応する領域に対して前記レンズ部のピント位置を合わせながら前記撮像部による生成タイミングが時間的に隣接する画像間で追尾する追尾処理を実行することを特徴とする。   In the imaging device according to the present invention, in the above invention, the photographing control unit may detect the subject when the subject detection unit detects the subject when the face detection unit cannot detect the face of the person. A tracking process is performed in which the generation timing of the imaging unit tracks between adjacent images while adjusting the focus position of the lens unit with respect to a corresponding region.

また、本発明にかかる撮像装置は、上記発明において、前記撮像部による生成タイミングが時間的に隣接する画像間で前記レンズ部のピントを合わせながら追尾する追尾被写体を設定する被写体設定部をさらに備え、前記顔検出部は、前記画像データに対応する画像に含まれる複数の人物から前記追尾被写体の顔を検出し、前記被写体検出部は、前記画像データに対応する画像に含まれる複数の被写体から前記姿勢状態の被写体を検出し、前記撮影制御部は、前記顔検出部が前記追尾被写体の顔を検出した場合、前記追尾被写体の顔の領域に前記レンズ部のピント位置を合わせながら追尾する第1追尾処理を実行する一方、前記顔検出部が前記追尾被写体の顔を検出できない場合において、前記被写体検出部が前記追尾被写体を検出できたとき、該追尾被写体に対応する領域に前記レンズ部のピント位置を合わせながら追尾する第2追尾処理を実行することを特徴とする。   Further, the imaging apparatus according to the present invention further includes a subject setting unit that sets a tracking subject to be tracked while focusing the lens unit between images whose generation timings by the imaging unit are temporally adjacent to each other in the above invention. The face detection unit detects a face of the tracking subject from a plurality of persons included in the image corresponding to the image data, and the subject detection unit detects a plurality of subjects included in the image corresponding to the image data. When the face detection unit detects the face of the tracking subject, the shooting control unit performs tracking while adjusting the focus position of the lens unit to the area of the face of the tracking subject. While the one tracking process is executed, the subject detection unit can detect the tracking subject when the face detection unit cannot detect the face of the tracking subject. , And executes the second tracking processing for tracking while focus position of the lens portion in a region corresponding to 該追 tail object.

また、本発明にかかる撮像方法は、複数のレンズからなり、所定の視野領域から光を集光するレンズ部と、前記レンズ部によって集光された光を受光して電子的な画像データを時間的に連続して生成する撮像部と、を備えた撮像装置が実行する撮像方法であって、前記画像データに対応する画像から、人物の顔を検出する顔検出ステップと、前記顔検出ステップで前記被写体の顔を検出できない場合、前記画像データに対応する画像から所定の姿勢状態である被写体を検出する被写体検出ステップと、前記被写体検出ステップで前記被写体を検出できた場合、該被写体に対応する領域に対して撮影パラメータを変更しながら前記撮像部による生成タイミングが時間的に隣接する画像間で追尾する追尾処理を実行する撮影制御ステップと、を含むことを特徴とする。   In addition, an imaging method according to the present invention includes a lens unit that collects light from a predetermined field of view, and receives light collected by the lens unit to convert electronic image data into time. An image capturing method executed by an image capturing apparatus including a continuously generated image capturing unit, wherein a face detecting step for detecting a human face from an image corresponding to the image data, and the face detecting step When the face of the subject cannot be detected, a subject detection step for detecting a subject in a predetermined posture state from an image corresponding to the image data, and when the subject can be detected by the subject detection step, the subject is detected. A shooting control step for executing a tracking process for tracking between images whose generation timings by the imaging unit are temporally adjacent to each other while changing shooting parameters for an area. It is characterized in.

また、本発明にかかるプログラムは、複数のレンズからなり、所定の視野領域から光を集光するレンズ部と、前記レンズ部によって集光された光を受光して電子的な画像データを時間的に連続して生成する撮像部と、を備えた撮像装置に実行させるプログラムであって、前記画像データに対応する画像に対して、被写体の顔を検出する顔検出ステップと、前記顔検出ステップで前記被写体の顔を検出できない場合、前記画像に対して、予め記録された姿勢状態の被写体を検出する被写体検出ステップと、前記被写体検出ステップで前記被写体を検出したとき、該被写体に対応する領域に対して撮影パラメータを変更しながら前記撮像部による生成タイミングが時間的に隣接する画像間で追尾する追尾処理を実行する撮影制御ステップと、を含むことを特徴とする。   The program according to the present invention includes a plurality of lenses, a lens unit that collects light from a predetermined field of view, and light that is collected by the lens unit to receive electronic image data temporally. A program that is executed by an imaging device comprising: a face detection step for detecting a face of a subject with respect to an image corresponding to the image data; and the face detection step. When the face of the subject cannot be detected, a subject detection step for detecting a subject in a pre-recorded posture state with respect to the image, and when the subject is detected in the subject detection step, an area corresponding to the subject is detected. And a shooting control step of executing a tracking process for tracking between images whose generation timing by the imaging unit is temporally adjacent while changing the shooting parameters. It is characterized in.

本発明によれば、撮影制御部が顔検出部によって人物の顔を検出できない場合、被写体検出部が検出した所定の姿勢状態にある被写体を検出できた場合、この被写体の領域に対して撮影パラメータを変更しながら撮像部による生成タイミングが時間的に隣接する画像間で追尾する追尾処理を実行する。これにより、顔検出によるパターンマッチングによって追尾被写体を検出することができない場合であっても、追尾被写体に対してピントを合わせた撮影を行うことができるという効果を奏する。   According to the present invention, when the shooting control unit cannot detect a human face by the face detection unit, or when the subject in the predetermined posture state detected by the subject detection unit can be detected, the shooting parameter is set for the region of the subject. The tracking processing for tracking between the images whose generation timings by the imaging unit are temporally adjacent to each other is executed. Thereby, even when the tracking subject cannot be detected by the pattern matching based on the face detection, there is an effect that it is possible to perform shooting with focusing on the tracking subject.

図1は、本発明の一実施の形態にかかる撮像装置の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to an embodiment of the present invention. 図2は、本発明の一実施の形態にかかる撮像装置の被写体情報記録部が記録する被写体情報の一例を示す図である。FIG. 2 is a diagram illustrating an example of subject information recorded by the subject information recording unit of the imaging apparatus according to the embodiment of the present invention. 図3は、本発明の一実施の形態にかかる撮像装置の被写体情報記録部が記録する被写体情報の別の一例を示す図である。FIG. 3 is a diagram showing another example of subject information recorded by the subject information recording unit of the imaging apparatus according to the embodiment of the present invention. 図4は、本発明の一実施の形態にかかる撮像装置が実行する処理の内容を示すフローチャートである。FIG. 4 is a flowchart showing the contents of processing executed by the imaging apparatus according to the embodiment of the present invention. 図5は、本発明の一実施の形態にかかる撮像装置の表示部が表示する画像に対して追尾被写体を設定する際の概要を模式的に示す図である。FIG. 5 is a diagram schematically illustrating an outline when a tracking subject is set for an image displayed by the display unit of the imaging apparatus according to the embodiment of the present invention. 図6は、本発明の一実施の形態にかかる撮像装置の表示部が表示する画像の一例を示す図である。FIG. 6 is a diagram illustrating an example of an image displayed by the display unit of the imaging apparatus according to the embodiment of the present invention. 図7は、図4の追尾被写体辞書生成処理の概要を示すフローチャートである。FIG. 7 is a flowchart showing an overview of the tracking subject dictionary generation process of FIG. 図8は、図7の関節モデル化処理の概要を示すフローチャートである。FIG. 8 is a flowchart showing an outline of the joint modeling process of FIG. 図9は、本発明の一実施の形態にかかる撮像装置の関節モデル生成部による追尾被写体の関節モデル生成方法の概要を模式的に示す図である。FIG. 9 is a diagram schematically illustrating an outline of a joint model generation method for a tracking subject by the joint model generation unit of the imaging apparatus according to the embodiment of the present invention. 図10は、図4の第2追尾処理の概要を示すフローチャートである。FIG. 10 is a flowchart showing an overview of the second tracking process of FIG.

以下、図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)について説明する。また、以下において、同一の部分には同一の符号を付して説明する。なお、この実施の形態によって本発明が限定されるものではない。   DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention (hereinafter referred to as “embodiments”) will be described with reference to the drawings. In the following description, the same portions are denoted by the same reference numerals. Note that the present invention is not limited to the embodiments.

図1は、本発明の一実施の形態にかかる撮像装置の構成を示すブロック図である。図1に示す撮像装置1は、本体部2と、本体部2に着脱自在であり、所定の視野領域から光を集光するレンズ部3と、を備える。   FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to an embodiment of the present invention. An imaging apparatus 1 shown in FIG. 1 includes a main body unit 2 and a lens unit 3 that is detachably attached to the main body unit 2 and collects light from a predetermined visual field region.

本体部2は、シャッタ201と、シャッタ駆動部202と、撮像素子203と、撮像素子駆動部204と、信号処理部205と、A/D変換部206と、画像処理部207と、測距算出部208と、AE処理部209と、AF処理部210と、画像圧縮展開部211と、操作入力部212と、表示部213と、表示駆動部214と、記録媒体215と、メモリI/F216と、SDRAM(Synchronous Dynamic Random Access Memory)217と、Flashメモリ218と、本体通信部219と、バス220と、制御部221と、を備える。   The main body 2 includes a shutter 201, a shutter driving unit 202, an image sensor 203, an image sensor driving unit 204, a signal processing unit 205, an A / D conversion unit 206, an image processing unit 207, and a distance measurement calculation. Unit 208, AE processing unit 209, AF processing unit 210, image compression / decompression unit 211, operation input unit 212, display unit 213, display drive unit 214, recording medium 215, memory I / F 216, , An SDRAM (Synchronous Dynamic Random Access Memory) 217, a flash memory 218, a main body communication unit 219, a bus 220, and a control unit 221.

シャッタ201は、撮像素子203の状態を露光状態または遮光状態に設定する。シャッタ駆動部202は、ステッピングモータ等を用いて構成され、制御部221から入力される信号に応じてシャッタ201を駆動する。   The shutter 201 sets the state of the image sensor 203 to an exposure state or a light shielding state. The shutter drive unit 202 is configured using a stepping motor or the like, and drives the shutter 201 in accordance with a signal input from the control unit 221.

撮像素子203は、レンズ部3によって集光された光を受光して電子的な画像データを時間的に連続して生成する。具体的には、撮像素子203は、レンズ部3が集光した光を受光して電気信号に変換するCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)等を用いて構成される。また、撮像素子203は、位相差AF(auto-Focus)素子203aを有する。位相差AF素子203aは、レンズ部3の出射瞳を通る一対の焦点検出光束を受光する。位相差AF素子203aは、受光した一対の焦点検出光束に対応した位相差AF検出用の一対の信号を信号処理部205へ出力する。   The image sensor 203 receives the light collected by the lens unit 3 and generates electronic image data continuously in time. Specifically, the image sensor 203 is configured using a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) that receives the light collected by the lens unit 3 and converts it into an electrical signal. The image sensor 203 includes a phase difference AF (auto-Focus) element 203a. The phase difference AF element 203 a receives a pair of focus detection light beams that pass through the exit pupil of the lens unit 3. The phase difference AF element 203 a outputs a pair of signals for phase difference AF detection corresponding to the received pair of focus detection light beams to the signal processing unit 205.

撮像素子駆動部204は、所定のタイミングで撮像素子203から画像データ(アナログ信号)を信号処理部205へ出力する。この意味で、撮像素子駆動部204は、電子シャッタとして機能する。   The image sensor driving unit 204 outputs image data (analog signal) from the image sensor 203 to the signal processing unit 205 at a predetermined timing. In this sense, the image sensor driving unit 204 functions as an electronic shutter.

信号処理部205は、撮像素子203から入力されるアナログ信号に対して、ノイズ低減処理、ゲインアップ処理および波形整形処理等のアナログ処理を施してA/D変換部206へ出力する。   The signal processing unit 205 performs analog processing such as noise reduction processing, gain increase processing, and waveform shaping processing on the analog signal input from the image sensor 203 and outputs the analog signal to the A / D conversion unit 206.

A/D変換部206は、信号処理部205から入力されるアナログ信号に対してA/D変換を行うことによってデジタルの画像データを生成し、バス220を介してSDRAM217へ出力する。   The A / D conversion unit 206 generates digital image data by performing A / D conversion on the analog signal input from the signal processing unit 205, and outputs the digital image data to the SDRAM 217 via the bus 220.

画像処理部207は、バス220を介してSDRAM217から画像データ(RAWデータ)を取得し、取得した画像データに対して各種の画像処理を行う。この画像処理を行った画像データは、バス220を介してSDRAM217へ出力される。ここで、画像処理としては、オプティカルブラック低減処理、ホワイトバランス調整処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理、エッジ強調処理および撮像素子203がベイヤー配列の場合には画像データの同時化処理等である。また、画像処理部207は、顔検出部207aと、被写体検出部207bと、特徴点抽出部207cと、を有する。   The image processing unit 207 acquires image data (RAW data) from the SDRAM 217 via the bus 220 and performs various types of image processing on the acquired image data. The image data subjected to this image processing is output to the SDRAM 217 via the bus 220. Here, as image processing, optical black reduction processing, white balance adjustment processing, color matrix calculation processing, gamma correction processing, color reproduction processing, edge enhancement processing, and image data synchronization when the image sensor 203 is a Bayer array Processing. The image processing unit 207 includes a face detection unit 207a, a subject detection unit 207b, and a feature point extraction unit 207c.

顔検出部207aは、画像データに対応する画像から人物の顔をパターンマッチングにより検出する。具体的には、顔検出部207aは、後述するFlashメモリ218に記録された人体を構成する各パーツの特徴を示すパーツ情報に基づいて、パターンマッチングを行うことにより、画像中の顔を検出後、目、鼻および口等の顔の特徴点の位置を検出することで、顔の位置、顔の大きさ(サイズ)、顔の向きおよび顔の角度(傾き)等を検出する。また、顔検出部207aは、画像データに対応する画像に含まれる複数の被写体の中から後述するFlashメモリ218の被写体情報記録部218bに記録された被写体情報に基づいて、画像データに対応する画像に含まれる複数の被写体から追尾被写体の顔を検出する。なお、顔検出部207aは、人物の顔だけでなく、犬や猫等の顔を検出してもよい。さらに、顔検出部207aは、パターンマッチング以外の周知技術を用いて人物の顔を検出してもよい。   The face detection unit 207a detects a human face from the image corresponding to the image data by pattern matching. Specifically, the face detection unit 207a detects a face in the image by performing pattern matching based on part information indicating the characteristics of each part constituting the human body recorded in the flash memory 218 described later. By detecting the positions of facial feature points such as eyes, nose and mouth, the face position, face size (size), face orientation, face angle (tilt), etc. are detected. The face detection unit 207a also selects an image corresponding to the image data based on subject information recorded in a subject information recording unit 218b of the flash memory 218 described later from among a plurality of subjects included in the image corresponding to the image data. The face of the tracking subject is detected from a plurality of subjects included in. Note that the face detection unit 207a may detect not only a human face but also a face such as a dog or a cat. Furthermore, the face detection unit 207a may detect a human face using a known technique other than pattern matching.

被写体検出部207bは、画像データに対応する画像から所定の姿勢状態にある被写体を検出する。具体的には、被写体検出部207bは、画像データに対応する画像に含まれる複数の被写体の中から後述するFlashメモリ218の被写体情報記録部218bに記録された被写体情報との一致度が所定の閾値以上である被写体を検出する。たとえば、被写体検出部207bは、画像データに対応する画像に含まれる複数の被写体に対して、後述するFlashメモリ218の被写体情報記録部218bに記録された被写体情報を用いてパターンマッチングを行い、被写体情報との一致度が所定の値以上である被写体を撮像素子203による生成タイミングが時間的に隣接する画像間で移動する追尾被写体として検出する。   The subject detection unit 207b detects a subject in a predetermined posture state from an image corresponding to the image data. Specifically, the subject detection unit 207b has a predetermined degree of coincidence with subject information recorded in a subject information recording unit 218b of a flash memory 218 described later from among a plurality of subjects included in the image corresponding to the image data. An object that is equal to or greater than the threshold is detected. For example, the subject detection unit 207b performs pattern matching on a plurality of subjects included in the image corresponding to the image data using subject information recorded in a subject information recording unit 218b of the flash memory 218 described later, A subject whose degree of coincidence with information is a predetermined value or more is detected as a tracking subject whose generation timing by the image sensor 203 moves between temporally adjacent images.

特徴点抽出部207cは、生成タイミングが時間的に隣接する画像間でレンズ部3のピント位置を合わせながら追尾する被写体(以下、「追尾被写体」という)に対して、身体を構成する各パーツの特徴点を抽出する。具体的には、特徴点抽出部207cは、後述するFlashメモリ218のパーツ情報記録部218cが記録するパーツ情報に基づいて、追尾被写体の身体を構成する各パーツ、たとえば頭、腕、肩、手、腰、胴体および足等の特徴点を抽出する。   The feature point extraction unit 207c is configured to detect each of the parts constituting the body with respect to a subject to be tracked while adjusting the focus position of the lens unit 3 between images whose generation timings are temporally adjacent to each other (hereinafter referred to as “tracking subject”). Extract feature points. Specifically, the feature point extraction unit 207c, based on the part information recorded by the part information recording unit 218c of the flash memory 218 described later, each part constituting the body of the tracking subject, such as the head, arm, shoulder, hand, etc. Extract feature points such as waist, torso and legs.

測距算出部208は、位相差AF素子203aから出力された一対の画像信号の位相差に基づいて、撮像装置1から被写体までの距離を算出し、算出した結果を制御部221へ出力する。   The distance measurement calculation unit 208 calculates the distance from the imaging device 1 to the subject based on the phase difference between the pair of image signals output from the phase difference AF element 203a, and outputs the calculated result to the control unit 221.

AE処理部209は、バス220を介してSDRAM217に記録された画像データを取得し、取得した画像データに基づいて、静止画撮影または動画撮影を行う際の露出条件を設定する。具体的には、AE処理部209は、画像データから輝度を算出し、算出した輝度に基づいて、たとえば絞り値(f値)、シャッタ速度等を決定することで撮像装置1の自動露出を行う。   The AE processing unit 209 acquires image data recorded in the SDRAM 217 via the bus 220, and sets an exposure condition when performing still image shooting or moving image shooting based on the acquired image data. Specifically, the AE processing unit 209 calculates the luminance from the image data, and performs automatic exposure of the imaging apparatus 1 by determining, for example, an aperture value (f value) and a shutter speed based on the calculated luminance. .

AF処理部210は、バス220を介してSDRAM217に記録された画像データを取得し、取得した画像データに基づいて、撮像装置1の自動焦点の調整を行う。たとえば、AF処理部210は、画像データから高周波成分の信号を取り出し、この高周波成分の信号に対してAF(Auto Focus)演算処理(コントラスト方式)を行うことによって、撮像装置1の合焦評価を決定することで撮像装置1の自動焦点の調整を行う。また、AF処理部210は、位相差AF素子203aから出力された一対の画像信号の位相差に基づいて、撮像素子203上に結像された被写体像に対応するレンズ部3の焦点調節状態(デフォーカス量)を算出する瞳分割型位相差検出方式によって、撮像装置1の自動焦点の調整を行う。   The AF processing unit 210 acquires image data recorded in the SDRAM 217 via the bus 220, and adjusts the automatic focus of the imaging apparatus 1 based on the acquired image data. For example, the AF processing unit 210 extracts a high-frequency component signal from the image data, and performs AF (Auto Focus) calculation processing (contrast method) on the high-frequency component signal, thereby evaluating the focus of the imaging apparatus 1. By making the determination, the automatic focus of the image pickup apparatus 1 is adjusted. The AF processing unit 210 also adjusts the focus adjustment state of the lens unit 3 corresponding to the subject image formed on the image sensor 203 based on the phase difference between the pair of image signals output from the phase difference AF element 203a. The automatic focus adjustment of the imaging apparatus 1 is performed by a pupil division type phase difference detection method for calculating (defocus amount).

画像圧縮展開部211は、バス220を介してSDRAM217から画像データを取得し、取得した画像データに対して所定の形式に従って圧縮し、この圧縮した画像データをSDRAM217へ出力する。ここで、所定の形式としては、JPEG(Joint Photographic Experts Group)方式、MotionJPEG方式およびMP4(H.264)方式等である。また、画像圧縮展開部211は、バス220およびメモリI/F216を介して記録媒体215に記録された画像データ(圧縮画像データ)を取得し、取得した画像データを展開(伸張)してSDRAM217へ出力する。   The image compression / decompression unit 211 acquires image data from the SDRAM 217 via the bus 220, compresses the acquired image data according to a predetermined format, and outputs the compressed image data to the SDRAM 217. Here, the predetermined format includes a JPEG (Joint Photographic Experts Group) system, a Motion JPEG system, and an MP4 (H.264) system. In addition, the image compression / decompression unit 211 acquires image data (compressed image data) recorded on the recording medium 215 via the bus 220 and the memory I / F 216, expands (decompresses) the acquired image data, and transfers it to the SDRAM 217. Output.

操作入力部212は、静止画撮影を指示する指示信号の入力を受け付けるレリーズボタン212aと、動画撮影を指示する指示信号の入力を受け付ける動画ボタン212bと、撮像装置1の撮影モードの切り替えを指示する指示信号の入力を受け付けるモード切替ボタン212cと、撮像装置1の各種パラメータの設定を指示する指示信号の入力を受け付けるメニューボタン212dと、記録媒体215に記録された画像データの再生を指示する指示信号の入力を受け付ける再生ボタン212eと、撮像装置1の電源をオン状態またはオフ状態に切り替える電源ボタン212fと、表示部213の表示画面上に設けられ、外部からの接触を検出し、検出した位置に応じた指示信号の入力を受け付けるタッチパネル212gと、を有する。レリーズボタン212aは、外部からの押圧により進退可能である。レリーズボタン212aが半押しされた場合、撮影順次動作を指示する1stレリーズ信号が入力される。これに対して、レリーズボタン212aが全押しされた場合、静止画撮影を指示する2ndレリーズ信号が入力される。   The operation input unit 212 instructs a release button 212a that receives an input of an instruction signal for instructing still image shooting, a moving image button 212b that receives an input of an instruction signal for instructing moving image shooting, and switching of the shooting mode of the imaging apparatus 1. A mode switching button 212c that accepts an input of an instruction signal, a menu button 212d that accepts an input of an instruction signal that instructs setting of various parameters of the imaging apparatus 1, and an instruction signal that instructs the reproduction of image data recorded on the recording medium 215 Are provided on the display screen of the display unit 213, and a contact from the outside is detected at the detected position. A touch panel 212g for receiving an input of a corresponding instruction signal. The release button 212a can be advanced and retracted by pressing from the outside. When the release button 212a is half-pressed, a 1st release signal that instructs a sequential shooting operation is input. On the other hand, when the release button 212a is fully pressed, a 2nd release signal instructing still image shooting is input.

表示部213は、画像データに対応する画像を表示する。表示部213は、液晶または有機EL(Electro Luminescence)等からなる表示パネルを用いて構成される。表示駆動部214は、バス220を介してSDRAM217が記録する画像データを取得し、取得した画像データに対応する画像を表示部213に表示させる。ここで、画像の表示には、撮影直後の画像データを所定時間(たとえば3秒)だけ表示するレックビュー表示、記録媒体215に記録された画像データを再生する再生表示、および撮像素子203が連続的に生成する画像データに対応するライブビュー画像を時系列に沿って順次表示するライブビュー表示等が含まれる。また、表示部213は、撮像装置1の操作情報および撮影に関する情報を適宜表示する。   The display unit 213 displays an image corresponding to the image data. The display unit 213 is configured using a display panel made of liquid crystal, organic EL (Electro Luminescence), or the like. The display driving unit 214 acquires image data recorded by the SDRAM 217 via the bus 220 and causes the display unit 213 to display an image corresponding to the acquired image data. Here, for image display, a rec view display that displays image data immediately after shooting for a predetermined time (for example, 3 seconds), a reproduction display that reproduces image data recorded on the recording medium 215, and an image sensor 203 are continuously displayed. Live view display that sequentially displays live view images corresponding to image data to be generated in time series. In addition, the display unit 213 appropriately displays operation information of the imaging device 1 and information related to shooting.

記録媒体215は、撮像素子203が生成した画像データ、画像処理部207によって画像処理が施された画像データ、画像圧縮展開部211が処理を施した画像データおよびRAWデータ等を記録する。記録媒体215は、撮像装置1の外部から装着されるメモリカード等を用いて構成され、メモリI/F216を介して撮像装置1に着脱自在に装着される。   The recording medium 215 records image data generated by the image sensor 203, image data subjected to image processing by the image processing unit 207, image data processed by the image compression / decompression unit 211, RAW data, and the like. The recording medium 215 is configured using a memory card or the like that is attached from the outside of the imaging device 1 and is detachably attached to the imaging device 1 via the memory I / F 216.

SDRAM217は、バス220を介してA/D変換部206から入力される画像データ、画像処理部207から入力される画像データおよび撮像装置1の処理中の情報を一時的に記録する。たとえば、SDRAM217は、信号処理部205、A/D変換部206およびバス220を介して、撮像素子203が1フレーム毎に順次出力する画像データを一時的に記録する。   The SDRAM 217 temporarily records image data input from the A / D conversion unit 206 via the bus 220, image data input from the image processing unit 207, and information being processed by the imaging apparatus 1. For example, the SDRAM 217 temporarily records image data that the image sensor 203 sequentially outputs for each frame via the signal processing unit 205, the A / D conversion unit 206, and the bus 220.

Flashメモリ218は、撮像装置1を動作させるための各種プログラム、プログラムの実行中に使用される各種データおよび画像処理部207による画像処理の動作に必要な各種パラメータ等を記録するプログラム記録部218aと、追尾被写体に関する被写体情報を記録する被写体情報記録部218bと、顔検出部207a、被写体検出部207bおよび特徴点抽出部207cが被写体に対してパターンマッチングを行う際に参照する人物の身体を構成する各パーツに関するパーツ情報を記録するパーツ情報記録部218cと、を有する。   The flash memory 218 includes a program recording unit 218a that records various programs for operating the imaging apparatus 1, various data used during execution of the program, various parameters necessary for image processing operation by the image processing unit 207, and the like. The subject information recording unit 218b that records subject information related to the tracking subject, the face detection unit 207a, the subject detection unit 207b, and the feature point extraction unit 207c constitute a human body that is referred to when pattern matching is performed on the subject. A parts information recording unit 218c that records part information relating to each part.

ここで、被写体情報記録部218bが記録する被写体情報について説明する。図2は、被写体情報記録部が記録する被写体情報の一例を示す図である。図3は、追尾被写体状態記録部が記録する被写体情報の別の一例を示す図である。   Here, the subject information recorded by the subject information recording unit 218b will be described. FIG. 2 is a diagram illustrating an example of subject information recorded by the subject information recording unit. FIG. 3 is a diagram illustrating another example of subject information recorded by the tracking subject state recording unit.

図2に示す追尾被写体辞書テーブルT1には、顔検出部207aがパターンマッチングで用いる追尾被写体に関する被写体情報が記載されている。具体的には、追尾被写体辞書テーブルT1には、辞書項目、辞書詳細項目、パラメータ、パターンマッチング結果および追尾区分がそれぞれ記載されている。たとえば、辞書項目が「顔」の場合、辞書詳細項目に「顔の大きさ」、「髪型」および「メガネ」が記載され、パラメータに顔の大きさのサイズを示す「R=20」、髪型を示す「坊主」およびメガネの有無を示す「あり」がそれぞれ記載されている。さらに、追尾区分に「第1追尾被写体判定用情報」として記載されている。   The tracking subject dictionary table T1 shown in FIG. 2 describes subject information related to the tracking subject used by the face detection unit 207a for pattern matching. Specifically, the tracking subject dictionary table T1 includes a dictionary item, a dictionary detail item, a parameter, a pattern matching result, and a tracking classification. For example, when the dictionary item is “face”, “face size”, “hairstyle” and “glasses” are described in the dictionary detail item, and “R = 20” indicating the size of the face size in the parameter, hairstyle "Shaved" indicating "" and "Yes" indicating the presence or absence of glasses are described respectively. Furthermore, it is described as “first tracking subject determination information” in the tracking category.

また、図3に示す追尾被写体辞書テーブルT2には、被写体検出部207bがパターンマッチングで用いる追尾被写体に関する被写体情報が記載されている。具体的には、追尾被写体辞書テーブルT2には、辞書項目、辞書詳細項目、パラメータ、パターンマッチング結果、追尾区分および姿勢区分がそれぞれ記載されている。たとえば、辞書項目が「走り方」の場合、辞書詳細項目に「腕の角度」、「歩幅」、「上体の角度」および「走行周期」が記載され、パラメータに腕の角度を示す「20°」、歩幅を示す「100cm」、上体の角度を示す「30°」および走行周期を示す「3.6歩/S」がそれぞれ記載されている。さらに、追尾区分に第2追尾被写体判定用情報として記載され、姿勢区分に「走り姿勢」として記載されている。このように、追尾被写体辞書テーブルT1および追尾被写体辞書テーブルT2には、被写体検出部207bが追尾被写体を姿勢状態によりパターンマッチングを行う際の被写体情報が記載されている。   Further, the tracking subject dictionary table T2 shown in FIG. 3 describes subject information related to the tracking subject used by the subject detection unit 207b for pattern matching. Specifically, the tracking subject dictionary table T2 includes a dictionary item, a dictionary detail item, a parameter, a pattern matching result, a tracking category, and a posture category. For example, when the dictionary item is “how to run”, “details” of the dictionary includes “arm angle”, “step length”, “upper body angle”, and “running cycle”, and the parameter “20” indicating the arm angle. “100 °” indicating the stride, “30 °” indicating the angle of the upper body, and “3.6 steps / S” indicating the running cycle are described. Furthermore, it is described as the second tracking subject determination information in the tracking section, and is described as “running posture” in the posture section. As described above, the tracking subject dictionary table T1 and the tracking subject dictionary table T2 describe subject information when the subject detection unit 207b performs pattern matching on the tracking subject according to the posture state.

本体通信部219は、本体部2に装着されるレンズ部3との通信を行うための通信インターフェースである。本体通信部219には、レンズ部3との電気的な接点も含まれる。   The main body communication unit 219 is a communication interface for performing communication with the lens unit 3 attached to the main body unit 2. The main body communication unit 219 includes an electrical contact with the lens unit 3.

バス220は、撮像装置1の各構成部を接続する伝送路として機能する。バス220は、撮像装置1の内部で発生した各種データを撮像装置1の各構成部に転送する。   The bus 220 functions as a transmission path that connects each component of the imaging device 1. The bus 220 transfers various data generated inside the imaging apparatus 1 to each component of the imaging apparatus 1.

制御部221は、CPU(Central Processing Unit)等を用いて構成され、バス220を介して操作入力部212から入力される指示信号に応じて、撮像装置1を構成する各部に対して制御信号や各種データの送信を行うことにより、撮像装置1の動作を統括的に制御する。具体的には、制御部221は、レリーズボタン212aから2ndレリーズ信号が入力された場合、撮像装置1における静止画撮影動作を開始する制御を行う。ここで、撮像装置1における静止画撮影動作とは、シャッタ駆動部202および撮像素子駆動部204の駆動によって撮像素子203が出力した画像データに対して、信号処理部205および画像処理部207が所定の処理を施す動作をいう。このように処理が施された画像データは、画像圧縮展開部211で所定の形式に従って圧縮され、バス220およびメモリI/F216を介して記録媒体215に記録される。なお、本実施の形態では、記録媒体215が記録部の一部をなしているが、記録媒体215とは別に撮像装置1の内部に記録部の機能を有する記録領域を確保し、この記録領域に画像データを記録するようにしてもよい。   The control unit 221 is configured using a CPU (Central Processing Unit) or the like, and controls signals and signals to each unit configuring the imaging apparatus 1 in accordance with an instruction signal input from the operation input unit 212 via the bus 220. By performing transmission of various data, the operation of the imaging device 1 is comprehensively controlled. Specifically, when a 2nd release signal is input from the release button 212a, the control unit 221 performs control to start a still image shooting operation in the imaging device 1. Here, the still image shooting operation in the image pickup apparatus 1 means that the signal processing unit 205 and the image processing unit 207 perform predetermined processing on image data output from the image pickup device 203 by driving the shutter drive unit 202 and the image pickup device drive unit 204. This is the operation to perform the process. The image data processed in this way is compressed by the image compression / decompression unit 211 according to a predetermined format, and is recorded on the recording medium 215 via the bus 220 and the memory I / F 216. In this embodiment, the recording medium 215 forms a part of the recording unit. However, a recording area having the function of the recording unit is secured inside the imaging apparatus 1 separately from the recording medium 215, and this recording area is recorded. The image data may be recorded on the.

ここで、制御部221の詳細な構成について説明する。制御部221は、追尾被写体設定部221aと、関節モデル生成部221bと、被写体情報生成部221cと、撮影制御部221dと、表示制御部221eと、を有する。   Here, a detailed configuration of the control unit 221 will be described. The control unit 221 includes a tracking subject setting unit 221a, a joint model generation unit 221b, a subject information generation unit 221c, an imaging control unit 221d, and a display control unit 221e.

追尾被写体設定部221aは、操作入力部212から入力される指示信号に応じて、画像内に含まれる複数の被写体から追尾被写体を設定する。具体的には、追尾被写体設定部221aは、タッチパネル212gから入力される指示信号に応じて選択された被写体を追尾被写体として設定する。   The tracking subject setting unit 221a sets a tracking subject from a plurality of subjects included in the image in accordance with an instruction signal input from the operation input unit 212. Specifically, the tracking subject setting unit 221a sets the subject selected according to the instruction signal input from the touch panel 212g as the tracking subject.

関節モデル生成部221bは、パーツ情報記録部218cが記録するパーツ情報と特徴点抽出部207cが追尾被写体から抽出した特徴点とに基づいて、追尾被写体を複数の関節によって人物または動物をモデル化する関節モデルを生成する。具体的には、関節モデル生成部221bは、追尾被写体の各パーツの関節モデル、たとえば体幹を基準に頭、肩、手および足それぞれの関節同士を結ぶ直線によってモデル化された人物の関節モデルを生成する。   The joint model generation unit 221b models a tracking subject using a plurality of joints as a person or an animal based on the part information recorded by the parts information recording unit 218c and the feature points extracted from the tracking subject by the feature point extraction unit 207c. Generate a joint model. Specifically, the joint model generation unit 221b is a joint model of each part of the tracking subject, for example, a joint model of a person modeled by straight lines connecting the joints of the head, shoulders, hands, and feet with the trunk as a reference. Is generated.

被写体情報生成部221cは、特徴点抽出部207cが追尾被写体から抽出した特徴点と関節モデル生成部221bが生成した追尾被写体の関節モデルとに基づいて、被写体の姿勢を特定する際に用いる被写体情報を生成し、生成した被写体情報を被写体情報記録部218bに記録する。   The subject information generation unit 221c uses subject information used when specifying the posture of the subject based on the feature points extracted from the tracking subject by the feature point extraction unit 207c and the joint model of the tracking subject generated by the joint model generation unit 221b. And the generated subject information is recorded in the subject information recording unit 218b.

撮影制御部221dは、顔検出部207aが画像から人物の顔を検出できない場合において、被写体検出部207bが所定の姿勢状態にある被写体を画像から検出できたとき、この被写体の領域に対して撮影パラメータを変更しながら隣接する画像間で追尾する追尾処理を実行する。ここで、撮影パラメータとは、レンズ部3のピント位置、撮像装置1の露出値、画像処理部207による電子ズームの位置(トリミング領域)、撮像装置1の露出時間、シャッタ速度、ISO感度、表示部213が表示するライブビュー画像の明るさ、画像サイズ等である。また、撮影制御部221dは、顔検出部207aが画像から人物の顔を検出できない場合において、被写体検出部207bが所定の姿勢状態にある被写体を画像から検出できたとき、この被写体の領域に対応する位置にレンズ部3のピント位置を合わせながら追尾する追尾処理を実行する。具体的には、撮影制御部221dは、顔検出部207aが被写体設定部221aによって設定された追尾被写体の顔を検出できた場合、この追尾被写体の顔の領域に対応する位置にレンズ部3のピント位置を合わせながら追尾する第1追尾処理を実行する一方、顔検出部207aが被写体設定部221aによって設定された追尾被写体の顔を検出できない場合において、被写体検出部207bが追尾被写体を検出できたとき、この追尾被写体の領域に対応する位置にレンズ部3のピント位置を合わせながら追尾する第2追尾処理を実行する。   When the face detection unit 207a cannot detect a human face from the image and the subject detection unit 207b can detect a subject in a predetermined posture state from the image, the shooting control unit 221d takes a picture of the subject area. A tracking process for tracking between adjacent images is executed while changing parameters. Here, the shooting parameters are the focus position of the lens unit 3, the exposure value of the imaging device 1, the position of the electronic zoom by the image processing unit 207 (trimming area), the exposure time of the imaging device 1, the shutter speed, the ISO sensitivity, and the display. The brightness of the live view image displayed by the unit 213, the image size, and the like. In addition, when the face detection unit 207b cannot detect a human face from the image and the subject detection unit 207b can detect a subject in a predetermined posture state from the image, the shooting control unit 221d corresponds to the region of the subject. A tracking process for tracking the lens unit 3 while adjusting the focus position of the lens unit 3 is executed. Specifically, when the face detection unit 207a can detect the face of the tracking subject set by the subject setting unit 221a, the imaging control unit 221d detects that the lens unit 3 has a position corresponding to the face area of the tracking subject. While performing the first tracking process for tracking while adjusting the focus position, the subject detection unit 207b can detect the tracking subject when the face detection unit 207a cannot detect the face of the tracking subject set by the subject setting unit 221a. At this time, a second tracking process is performed in which tracking is performed while adjusting the focus position of the lens unit 3 to a position corresponding to the area of the tracking subject.

表示制御部221eは、表示部213の表示態様を制御する。具体的には、表示制御部221eは、表示駆動部214を駆動し、画像データに対応する画像を表示部213に表示させる。また、表示制御部221eは、追尾被写体設定部221aが設定した被写体に関する情報を画像に重畳して表示部213に表示させる。   The display control unit 221e controls the display mode of the display unit 213. Specifically, the display control unit 221e drives the display driving unit 214 to display an image corresponding to the image data on the display unit 213. The display control unit 221e also causes the display unit 213 to display the information related to the subject set by the tracking subject setting unit 221a on the image.

以上の構成を有する本体部2に対して、音声入出力部、被写体に対して補助光(フラッシュ)を発光する補助光発光部、インターネットを介して外部の装置と双方向に送信を行う機能を有する通信部等をさらに設けてもよい。   For the main body 2 having the above-described configuration, an audio input / output unit, an auxiliary light emitting unit that emits auxiliary light (flash) to a subject, and a function of bidirectionally transmitting to an external device via the Internet You may provide further the communication part etc. which have.

つぎに、レンズ部3の構成を説明する。レンズ部3は、光学系301と、レンズ駆動部302と、絞り303と、絞り駆動部304と、レンズ操作部305と、レンズFlashメモリ306と、レンズ通信部307と、レンズ制御部308と、を備える。   Next, the configuration of the lens unit 3 will be described. The lens unit 3 includes an optical system 301, a lens driving unit 302, a diaphragm 303, a diaphragm driving unit 304, a lens operation unit 305, a lens flash memory 306, a lens communication unit 307, a lens control unit 308, Is provided.

光学系301は、所定の視野領域から光を集光する。光学系301は、複数のレンズを用いて構成される。光学系301は、焦点距離を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。レンズ駆動部302は、光学系301を光軸L上に沿って移動させることにより、光学系301のピント位置や焦点距離等の変更を行う。   The optical system 301 collects light from a predetermined visual field region. The optical system 301 is configured using a plurality of lenses. The optical system 301 has an optical zoom function for changing the focal length and a focus function for changing the focus. The lens driving unit 302 changes the focus position, the focal length, and the like of the optical system 301 by moving the optical system 301 along the optical axis L.

絞り303は、光学系301が集光した光の入射量を制限することにより露出の調整を行う。絞り駆動部304は、ステッピングモータ等を用いて構成され、絞り303を駆動する。   The diaphragm 303 adjusts exposure by limiting the amount of incident light collected by the optical system 301. The aperture driving unit 304 is configured using a stepping motor or the like, and drives the aperture 303.

レンズ操作部305は、レンズ部3のレンズ鏡筒の周囲に設けられるリングであり、レンズ部3における光学ズームの操作を開始する指示信号の入力、またはレンズ部3におけるピント位置の調整を指示する指示信号の入力を受け付ける。なお、レンズ操作部305は、プッシュ式のスイッチやオンまたはオフを切り替え可能なレバー式のスイッチ等であってもよい。   The lens operation unit 305 is a ring provided around the lens barrel of the lens unit 3, and instructs the input of an instruction signal for starting the optical zoom operation in the lens unit 3 or the adjustment of the focus position in the lens unit 3. An input of an instruction signal is accepted. The lens operation unit 305 may be a push-type switch or a lever-type switch that can be switched on or off.

レンズFlashメモリ306は、光学系301の位置および動きをそれぞれ決定するための制御用プログラム、光学系301のレンズ特性および各種パラメータを記録する。   The lens flash memory 306 records a control program for determining the position and movement of the optical system 301, the lens characteristics of the optical system 301, and various parameters.

レンズ通信部307は、レンズ部3が本体部2に装着されたときに、本体部2の本体通信部219と通信を行うための通信インターフェースである。   The lens communication unit 307 is a communication interface for communicating with the main body communication unit 219 of the main body unit 2 when the lens unit 3 is attached to the main body unit 2.

レンズ制御部308は、CPU等を用いて構成され、レンズ操作部305から入力される指示信号または本体部2から入力される指示信号に応じてレンズ部3の動作を制御する。具体的には、レンズ制御部308は、撮影制御部221dから入力される指示信号に応じて、レンズ駆動部302を駆動させてレンズ部3のピント合わせを行う。さらに、レンズ制御部308は、撮影制御部221dから入力される指示信号に応じて、絞り駆動部304を駆動させて絞り303の絞り値の変更を行う。また、レンズ制御部308は、レンズ部3が本体部2に装着された際に、レンズ通信部307を介してレンズ部3に関するピント位置情報、焦点距離情報、明るさ情報(f値)、レンズ部3を識別する固有情報を本体部2へ送信する。   The lens control unit 308 is configured using a CPU or the like, and controls the operation of the lens unit 3 in accordance with an instruction signal input from the lens operation unit 305 or an instruction signal input from the main body unit 2. Specifically, the lens control unit 308 drives the lens driving unit 302 in accordance with an instruction signal input from the imaging control unit 221d and performs focusing of the lens unit 3. Further, the lens control unit 308 changes the aperture value of the aperture 303 by driving the aperture drive unit 304 in accordance with the instruction signal input from the imaging control unit 221d. Further, the lens control unit 308, when the lens unit 3 is attached to the main body unit 2, via the lens communication unit 307, the focus position information, focal length information, brightness information (f value), lens, The unique information for identifying the unit 3 is transmitted to the main unit 2.

以上のように構成された撮像装置1が行う処理の概要について説明する。図4は、撮像装置1が行う処理の概要を示すフローチャートである。   An outline of processing performed by the imaging apparatus 1 configured as described above will be described. FIG. 4 is a flowchart illustrating an outline of processing performed by the imaging apparatus 1.

図4において、まず、撮像装置1が撮影モードに設定されていない場合(ステップS101:No)について説明する。この場合、表示制御部221eは、記録媒体215に記録された画像データに対応する画像を表示部213に表示させる(ステップS102)。   In FIG. 4, first, the case where the imaging apparatus 1 is not set to the shooting mode (step S101: No) will be described. In this case, the display control unit 221e causes the display unit 213 to display an image corresponding to the image data recorded on the recording medium 215 (step S102).

続いて、制御部221は、追尾被写体が選択されたか否かを判断する(ステップS103)。具体的には、図5に示すように、制御部221は、表示部213が画像W1を表示している際に、タッチパネル212gを介して追尾被写体が選択されたか否かを判断する。追尾被写体が選択されたと制御部221が判断した場合(ステップS103:Yes)、撮像装置1は、ステップS104へ移行する。これに対して、追尾被写体が選択されていないと制御部221が判断した場合(ステップS103:No)、撮像装置1は、ステップS101へ戻る。 Subsequently, the control unit 221 determines whether a tracking subject has been selected (step S103). Specifically, as illustrated in FIG. 5, the control unit 221 determines whether a tracking subject has been selected via the touch panel 212 g when the display unit 213 displays the image W 1 . When the control unit 221 determines that the tracking subject has been selected (step S103: Yes), the imaging device 1 proceeds to step S104. On the other hand, when the control unit 221 determines that the tracking subject is not selected (step S103: No), the imaging device 1 returns to step S101.

ステップS104において、追尾被写体設定部221aは、選択された被写体を追尾被写体として設定する。この際、図5に示すように、被写体情報生成部は、選択された被写体A1に対して、顔検出部207aが検出した被写体の顔F1の大きさ、髪型およびメガネの有無に関する情報を第1追尾区分の被写体情報として被写体情報記録部218bに記録する。ステップS104の後、撮像装置1は、ステップS101へ戻る。   In step S104, the tracking subject setting unit 221a sets the selected subject as a tracking subject. At this time, as illustrated in FIG. 5, the subject information generation unit first sets information on the size of the subject face F1 detected by the face detection unit 207a, the hairstyle, and the presence / absence of glasses for the selected subject A1. It is recorded in the subject information recording unit 218b as subject information of the tracking section. After step S104, the imaging apparatus 1 returns to step S101.

ステップS101において、撮像装置1が撮影モードに設定されている場合(ステップS101:Yes)について説明する。この場合、撮影制御部221dは、AE処理部209にAE処理を実行させ(ステップS105)、AF処理部210にAF処理を実行させる(ステップS106)。この際、撮影制御部221dは、後述する表示部213が表示するライブビュー画像上の追尾枠を表示している場合、AE処理部209によるAE処理およびAF処理部210によるAF処理それぞれを実行させる。   A case where the imaging apparatus 1 is set to the shooting mode in step S101 (step S101: Yes) will be described. In this case, the imaging control unit 221d causes the AE processing unit 209 to execute AE processing (step S105), and causes the AF processing unit 210 to execute AF processing (step S106). At this time, the imaging control unit 221d causes the AE processing by the AE processing unit 209 and the AF processing by the AF processing unit 210, respectively, when the tracking frame on the live view image displayed by the display unit 213 described later is displayed. .

続いて、撮影制御部221dは、撮像素子駆動部204を駆動し、撮像素子203に画像データを信号処理部205に出力させることにより、電子シャッタによる撮像処理を実行する(ステップS107)。   Subsequently, the imaging control unit 221d drives the imaging element driving unit 204, and causes the imaging element 203 to output image data to the signal processing unit 205, thereby executing imaging processing using an electronic shutter (step S107).

その後、顔検出部207aは、撮像素子203が生成した画像データに対応する画像に含まれる人物の顔を検出する(ステップS108)。   Thereafter, the face detection unit 207a detects a human face included in an image corresponding to the image data generated by the image sensor 203 (step S108).

続いて、表示制御部221eは、撮像素子203が生成した画像データに対応するライブビュー画像を表示部213に表示させる(ステップS109)。この際、表示制御部221eは、顔検出部207aが検出した被写体の顔を枠で強調して表示させてもよい。   Subsequently, the display control unit 221e causes the display unit 213 to display a live view image corresponding to the image data generated by the imaging element 203 (step S109). At this time, the display control unit 221e may display the face of the subject detected by the face detection unit 207a with a frame highlighted.

その後、制御部221は、表示部213が表示するライブビュー画像に対して、追尾被写体がユーザによって選択されたか否かを判断する(ステップS110)。具体的には、図6(a)に示すように、表示部213が表示するライブビュー画像Wn(n=自然数)に対して、タッチパネル212gを介して複数の被写体の中から追尾被写体を選択する選択信号が入力されたか否かを判断する。追尾被写体が選択されたと制御部221が判断した場合(ステップS110:Yes)、撮像装置1は、ステップS111へ移行する。これに対して、追尾被写体が選択されていないと制御部221が判断した場合(ステップS110:No)、撮像装置1は、ステップS112へ移行する。 Thereafter, the control unit 221 determines whether or not the tracking subject has been selected by the user for the live view image displayed on the display unit 213 (step S110). Specifically, as shown in FIG. 6A, for the live view image W n (n = natural number) displayed on the display unit 213, a tracking subject is selected from a plurality of subjects via the touch panel 212g. It is determined whether a selection signal to be input is input. When the control unit 221 determines that the tracking subject has been selected (step S110: Yes), the imaging device 1 proceeds to step S111. On the other hand, when the control unit 221 determines that the tracking subject is not selected (step S110: No), the imaging device 1 proceeds to step S112.

ステップS111において、追尾被写体設定部221aは、選択された被写体を追尾被写体として設定する。   In step S111, the tracking subject setting unit 221a sets the selected subject as a tracking subject.

続いて、制御部221は、追尾被写体の設定が行われているか否かを判断する(ステップS112)。具体的には、制御部221は、SDRAM217に追尾被写体の設定を示すフラグが記録されているか否かを判断する。制御部221が追尾被写体の設定が行われていると判断した場合(ステップS112:Yes)、撮像装置1は、後述するステップS113へ移行する。これに対して、制御部221が追尾被写体の設定が行われていないと判断した場合(ステップS112:No)、撮像装置1は、後述するステップS118へ移行する。   Subsequently, the control unit 221 determines whether or not the tracking subject is set (step S112). Specifically, the control unit 221 determines whether or not a flag indicating the tracking subject setting is recorded in the SDRAM 217. When the control unit 221 determines that the tracking subject is set (step S112: Yes), the imaging device 1 proceeds to step S113 described later. On the other hand, when the control unit 221 determines that the tracking subject is not set (step S112: No), the imaging device 1 proceeds to step S118 described later.

ステップS113において、追尾被写体に対して、顔検出部207aが検出した追尾被写体の顔の領域に対応する位置にレンズ部3のピント位置を合わせながら撮影する第1追尾が可能である場合(ステップS113:Yes)、撮影制御部221dは、顔検出部207aが検出した追尾被写体の顔にレンズ部3のピント位置を合わせながら生成タイミングが時間的に隣接する画像間で追尾する第1追尾処理を実行する(ステップS114)。具体的には、撮影制御部221dは、レンズ制御部308を介してレンズ駆動部302を駆動することにより、光学系301を光軸L方向に沿って移動させることで、顔検出部207aが検出した追尾被写体の顔の領域にレンズ部3のピント位置を合わせながら生成タイミングが時間的に隣接するライブビュー画像間で合わせながら撮影を行う。   In step S113, in the case where the first tracking can be performed for the tracking subject while the focus position of the lens unit 3 is aligned with the position corresponding to the face area of the tracking subject detected by the face detection unit 207a (step S113). : Yes), the imaging control unit 221d executes a first tracking process in which the generation timing is tracked between temporally adjacent images while the focus position of the lens unit 3 is adjusted to the face of the tracking subject detected by the face detection unit 207a. (Step S114). Specifically, the imaging control unit 221d detects the face detection unit 207a by moving the optical system 301 along the optical axis L direction by driving the lens driving unit 302 via the lens control unit 308. Shooting is performed while adjusting the generation timing between live view images that are temporally adjacent to each other while adjusting the focus position of the lens unit 3 to the face area of the tracked subject.

続いて、被写体情報生成部221cは、追尾被写体に関する被写体辞書生成処理を実行する(ステップS115)。なお、被写体辞書生成処理の詳細については後述する。   Subsequently, the subject information generation unit 221c executes subject dictionary generation processing relating to the tracking subject (step S115). Details of the subject dictionary generation process will be described later.

続いて、追尾被写体を追尾中である場合(ステップS116:Yes)、表示制御部221eは、追尾被写体に対する追尾枠をライブビュー画像中に重畳して表示部213に表示させる(ステップS117)。なお、追尾枠は、レンズ部3のピント位置、レンズ部3による光学ズームの位置、画像処理部207による電子ズームのいずれかの領域を示す。ステップS117の後、撮像装置1は、ステップS118へ移行する。これに対して、追尾被写体を追尾中でない場合(ステップS116:No)、撮像装置1は、ステップS118へ移行する。   Subsequently, when the tracking subject is being tracked (step S116: Yes), the display control unit 221e superimposes the tracking frame for the tracking subject on the live view image and causes the display unit 213 to display the tracking subject (step S117). The tracking frame indicates one of the focus position of the lens unit 3, the position of the optical zoom by the lens unit 3, and the electronic zoom by the image processing unit 207. After step S117, the imaging apparatus 1 proceeds to step S118. On the other hand, when the tracking subject is not being tracked (step S116: No), the imaging apparatus 1 proceeds to step S118.

レリーズボタン212aからレリーズ信号が入力された場合(ステップS118:Yes)、撮影制御部221dは、シャッタ駆動部202を駆動することにより、メカシャッタによる静止画撮影を行う(ステップS119)。   When a release signal is input from the release button 212a (step S118: Yes), the shooting control unit 221d drives the shutter driving unit 202 to perform still image shooting using the mechanical shutter (step S119).

続いて、電源ボタン212fが操作されることにより、撮像装置1の電源がオフ状態になっている場合(ステップS120:Yes)、撮像装置1は、本処理を終了する。これに対して、撮像装置1の電源がオフ状態になっていない場合(ステップS120:No)、撮像装置1は、ステップS101へ戻る。   Subsequently, when the power button 212f is operated to turn off the power of the imaging device 1 (step S120: Yes), the imaging device 1 ends this process. On the other hand, when the power supply of the imaging device 1 is not turned off (step S120: No), the imaging device 1 returns to step S101.

ステップS118において、レリーズ信号が入力されておらず(ステップS118:No)、動画ボタン212bが押された場合(ステップS121:Yes)において、撮像装置1が動画中でないとき(ステップS122:No)、撮像装置1は、動画撮影を開始する(ステップS123)。具体的には、制御部221は、SDRAM217に動画記録中であることを示す記録中フラグをオン状態にするとともに、画像データを時系列に沿って順次記録するための動画ファイルを記録媒体215に生成する。ステップS123の後、撮像装置1は、ステップS120へ移行する。   In step S118, when no release signal is input (step S118: No), and the moving image button 212b is pressed (step S121: Yes), when the imaging device 1 is not moving (step S122: No), The imaging device 1 starts moving image shooting (step S123). Specifically, the control unit 221 turns on a recording flag indicating that the moving image is being recorded in the SDRAM 217, and stores a moving image file for sequentially recording the image data in time series on the recording medium 215. Generate. After step S123, the imaging apparatus 1 proceeds to step S120.

ステップS118において、レリーズ信号が入力されておらず(ステップS118:No)、動画ボタン212bが押された場合(ステップS121:Yes)において、撮像装置1が動画中であるとき(ステップS122:Yes)、撮像装置1は、動画撮影を終了する(ステップS124)。その後、撮像装置1は、ステップS120へ移行する。   In step S118, when no release signal is input (step S118: No) and the moving image button 212b is pressed (step S121: Yes), the imaging apparatus 1 is in the moving image (step S122: Yes). The imaging apparatus 1 ends the moving image shooting (step S124). Thereafter, the imaging device 1 proceeds to step S120.

ステップS121において、動画ボタン212bが押されていない場合(ステップS121:No)において、撮像装置1が動画中であるとき(ステップS125:Yes)、撮影制御部221dは、撮像素子駆動部204を駆動し、撮像素子203に画像データを信号処理部205に出力させることにより、電子シャッタによる画像データを動画として記録媒体215に記録する(ステップS116)。ステップS116の後、撮像装置1は、ステップS120へ移行する。これに対して、撮像装置1が動画中でないとき(ステップS125:No)、撮像装置1は、ステップS120へ移行する。   In step S121, when the moving image button 212b is not pressed (step S121: No), when the imaging device 1 is moving (step S125: Yes), the imaging control unit 221d drives the imaging element driving unit 204. Then, by causing the image sensor 203 to output the image data to the signal processing unit 205, the image data by the electronic shutter is recorded on the recording medium 215 as a moving image (step S116). After step S116, the imaging device 1 proceeds to step S120. On the other hand, when the imaging device 1 is not in the moving image (step S125: No), the imaging device 1 proceeds to step S120.

ステップS113において、追尾被写体に対して、レンズ部3による第1追尾が可能でない場合(ステップS113:No)において、Flashメモリ218の被写体情報記録部218bが記録する被写体情報に基づいて、追尾被写体を追尾する第2追尾が可能であるとき(ステップS127:Yes)、撮像装置1は、第2追尾処理を実行する(ステップS128)。なお、第2追尾処理の詳細な内容については後述する。ステップS128の後、撮像装置1は、ステップS116へ移行する。   In step S113, if the first tracking by the lens unit 3 is not possible for the tracking subject (step S113: No), the tracking subject is selected based on the subject information recorded by the subject information recording unit 218b of the flash memory 218. When the second tracking to be tracked is possible (step S127: Yes), the imaging device 1 executes a second tracking process (step S128). Details of the second tracking process will be described later. After step S128, the imaging device 1 proceeds to step S116.

ステップS127において、追尾被写体を追尾する第2追尾が可能でない場合(ステップS127:No)、撮像装置1は、ステップS116へ移行する。   In step S127, when the second tracking for tracking the tracking subject is not possible (step S127: No), the imaging apparatus 1 proceeds to step S116.

つぎに、ステップS115の被写体辞書生成処理について説明する。図7は、被写体辞書生成処理の概要を示すフローチャートである。   Next, the subject dictionary generation process in step S115 will be described. FIG. 7 is a flowchart showing an outline of subject dictionary generation processing.

図7に示すように、撮像装置1は、追尾被写体に関する関節モデル化処理を実行する(ステップS201)。   As illustrated in FIG. 7, the imaging device 1 executes a joint modeling process regarding the tracking subject (step S201).

図8は、ステップS201の関節モデル化処理の概要を示すフローチャートである。図8に示すように、特徴点抽出部207cは、パーツ情報記録部218cが記録するパーツ情報を参照して追尾被写体に対してパターンマッチングを行うことによって、追尾被写体の頭部画像の特徴点を抽出する(ステップS301)。   FIG. 8 is a flowchart showing an outline of the joint modeling process in step S201. As shown in FIG. 8, the feature point extraction unit 207c refers to the part information recorded by the part information recording unit 218c, and performs pattern matching on the tracking subject to obtain the feature point of the head image of the tracking subject. Extract (step S301).

続いて、関節モデル生成部221bは、特徴点抽出部207cが抽出した追尾被写体の頭部画像の特徴点に基づいて、追尾被写体の頭部の関節位置を推定する(ステップS302)。具体的には、図9に示すように、関節モデル生成部221bは、特徴点抽出部207cが抽出した追尾被写体の頭部の特徴点P1(図9(a))に基づいて、追尾被写体の頭部の関節位置M1を推定する(図9(b))。   Subsequently, the joint model generation unit 221b estimates the joint position of the head of the tracking subject based on the feature point of the head image of the tracking subject extracted by the feature point extraction unit 207c (step S302). Specifically, as illustrated in FIG. 9, the joint model generation unit 221b determines the tracking subject's head based on the feature point P1 (FIG. 9A) of the head of the tracking subject extracted by the feature point extraction unit 207c. The joint position M1 of the head is estimated (FIG. 9B).

その後、特徴点抽出部207cは、パーツ情報記録部218cが記録するパーツ情報を参照してパターンマッチングを行うことによって、画像データに含まれる追尾被写体の上半身画像の特徴点を抽出する(ステップS303)。   Thereafter, the feature point extraction unit 207c extracts feature points of the upper body image of the tracking subject included in the image data by performing pattern matching with reference to the part information recorded by the part information recording unit 218c (step S303). .

続いて、関節モデル生成部221bは、特徴点抽出部207cが抽出した追尾被写体の上半身画像の特徴点に基づいて、追尾被写体の関節位置を推定する(ステップS304)。具体的には、図9に示すように、関節モデル生成部221bは、特徴点抽出部207cが抽出した追尾被写体の上半身画像の特徴点P1〜P8(図9(a))に基づいて、追尾被写体の上半身画像の関節位置M2〜M8を推定する(図9(b))。   Subsequently, the joint model generation unit 221b estimates the joint position of the tracking subject based on the feature points of the upper body image of the tracking subject extracted by the feature point extraction unit 207c (step S304). Specifically, as illustrated in FIG. 9, the joint model generation unit 221b performs tracking based on the feature points P1 to P8 (FIG. 9A) of the upper body image of the tracking subject extracted by the feature point extraction unit 207c. The joint positions M2 to M8 of the upper body image of the subject are estimated (FIG. 9B).

その後、特徴点抽出部207cは、抽出した上半身画像から追尾被写体の服装情報を取得する(ステップS305)。具体的には、特徴点抽出部207cは、抽出した上半身画像の領域に対応する画像データに含まれる色成分を上半身の服装情報として取得する。   Thereafter, the feature point extraction unit 207c acquires the clothing information of the tracking subject from the extracted upper body image (step S305). Specifically, the feature point extraction unit 207c acquires color components included in the image data corresponding to the extracted upper body image area as clothing information of the upper body.

続いて、特徴点抽出部207cは、パーツ情報記録部218cが記録するパーツ情報を参照してパターンマッチングを行うことによって、画像データに含まれる追尾被写体の下半身画像の特徴点を抽出する(ステップS306)。   Subsequently, the feature point extraction unit 207c extracts the feature points of the lower body image of the tracking subject included in the image data by performing pattern matching with reference to the part information recorded by the part information recording unit 218c (step S306). ).

その後、関節モデル生成部221bは、特徴点抽出部207cが抽出した追尾被写体の下半身画像の特徴点に基づいて、追尾被写体の関節位置を推定する(ステップS307)。具体的には、図9に示すように、関節モデル生成部221bは、特徴点抽出部207cが抽出した追尾被写体の上半身画像の特徴点P9〜P12(図9(a))に基づいて、追尾被写体の下半新画像の関節位置M9〜M12を推定する(図9(b))。   Thereafter, the joint model generation unit 221b estimates the joint position of the tracking subject based on the feature points of the lower body image of the tracking subject extracted by the feature point extraction unit 207c (step S307). Specifically, as illustrated in FIG. 9, the joint model generation unit 221b performs tracking based on the feature points P9 to P12 (FIG. 9A) of the upper body image of the tracking subject extracted by the feature point extraction unit 207c. The joint positions M9 to M12 of the lower half new image of the subject are estimated (FIG. 9B).

続いて、特徴点抽出部207cは、抽出した下半身画像から追尾被写体の服装情報を取得する(ステップS308)。   Subsequently, the feature point extraction unit 207c acquires the clothing information of the tracking subject from the extracted lower body image (step S308).

その後、関節モデル生成部221bは、パーツ情報記録部218cが記録するパーツ情報を参照して、追尾被写体と地面との境界を推定する(ステップS309)。   Thereafter, the joint model generation unit 221b estimates the boundary between the tracking subject and the ground with reference to the part information recorded by the parts information recording unit 218c (step S309).

続いて、関節モデル生成部221bは、パーツ情報記録部218cが記録するパーツ情報を参照してパターンマッチングを行うことによって、画像データに含まれる追尾被写体の下半身先端の関節位置を推定する(ステップS310)。   Subsequently, the joint model generation unit 221b estimates the joint position of the lower body tip of the tracking subject included in the image data by performing pattern matching with reference to the part information recorded by the part information recording unit 218c (step S310). ).

その後、特徴点抽出部207cは、追尾被写体の靴情報を取得する(ステップS311)。具体的には、特徴点抽出部207cは、関節モデル生成部221bによって推定された下半身先端の関節位置に対応する画像データに含まれる色成分を靴情報として取得する。ステップS310の後、図7の追尾被写体辞書生成処理へ戻る。   Thereafter, the feature point extraction unit 207c acquires shoe information of the tracking subject (step S311). Specifically, the feature point extraction unit 207c acquires, as shoe information, color components included in the image data corresponding to the joint position of the lower body tip estimated by the joint model generation unit 221b. After step S310, the process returns to the tracking subject dictionary generation process of FIG.

図7に戻り、ステップS202以降の説明を続ける。
ステップS202において、被写体情報生成部221cは、関節モデル生成部221bが生成した追尾被写体の関節モデル情報を被写体情報記録部218bに記録する。
Returning to FIG. 7, the description of step S202 and subsequent steps will be continued.
In step S202, the subject information generation unit 221c records the tracking model joint model information generated by the joint model generation unit 221b in the subject information recording unit 218b.

続いて、制御部221は、追尾被写体が立ち姿勢であるか否かを判定する(ステップS203)。具体的には、制御部221は、被写体情報記録部218bが記録する被写体辞書情報に基づいて、追尾被写体の頭部の関節位置または追尾被写体の画像内における位置が隣接する画像間でほぼ一定である場合、追尾被写体が立ち姿勢であると判断する。追尾被写体が立ち姿勢であると制御部221が判断した場合(ステップS203:Yes)、撮像装置1は、後述するステップS204へ移行する。これに対して、追尾被写体が立ち姿勢でないと制御部221が判断した場合(ステップS203:No)、撮像装置1は、後述するステップS205へ移行する。   Subsequently, the control unit 221 determines whether or not the tracking subject is in a standing posture (step S203). Specifically, based on the subject dictionary information recorded by the subject information recording unit 218b, the control unit 221 makes the joint position of the head of the tracking subject or the position in the image of the tracking subject substantially constant between adjacent images. If there is, it is determined that the tracking subject is in a standing posture. When the control unit 221 determines that the tracking subject is in the standing posture (step S203: Yes), the imaging device 1 proceeds to step S204 described later. On the other hand, when the control unit 221 determines that the tracking subject is not in the standing posture (step S203: No), the imaging device 1 proceeds to step S205 described later.

ステップS204において、被写体情報生成部221cは、被写体情報記録部218bが記録する追尾被写体辞書情報に立ち姿勢に関する被写体情報を追加して更新する(ステップS204)。   In step S204, the subject information generation unit 221c updates the tracking subject dictionary information recorded by the subject information recording unit 218b by adding subject information related to the standing posture (step S204).

続いて、制御部221は、追尾被写体の膝関節の位置が最大であるか否かを判断する(ステップS205)。追尾被写体の膝関節の位置が最大であると制御部221が判断した場合(ステップS205:Yes)、撮像装置1は、ステップS206へ移行する。これに対して、追尾被写体の膝関節の位置が最大でないと制御部221が判断した場合(ステップS205:No)、撮像装置1は、図4のメインルーチンへ戻る。   Subsequently, the control unit 221 determines whether or not the position of the knee joint of the tracking subject is the maximum (step S205). When the control unit 221 determines that the position of the knee joint of the tracking subject is the maximum (step S205: Yes), the imaging device 1 proceeds to step S206. On the other hand, when the control unit 221 determines that the position of the knee joint of the tracking subject is not the maximum (step S205: No), the imaging device 1 returns to the main routine of FIG.

ステップS206において、隣接する画像間で追尾被写体の移動速度が所定の速度、たとえば5km/h以上である場合(ステップS206:Yes)、被写体情報生成部221cは、被写体情報記録部218bが記録する追尾被写体辞書情報に走り姿勢の被写体情報を追加して更新する(ステップS207)。具体的には、図9(b)に示すように、被写体情報生成部221cは、関節モデル生成部221bが生成した追尾被写体の関節モデルにおいて、腕の角度情報(θ=80°)、歩幅情報(100cm)および上体の角度情報(θ=30°)を被写体情報記録部218bが記録する被写体情報の走り姿勢として追加して更新する。ステップS207の後、撮像装置1は、図4のメインルーチンへ戻る。   In step S206, when the moving speed of the tracking subject between adjacent images is a predetermined speed, for example, 5 km / h or more (step S206: Yes), the subject information generation unit 221c tracks the tracking information recorded by the subject information recording unit 218b. The subject dictionary information is updated by adding subject information of the running posture (step S207). Specifically, as illustrated in FIG. 9B, the subject information generation unit 221c includes arm angle information (θ = 80 °) and stride information in the joint model of the tracking subject generated by the joint model generation unit 221b. (100 cm) and angle information (θ = 30 °) of the upper body are added and updated as the running posture of the subject information recorded by the subject information recording unit 218b. After step S207, the imaging apparatus 1 returns to the main routine of FIG.

ステップS206において、隣接する画像間で追尾被写体の移動速度が所定の速度以上でない場合(ステップS206:No)、制御部221は、被写体情報記録部218bが記録する追尾被写体辞書情報に歩き姿勢に関する被写体情報を追加して更新する(ステップS208)。ステップS208の後、撮像装置1は、図4のメインルーチンへ戻る。   In step S206, when the moving speed of the tracking subject is not equal to or higher than the predetermined speed between adjacent images (step S206: No), the control unit 221 includes the subject related to the walking posture in the tracking subject dictionary information recorded by the subject information recording unit 218b. Information is added and updated (step S208). After step S208, the imaging apparatus 1 returns to the main routine in FIG.

このように、被写体情報生成部221cは、被写体辞書生成処理において、同じ人物であっても、人物の姿勢状態、たとえば立ち姿勢、歩き姿勢および走り姿勢、人物固有の癖および走行スピードを加味して追尾被写体の被写体辞書情報を更新しながら作成してもよい。具体的には、被写体情報生成部221cは、画像から識別可能な個人特有の癖、たとえば走り姿勢状態における走行スピード、ピッチ幅(スライド幅)、肘の角度や傾斜具合、肘の角度から追尾被写体の被写体辞書情報を更新してもよい。   As described above, the subject information generation unit 221c takes into account the posture state of the person, for example, the standing posture, the walking posture and the running posture, the person-specific wrinkles, and the traveling speed even in the subject dictionary generation process. It may be created while updating the subject dictionary information of the tracking subject. Specifically, the subject information generation unit 221c determines the tracking subject based on an individual peculiar identifiable from the image, for example, the running speed in the running posture state, the pitch width (slide width), the elbow angle and the inclination, and the elbow angle. The subject dictionary information may be updated.

つぎに、図4のステップS128の第2追尾処理について説明する。図10は、第2追尾処理の概要を示すフローチャートである。   Next, the second tracking process in step S128 of FIG. 4 will be described. FIG. 10 is a flowchart showing an overview of the second tracking process.

図10に示すように、画像データに含まれる全人物に対して探索済みでない場合(ステップS401:No)、被写体検出部207bは、探索対象の被写体に対して、被写体情報記録部218bが記録する被写体情報を参照してパターンマッチング処理を行う(ステップS402)。この際、被写体検出部207bは、被写体情報記録部218が記録する記録する追尾被写体情報に含まれる走行スピードや姿勢状態を用いてパターンマッチング処理を実行してもよい。   As shown in FIG. 10, when not all the persons included in the image data have been searched (step S401: No), the subject detection unit 207b records the subject information recording unit 218b for the subject to be searched. Pattern matching processing is performed with reference to the subject information (step S402). At this time, the subject detection unit 207b may execute the pattern matching process using the traveling speed and posture state included in the tracking subject information recorded by the subject information recording unit 218.

続いて、制御部221は、被写体検出部207bが画像データに含まれる全人物に対するパターンマッチング処理が終了したか否かを判断する(ステップS403)。被写体検出部207bが全人物に対するパターンマッチング処理が終了したと制御部221が判断した場合(ステップS403:Yes)、撮像装置1は、ステップS404へ移行する。これに対して、被写体検出部207bが全人物に対するパターンマッチング処理が終了していないと制御部221が判断した場合(ステップS403:No)、撮像装置1は、ステップS402へ戻る。   Subsequently, the control unit 221 determines whether the subject detection unit 207b has completed the pattern matching process for all persons included in the image data (step S403). When the control unit 221 determines that the subject detection unit 207b has finished the pattern matching process for all persons (step S403: Yes), the imaging device 1 proceeds to step S404. On the other hand, when the control unit 221 determines that the subject detection unit 207b has not finished the pattern matching process for all persons (step S403: No), the imaging device 1 returns to step S402.

ステップS404において、被写体検出部207bが探索した全人物の中に一致率が所定の閾値(たとえば70%)以上である被写体が含まれている場合(ステップS404:Yes)、追尾被写体設定部221aは、一致率が所定の閾値上である被写体を姿勢や動きによって追尾する追尾被写体として設定する(ステップS405)。   In step S404, when all subjects searched by the subject detection unit 207b include subjects whose matching rate is equal to or higher than a predetermined threshold (for example, 70%) (step S404: Yes), the tracking subject setting unit 221a Then, a subject whose matching rate is above a predetermined threshold is set as a tracking subject to be tracked by posture or movement (step S405).

その後、撮影制御部221dは、追尾被写体設定部221aが設定した追尾被写体の領域に対応する位置にレンズ部3のピント位置を合わせながら追尾する追尾処理を実行する(ステップS406)。これにより、図6に示すように、顔検出部207aが検出した追尾被写体の顔の領域に対応する位置にレンズ部3のピンチ位置を合わせながら追尾している場合(図6(a))において、ユーザが撮像装置1をパンニング操作したり、追尾被写体の姿勢が変化したり、またはユーザがレンズ部3を操作して撮像装置1の画角を変更したりして(図6(b))、顔検出部207aが追尾被写体A1の顔を検出することができなくなったとき(図6(c))、被写体検出部207bが被写体情報記録部218bの被写体情報の姿勢に一致する被写体を検出することで、瞬時に追尾被写体の追尾を行いながら撮影を行うことができる(図6(c)→(図6)(d))。ステップS406の後、撮像装置1は、図4のメインルーチンへ戻る。   Thereafter, the imaging control unit 221d executes a tracking process of tracking while adjusting the focus position of the lens unit 3 to the position corresponding to the tracking subject region set by the tracking subject setting unit 221a (step S406). As a result, as shown in FIG. 6, when tracking is performed while the pinch position of the lens unit 3 is aligned with the position corresponding to the face area of the tracking subject detected by the face detection unit 207a (FIG. 6A). The user pans the imaging device 1, the posture of the tracking subject changes, or the user operates the lens unit 3 to change the angle of view of the imaging device 1 (FIG. 6B). When the face detection unit 207a cannot detect the face of the tracking subject A1 (FIG. 6C), the subject detection unit 207b detects a subject that matches the posture of the subject information in the subject information recording unit 218b. Thus, shooting can be performed while instantaneously tracking the tracking subject (FIG. 6 (c) → (FIG. 6) (d)). After step S406, the imaging apparatus 1 returns to the main routine in FIG.

ステップS401において、画像データに含まれる全人物に対して探索済みである場合(ステップS401:Yes)、撮像装置1は、図4のメインルーチンへ戻る。   In step S401, if all the persons included in the image data have been searched (step S401: Yes), the imaging apparatus 1 returns to the main routine of FIG.

ステップS404において、被写体検出部207bが探索した全人物の中に一致率が所定の閾値以上である被写体が含まれていない場合(ステップS404:No)、撮像装置1は、図4のメインルーチンへ戻る。   In step S404, when all subjects searched by the subject detection unit 207b do not include a subject whose matching rate is equal to or higher than a predetermined threshold (step S404: No), the imaging apparatus 1 goes to the main routine of FIG. Return.

以上説明した本発明の一実施の形態によれば、顔検出部207aが被写体設定部221aによって設定された追尾被写体の顔を検出した場合、撮影制御部221dが追尾被写体の顔の領域に対応する位置にレンズ部3のピント位置を合わせながら生成タイミングが時間的に隣接する画像間で追尾する第1追尾処理を実行する一方、顔検出部207aが被写体設定部221aによって設定された追尾被写体の顔を検出できない場合において、被写体検出部207bが予め記録された姿勢状態の被写体を検出したとき、撮影制御部221dが被写体検出部207bによって検出された被写体を生成タイミングが時間的に隣接する画像間でレンズ部3のピント位置を合わせながら追尾する追尾被写体として追尾する第2追尾処理を実行する。これにより、顔検出によるパターンマッチングによって追尾被写体を検出することができない場合であっても、追尾被写体に対してピントを合わせた撮影を行うことができる。   According to the embodiment of the present invention described above, when the face detection unit 207a detects the face of the tracking subject set by the subject setting unit 221a, the shooting control unit 221d corresponds to the face area of the tracking subject. While the focus position of the lens unit 3 is adjusted to the position, the first tracking process of tracking between images whose generation timings are temporally adjacent to each other is executed, while the face detection unit 207a sets the face of the tracking subject set by the subject setting unit 221a When the subject detection unit 207b detects a subject in a pre-recorded posture state, the shooting control unit 221d generates the subject detected by the subject detection unit 207b between images that are temporally adjacent to each other. A second tracking process for tracking as a tracking subject to be tracked while adjusting the focus position of the lens unit 3 is executed. As a result, even when the tracking subject cannot be detected by pattern matching based on face detection, it is possible to perform shooting with focusing on the tracking subject.

また、本発明の一実施の形態によれば、被写体検出部207bが被写体情報生成部221cによって生成された追尾被写体に関する被写体情報との一致度に基づいて、画像内の複数の被写体の中から追尾被写体情報の姿勢状態に一致する被写体を追尾被写体として検出することができるので、撮像装置1の画角や視野領域が変わったとしても、瞬時に追尾被写体を追尾することができる。   In addition, according to the embodiment of the present invention, the subject detection unit 207b tracks the subject from a plurality of subjects in the image based on the degree of coincidence with the subject information regarding the tracking subject generated by the subject information generation unit 221c. Since a subject that matches the posture state of the subject information can be detected as a tracking subject, the tracking subject can be tracked instantaneously even if the angle of view or field of view of the imaging device 1 changes.

なお、本発明の一実施の形態では、表示部213が記録媒体215によって記録された画像データに対応する画像を再生している場合において、操作入力部212から追尾被写体を選択する選択信号が入力されたとき、被写体情報生成部221cは、選択された追尾被写体に関する被写体情報を生成し、生成した被写体情報を被写体情報記録部218bに記録してもよい。この際、被写体情報生成部221cは、表示部213が再生する画像の画像データに、被写体情報を対応付けて記録媒体215または被写体情報記録部218bに記録してもよい。   In the embodiment of the present invention, when the display unit 213 reproduces an image corresponding to the image data recorded by the recording medium 215, a selection signal for selecting a tracking subject is input from the operation input unit 212. Then, the subject information generation unit 221c may generate subject information regarding the selected tracking subject, and record the generated subject information in the subject information recording unit 218b. At this time, the subject information generation unit 221c may record the image data of the image reproduced by the display unit 213 in association with the subject information on the recording medium 215 or the subject information recording unit 218b.

また、本発明の一実施の形態では、追尾被写体の姿勢を立ち姿勢、歩き姿勢、走り姿勢のみであったが、たとえば泳ぎ姿勢、跳躍姿勢、投てき姿勢およびしゃがみ姿勢等を含む動作に関する姿勢であれば適用することができる。   Further, in one embodiment of the present invention, the posture of the tracking subject is only a standing posture, a walking posture, and a running posture. Can be applied.

また、本発明の一実施の形態では、関節モデル生成部221bが特徴点抽出部207cによって抽出された追尾被写体の各パーツの特徴点に基づいて、追尾被写体の関節モデルを生成していたが、たとえば測距算出部208が出力する信号に基づいて、追尾被写体の関節モデルを生成してもよい。   In the embodiment of the present invention, the joint model generation unit 221b generates the joint model of the tracking subject based on the feature points of each part of the tracking subject extracted by the feature point extraction unit 207c. For example, a joint model of the tracking subject may be generated based on a signal output from the distance measurement calculation unit 208.

また、本発明の一実施の形態では、被写体検出部207bが画像から所定の姿勢状態にある人物を検出していたが、たとえば所定の姿勢状態にある動物(ペット)や、所定のスペードで移動する物体を検出してもよい。   In the embodiment of the present invention, the subject detection unit 207b detects a person in a predetermined posture state from the image. For example, the subject detection unit 207b moves with an animal (pet) in a predetermined posture state or a predetermined spade. An object to be detected may be detected.

また、本発明の一実施の形態では、被写体検出部207bが画像から所定の姿勢状態にある人物を検出していたが、所定の形状、たとえば四角、球および丸等の形状を有する物体を追尾被写体として検出してもよい。   In the embodiment of the present invention, the subject detection unit 207b detects a person in a predetermined posture state from the image. However, the object detection unit 207b tracks an object having a predetermined shape such as a square, a sphere, or a circle. You may detect as a to-be-photographed object.

(その他の実施の形態)
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態によってのみ限定されるべきものではない。
(Other embodiments)
So far, the embodiment for carrying out the present invention has been described, but the present invention should not be limited only by the embodiment described above.

たとえば、本発明において、表示部とは別に電子ビューファインダを本体部に設け、この電子ビューファインダにおいて本発明を適用するようにしてもよい。この場合には、表示部と電子ビューファインダとでライブビュー画像の見え方が異なるようにすればより好ましい。   For example, in the present invention, an electronic viewfinder may be provided in the main body unit separately from the display unit, and the present invention may be applied to this electronic viewfinder. In this case, it is more preferable that the appearance of the live view image is different between the display unit and the electronic viewfinder.

また、本発明においては、本体部とレンズ部とが一体的に形成されていてもよい。   In the present invention, the main body portion and the lens portion may be integrally formed.

また、本発明にかかる撮像装置は、デジタル一眼レフカメラ以外にも、たとえばアクセサリ等を装着可能なデジタルカメラ、デジタルビデオカメラおよび撮影機能を有する携帯電話やタブレット型携帯機器等の電子機器にも適用することができる。   In addition to a digital single-lens reflex camera, the imaging device according to the present invention is also applicable to electronic devices such as a digital camera, a digital video camera, and a mobile phone having a photographing function and a tablet-type mobile device having an imaging function. can do.

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。   In the description of the flowchart in the present specification, the context of the processing between steps is clearly indicated using expressions such as “first”, “after”, “follow”, etc., in order to implement the present invention. The order of processing required is not uniquely determined by their representation. That is, the order of processing in the flowcharts described in this specification can be changed within a consistent range.

このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。   As described above, the present invention can include various embodiments not described herein, and various design changes and the like can be made within the scope of the technical idea specified by the claims. Is possible.

1 撮像装置
2 本体部
3 レンズ部
201 シャッタ
202 シャッタ駆動部
203 撮像素子
203a 位相差AF素子
204 撮像素子駆動部
205 信号処理部
206 A/D変換部
207 画像処理部
207a 顔検出部
207b 被写体検出部
207c 特徴点抽出部
208 測距算出部
209 AE処理部
210 AF処理部
211 画像圧縮展開部
212 操作入力部
212a レリーズボタン
212b 動画ボタン
212c モード切替ボタン
212d メニューボタン
212e 再生ボタン
212f 電源ボタン
213 表示部
214 表示駆動部
215 記録媒体
216 メモリI/F
217 SDRAM
218 Flashメモリ
218a プログラム記録部
219 本体通信部
220 バス
221 制御部
221a 被写体設定部
221b 関節モデル生成部
221c 被写体情報生成部
221d 撮影制御部
221e 表示制御部
DESCRIPTION OF SYMBOLS 1 Imaging device 2 Main body part 3 Lens part 201 Shutter 202 Shutter drive part 203 Image pick-up element 203a Phase difference AF element 204 Image pick-up element drive part 205 Signal processing part 206 A / D conversion part 207 Image processing part 207a Face detection part 207b Subject detection part 207c Feature point extraction unit 208 Ranging calculation unit 209 AE processing unit 210 AF processing unit 211 Image compression / decompression unit 212 Operation input unit 212a Release button 212b Movie button 212c Mode switch button 212d Menu button 212e Playback button 212f Power button 213 Display unit 214 Display drive unit 215 Recording medium 216 Memory I / F
217 SDRAM
218 Flash memory 218a Program recording unit 219 Main body communication unit 220 Bus 221 Control unit 221a Subject setting unit 221b Joint model generation unit 221c Subject information generation unit 221d Shooting control unit 221e Display control unit

Claims (10)

複数のレンズからなり、所定の視野領域から光を集光するレンズ部と、
前記レンズ部によって集光された光を受光して電子的な画像データを時間的に連続して生成する撮像部と、
前記画像データに対応する画像から人物の顔を検出する顔検出部と、
前記画像データに対応する画像から所定の姿勢状態にある被写体を検出する被写体検出部と、
前記顔検出部が前記人物の顔を検出できない場合において、前記被写体検出部が前記被写体を検出したとき、該被写体に対応する領域に対して撮影パラメータを変更しながら前記撮像部による生成タイミングが時間的に隣接する画像間で追尾する追尾処理を実行する撮影制御部と、
を備えたことを特徴とする撮像装置。
A lens unit composed of a plurality of lenses and condensing light from a predetermined field of view;
An imaging unit that receives light collected by the lens unit and generates electronic image data continuously in time;
A face detection unit for detecting a human face from an image corresponding to the image data;
A subject detection unit for detecting a subject in a predetermined posture state from an image corresponding to the image data;
When the face detection unit cannot detect the face of the person and the subject detection unit detects the subject, the generation timing of the imaging unit is timed while changing the shooting parameters for the area corresponding to the subject. A shooting control unit that executes a tracking process for tracking between adjacent images,
An imaging apparatus comprising:
前記被写体を構成する各パーツの特徴点を抽出する特徴点抽出部と、
前記特徴点抽出部が抽出した前記特徴点に基づいて、前記被写体の姿勢を特定する際に用いる被写体情報を生成する被写体情報生成部と、
をさらに備え、
前記被写体検出部は、前記被写体情報生成部が生成した前記被写体情報との一致度が所定の閾値以上である姿勢状態の被写体を検出することを特徴とする請求項1に記載の撮像装置。
A feature point extraction unit for extracting feature points of each part constituting the subject;
A subject information generating unit that generates subject information used when specifying the posture of the subject based on the feature points extracted by the feature point extracting unit;
Further comprising
The imaging apparatus according to claim 1, wherein the subject detection unit detects a subject in a posture state in which a degree of coincidence with the subject information generated by the subject information generation unit is a predetermined threshold or more.
前記特徴点抽出部が抽出した前記特徴点に基づいて、前記被写体を複数の関節よって人物をモデル化する関節モデルを生成する関節モデル生成部をさらに備え、
前記被写体情報生成部は、前記関節モデル生成部が生成した前記関節モデルを参照して前記被写体情報を生成することを特徴とする請求項2に記載の撮像装置。
Based on the feature points extracted by the feature point extraction unit, further comprising a joint model generation unit that generates a joint model that models the person with a plurality of joints of the subject,
The imaging apparatus according to claim 2, wherein the subject information generation unit generates the subject information with reference to the joint model generated by the joint model generation unit.
前記画像に含まれる複数の人物のいずれかを選択する選択信号の入力を受け付ける操作入力部をさらに備え、
前記被写体情報生成部は、前記顔検出部が前記選択信号に応じた人物の顔を検出した際に、該人物の前記被写体情報を生成することを特徴とする請求項2または3に記載の撮像装置。
An operation input unit that receives an input of a selection signal for selecting any of a plurality of persons included in the image;
The imaging according to claim 2 or 3, wherein the subject information generation unit generates the subject information of the person when the face detection unit detects a person's face according to the selection signal. apparatus.
前記画像データを記録する記録部と、
前記画像データに対応する画像を表示する表示部と、
前記表示部が表示する前記画像に含まれる複数の人物のいずれかを選択する選択する選択信号の入力を受け付ける操作入力部と、
をさらに備え、
前記被写体情報生成部は、前記表示部が前記記録部によって記録された前記画像を再生している場合において、前記顔検出部が前記選択信号に応じた人物の顔を検出したとき、該人物の前記被写体情報を生成することを特徴とする請求項2または3に記載の撮像装置。
A recording unit for recording the image data;
A display unit for displaying an image corresponding to the image data;
An operation input unit for receiving an input of a selection signal for selecting one of a plurality of persons included in the image displayed by the display unit;
Further comprising
In the case where the display unit reproduces the image recorded by the recording unit and the face detection unit detects the face of the person according to the selection signal, the subject information generation unit The imaging apparatus according to claim 2, wherein the subject information is generated.
前記撮影パラメータは、前記レンズ部のピント位置、露出値、前記レンズ部の光学ズームおよび電子ズームのいずれかであることを特徴とする請求項1〜5のいずれか一つに記載の撮像装置。   The imaging apparatus according to claim 1, wherein the photographing parameter is any one of a focus position of the lens unit, an exposure value, an optical zoom and an electronic zoom of the lens unit. 前記撮影制御部は、前記顔検出部が前記人物の顔を検出できない場合において、前記被写体検出部が前記被写体を検出したとき、該被写体に対応する領域に対して前記レンズ部のピント位置を合わせながら前記撮像部による生成タイミングが時間的に隣接する画像間で追尾する追尾処理を実行することを特徴とする請求項6に記載の撮像装置。   The photographing control unit adjusts the focus position of the lens unit with respect to a region corresponding to the subject when the subject detection unit detects the subject when the face detection unit cannot detect the face of the person. The imaging apparatus according to claim 6, wherein tracking processing for tracking between images whose generation timings by the imaging unit are temporally adjacent to each other is executed. 前記撮像部による生成タイミングが時間的に隣接する画像間で前記レンズ部のピントを合わせながら追尾する追尾被写体を設定する被写体設定部をさらに備え、
前記顔検出部は、前記画像データに対応する画像に含まれる複数の人物から前記追尾被写体の顔を検出し、
前記被写体検出部は、前記画像データに対応する画像に含まれる複数の被写体から前記姿勢状態の被写体を検出し、
前記撮影制御部は、前記顔検出部が前記追尾被写体の顔を検出した場合、前記追尾被写体の顔の領域に前記レンズ部のピント位置を合わせながら追尾する第1追尾処理を実行する一方、前記顔検出部が前記追尾被写体の顔を検出できない場合において、前記被写体検出部が前記追尾被写体を検出できたとき、該追尾被写体に対応する領域に前記レンズ部のピント位置を合わせながら追尾する第2追尾処理を実行することを特徴とする請求項7に記載の撮像装置。
A subject setting unit for setting a tracking subject to be tracked while focusing on the lens unit between images that are temporally adjacent to each other at a generation timing by the imaging unit;
The face detection unit detects a face of the tracking subject from a plurality of persons included in an image corresponding to the image data;
The subject detection unit detects a subject in the posture state from a plurality of subjects included in an image corresponding to the image data;
When the face detection unit detects the face of the tracking subject, the shooting control unit performs a first tracking process for tracking while aligning the focus position of the lens unit with the face region of the tracking subject, When the face detection unit cannot detect the face of the tracking subject and the subject detection unit is able to detect the tracking subject, the second tracking is performed while adjusting the focus position of the lens unit to the area corresponding to the tracking subject. The imaging apparatus according to claim 7, wherein tracking processing is executed.
複数のレンズからなり、所定の視野領域から光を集光するレンズ部と、前記レンズ部によって集光された光を受光して電子的な画像データを時間的に連続して生成する撮像部と、を備えた撮像装置が実行する撮像方法であって、
前記画像データに対応する画像から、人物の顔を検出する顔検出ステップと、
前記顔検出ステップで前記被写体の顔を検出できない場合、前記画像データに対応する画像から所定の姿勢状態である被写体を検出する被写体検出ステップと、
前記被写体検出ステップで前記被写体を検出できた場合、該被写体に対応する領域に対して撮影パラメータを変更しながら前記撮像部による生成タイミングが時間的に隣接する画像間で追尾する追尾処理を実行する撮影制御ステップと、
を含むことを特徴とする撮像方法。
A lens unit that collects light from a predetermined field of view, and an imaging unit that receives the light collected by the lens unit and continuously generates electronic image data in time. An imaging method executed by an imaging apparatus comprising:
A face detection step of detecting a human face from an image corresponding to the image data;
A subject detection step of detecting a subject in a predetermined posture state from an image corresponding to the image data when the face detection step cannot detect the face of the subject;
When the subject can be detected in the subject detection step, a tracking process is performed in which the generation timing by the imaging unit tracks between temporally adjacent images while changing the shooting parameter for the region corresponding to the subject. A shooting control step;
An imaging method comprising:
複数のレンズからなり、所定の視野領域から光を集光するレンズ部と、前記レンズ部によって集光された光を受光して電子的な画像データを時間的に連続して生成する撮像部と、を備えた撮像装置に実行させるプログラムであって、
前記画像データに対応する画像に対して、被写体の顔を検出する顔検出ステップと、
前記顔検出ステップで前記被写体の顔を検出できない場合、前記画像に対して、予め記録された姿勢状態の被写体を検出する被写体検出ステップと、
前記被写体検出ステップで前記被写体を検出したとき、該被写体に対応する領域に対して撮影パラメータを変更しながら前記撮像部による生成タイミングが時間的に隣接する画像間で追尾する追尾処理を実行する撮影制御ステップと、
を含むことを特徴とするプログラム。
A lens unit that collects light from a predetermined field of view, and an imaging unit that receives the light collected by the lens unit and continuously generates electronic image data in time. , A program to be executed by an imaging device comprising:
A face detecting step for detecting the face of the subject with respect to the image corresponding to the image data;
A subject detection step of detecting a subject in a pre-recorded posture state with respect to the image when the face detection step cannot detect the face of the subject;
When the subject is detected in the subject detection step, shooting that performs tracking processing for tracking between the images whose generation timings by the imaging unit are temporally adjacent while changing the shooting parameter for the region corresponding to the subject Control steps;
The program characterized by including.
JP2012171280A 2012-08-01 2012-08-01 Imaging device, imaging method, and program Pending JP2014033265A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012171280A JP2014033265A (en) 2012-08-01 2012-08-01 Imaging device, imaging method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012171280A JP2014033265A (en) 2012-08-01 2012-08-01 Imaging device, imaging method, and program

Publications (1)

Publication Number Publication Date
JP2014033265A true JP2014033265A (en) 2014-02-20

Family

ID=50282794

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012171280A Pending JP2014033265A (en) 2012-08-01 2012-08-01 Imaging device, imaging method, and program

Country Status (1)

Country Link
JP (1) JP2014033265A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015187662A (en) * 2014-03-27 2015-10-29 株式会社ニコン Focus adjustment device and imaging apparatus
JP2018501671A (en) * 2015-11-27 2018-01-18 シャオミ・インコーポレイテッド Camera head photographing angle adjusting method and apparatus
JP2018116290A (en) * 2018-02-28 2018-07-26 株式会社ニコン Focus adjustment device and imaging apparatus
JP2020017107A (en) * 2018-07-26 2020-01-30 ソニー株式会社 Information processing device, information processing method, and program
CN111866389A (en) * 2020-07-29 2020-10-30 努比亚技术有限公司 Video tracking shooting method and device and computer readable storage medium

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015187662A (en) * 2014-03-27 2015-10-29 株式会社ニコン Focus adjustment device and imaging apparatus
JP2018501671A (en) * 2015-11-27 2018-01-18 シャオミ・インコーポレイテッド Camera head photographing angle adjusting method and apparatus
KR20180078106A (en) * 2015-11-27 2018-07-09 시아오미 아이엔씨. Camera Shooting Angle Adjusting Method and Apparatus
US10375296B2 (en) 2015-11-27 2019-08-06 Xiaomi Inc. Methods apparatuses, and storage mediums for adjusting camera shooting angle
JP2018116290A (en) * 2018-02-28 2018-07-26 株式会社ニコン Focus adjustment device and imaging apparatus
JP2020017107A (en) * 2018-07-26 2020-01-30 ソニー株式会社 Information processing device, information processing method, and program
US11574504B2 (en) 2018-07-26 2023-02-07 Sony Corporation Information processing apparatus, information processing method, and program
JP7283037B2 (en) 2018-07-26 2023-05-30 ソニーグループ株式会社 Information processing device, information processing method, and program
CN111866389A (en) * 2020-07-29 2020-10-30 努比亚技术有限公司 Video tracking shooting method and device and computer readable storage medium
CN111866389B (en) * 2020-07-29 2022-07-12 努比亚技术有限公司 Video tracking shooting method and device and computer readable storage medium

Similar Documents

Publication Publication Date Title
US11860511B2 (en) Image pickup device and method of tracking subject thereof
JP5099488B2 (en) Imaging apparatus, face recognition method and program thereof
US8553134B2 (en) Imager processing a captured image
JP5669549B2 (en) Imaging device
US8212896B2 (en) Image capturing apparatus and method for controlling the same
KR102407190B1 (en) Image capture apparatus and method for operating the image capture apparatus
JP2004320287A (en) Digital camera
JP2004317699A (en) Digital camera
JP2004320286A (en) Digital camera
JP2008276214A (en) Digital camera
JP4290164B2 (en) Display method for displaying display showing identification area together with image, program executed by computer apparatus, and imaging apparatus
JP5648866B2 (en) Imaging system, imaging method, imaging apparatus, and program
JP2014033265A (en) Imaging device, imaging method, and program
JP4853707B2 (en) Imaging apparatus and program thereof
JP2004320285A (en) Digital camera
JP2013141086A (en) Imaging apparatus
JP2007067934A (en) Imaging apparatus and its control method
JP5448868B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP2010021916A (en) Image processing apparatus
JP6024135B2 (en) Subject tracking display control device, subject tracking display control method and program
JP5267695B2 (en) Imaging apparatus, face recognition method and program thereof
JP7342883B2 (en) Imaging control device, imaging device, imaging control method
JP2013081136A (en) Image processing apparatus, and control program
JP5088612B2 (en) Imaging apparatus, processing execution method of imaging apparatus, and program thereof
US20230396876A1 (en) Apparatus, method for apparatus, image capturing apparatus, and storage medium

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20150423