JP2011166305A - Image processing apparatus and imaging apparatus - Google Patents
Image processing apparatus and imaging apparatus Download PDFInfo
- Publication number
- JP2011166305A JP2011166305A JP2010024623A JP2010024623A JP2011166305A JP 2011166305 A JP2011166305 A JP 2011166305A JP 2010024623 A JP2010024623 A JP 2010024623A JP 2010024623 A JP2010024623 A JP 2010024623A JP 2011166305 A JP2011166305 A JP 2011166305A
- Authority
- JP
- Japan
- Prior art keywords
- face
- head
- target person
- unit
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、動画像に映っている被写体を追尾する画像処理装置および撮像装置に係り、特に被写体の顔の検出が不可能な場合にその頭部を検知・追尾する技術に関する。 The present invention relates to an image processing apparatus and an imaging apparatus that track a subject appearing in a moving image, and more particularly to a technique for detecting and tracking the head of a subject when the face of the subject cannot be detected.
近年、動画像から人物の顔を検知・追尾する技術がデジタルスチルカメラやビデオカメラに利用されている。一般的な顔の追尾処理は以下のように実行される。まず、万人に共通する顔の特徴を用いることにより、画像中から人の顔が検知され、顔の領域が特定される。次に、検知された顔の中から追尾対象が選択される。追尾対象が選択されると、前回の処理において対象の顔が検知された位置の周囲において顔検知が実行される。そして、この検知された顔について対象の顔との同定処理が実行されることにより、追尾が実現されている。この顔の追尾処理については、さらに下記特許文献１〜３に示すような改良技術が提案されている。
In recent years, a technique for detecting and tracking a human face from a moving image has been used for a digital still camera and a video camera. A general face tracking process is executed as follows. First, by using facial features common to all, a human face is detected from an image and a face region is specified. Next, a tracking target is selected from the detected faces. When the tracking target is selected, face detection is executed around the position where the target face was detected in the previous process. Then, tracking is realized by executing identification processing of the detected face with the target face. For this face tracking process, improved techniques as shown in the following
例えば、特許文献１では、撮像データから対象の顔を抽出し、その抽出された対象の顔の動きベクトルを検知し、その動きベクトルに基づいて対象の顔を画像内の一定の位置（例えば、画像中央）になるように追跡する技術についての記載がある。
特許文献２では、個人認識、顔認識、肌色認識の組み合わせで対象の顔を検知する処理を行い、これらの組み合わせで認識できない場合には音声方向認識や動き方向からの位置予測により追跡を行い、対象を検知する技術についての記載がある。
また、特許文献３では、顔検出結果と顔の周囲、主に胴体にあたる部分（例えば、服の色や形）の情報を組み合わせて対象の被写体を追跡する技術についての記載がある。
For example, in
In
Patent Document 3 describes a technique for tracking a target subject by combining information about a face detection result and information about a portion around the face, mainly a body (for example, the color and shape of clothes).
しかしながら、特許文献１〜３に記載された技術には以下のような不都合がある。
まず特許文献１に記載の技術では、顔が検知されない場合は追跡を行えず、追跡可能な対象の顔の向きが正面に限定されてしまう。
また特許文献２に記載の技術では、顔を検知できない場合には音声方向認識や動き方向からの位置予測により追跡を行うことができるものの、対象が音声を発しない場合や騒音のある環境下では対象を追跡できない可能性が高い。また、動き方向からの位置予測を用いても対象の頭部やそのサイズは検出できない。
However, the techniques described in
First, in the technique described in
In the technique described in
また特許文献３に記載の技術では、顔と離れている胴体にあたる部分が障害物の陰や画面外にある場合などには追跡することができない。また、胴体にあたる部分（服）の色は同一人物でも日によってもしくは一日の中でも大きく異なるので、胴体にあたる部分（服）の色に追跡精度が大きく影響されてしまう。さらに顔による追跡時と色による追跡時で検出する対象サイズの把握方法が大きく異なるため、対象のサイズを把握し続ける精度にも問題がある。 Further, the technique described in Patent Document 3 cannot be tracked when a portion corresponding to the body away from the face is behind an obstacle or outside the screen. In addition, since the color of the portion corresponding to the trunk (clothes) varies greatly depending on the day or even within the same day, the tracking accuracy is greatly affected by the color of the portion corresponding to the trunk (clothes). Furthermore, since the method of grasping the target size to be detected differs greatly between the tracking with the face and the tracking with the color, there is a problem in the accuracy of continuously grasping the size of the target.
本発明はかかる点に鑑みてなされたものであり、動画像において対象人物の顔の検出が不可能な場合でも対象人物の頭部を特定して追尾可能にすることを目的とする。 The present invention has been made in view of the above points, and an object of the present invention is to specify the head of a target person so that tracking can be performed even when the face of the target person cannot be detected in a moving image.
上記課題を解決するため、本発明は、撮像部から得られた撮像データから対象人物の顔を検出する顔検出部と、顔検出部で検出された対象人物の顔を含む頭部情報を記憶する記憶部と、記憶部に記憶された対象人物の顔を含む頭部情報を基に、現在の撮像データにおける対象人物の横顔から後頭部までを含む頭部を検出し続ける頭部追尾部とを備えたものである。 In order to solve the above problems, the present invention stores a face detection unit that detects a face of a target person from imaging data obtained from the imaging unit, and head information that includes the face of the target person detected by the face detection unit. And a head tracking unit that continues to detect the head including the profile of the target person to the back of the current image data based on the head information including the face of the target person stored in the storage unit. It is provided.
上記構成によれば、対象人物の顔を含む頭部情報を基に頭部検出するので、一度対象人物の顔を検出するだけで当該対象人物の顔がどの方向を向いてもその頭部を検出することができる。 According to the above configuration, since the head is detected based on the head information including the face of the target person, the head of the target person can be detected in any direction by simply detecting the face of the target person once. Can be detected.
本発明により、動画像において対象人物の顔の検出が不可能な場合でも対象人物の頭部を安定して正確に追尾することができる。 According to the present invention, the head of the target person can be tracked stably and accurately even when the face of the target person cannot be detected in the moving image.
以下、本発明の一実施形態について、添付図面を参照して下記の順序で説明する。
１．頭部追尾処理を行う撮像装置の構成
２．頭部追尾処理の流れ
３．特徴点追尾部での処理
４．色追尾部での処理
５．頭部領域を基準の表示枠で表示する表示制御処理
Hereinafter, an embodiment of the present invention will be described in the following order with reference to the accompanying drawings.
1. 1. Configuration of an imaging apparatus that performs
［１．頭部追尾処理を行う撮像装置の構成］
本発明の一実施形態の例における撮像装置の構成を、図１を用いて説明する。撮像装置としては動画撮影機能を備えるものであればよく、デジタルスチルカメラやビデオカメラなどが適用される。
[1. Configuration of an imaging device that performs head tracking processing]
A configuration of an imaging apparatus in an example of an embodiment of the present invention will be described with reference to FIG. Any imaging device may be used as long as it has a video shooting function, and a digital still camera, a video camera, or the like is applied.
図１は、本発明の一実施形熊の例に係る撮像装置の構成を示すブロック図である。
撮像装置１は、制御部２と、画像ＲＡＭ３と、表示部４と、操作部５と、画像処理部６と、記憶部７と、外部インターフェース８と、光学系９と、光学系駆動部１０と、イメージセンサ１１と、信号処理部１２と、パンチルト駆動部１３と、データバス１４と、顔検出部２１と、頭部追尾部２２とで構成している。なお、各部間におけるデータの送受信は、データバス１４を経由したやりとりによって行われる。
FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to an example of an embodiment of the present invention.
The
以下に、撮像装置１の各構成要素の説明を行う。
まず、制御部２は、演算制御装置であり、一例として図示しないＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）から構成される。そして、制御部２は、制御信号が伝送されるデータバス１４を介して、撮像装置１内の各部と接続される。そして、制御部２は、データバス１４を通して各部と通信を行い、各部の処理制御を行う。
Below, each component of the
First, the
画像ＲＡＭ３は、撮像データを一時的に記憶するワークメモリ（記憶部）の一例である。各部間では、画像ＲＡＭ３を介して撮像データが受け渡される。なお、この例では、各部は、画像ＲＡＭ３を介して撮像データを受け渡すものとして説明している。しかし、この例に限られず、例えば、表示部４、画像処理部６および後述する顔検出部２１は、信号処理部１２から出力される撮像データを、データバス１４を介さずに直接受け取ることができるようにしてもよい。
また、画像ＲＡＭ３は、後述する顔検出部２１および後述する頭部追尾部２２の処理で扱われる特徴点情報と、色情報と、撮像データの情報を記憶するようにしてもよい。
The image RAM 3 is an example of a work memory (storage unit) that temporarily stores imaging data. Imaging data is transferred between the units via the image RAM 3. Note that in this example, each unit is described as passing image data via the image RAM 3. However, the present invention is not limited to this example. For example, the
Further, the image RAM 3 may store feature point information, color information, and imaging data information that are handled in the processing of the face detection unit 21 and the head tracking unit 22 that will be described later.
表示部４は、信号処理部１２または画像処理部６等が出力した撮像データや、後述する頭部追尾部２２で処理した撮像データを表示するものである。また、表示部４は、撮像装置１におけるビューファインダとして用いられるとともに、記憶部７から再生された画像のモニタとして用いられる。表示部４としては、例えばＬＣＤ（Liquid Crystal Display）を用いることができる。
The
操作部５は、ユーザの操作入力に応じた操作信号を生成し、データバス１４を介して各部の操作を行うものであり、タッチパネルや方向キー、ボタン等から構成される。例えば、ユーザが操作部５を操作して、表示部４に表示されている人物の顔を指定して、当該指定した顔が常に表示部４に表示されるよう自動で追尾しながら撮影を行うことができる。
The operation unit 5 generates an operation signal corresponding to a user's operation input and operates each unit via the
画像処理部６は、信号処理部１２から出力された撮像データ、あるいは画像ＲＡＭ３に記憶された撮像データを受け取り、この撮像データを圧縮符号化して、動画像あるいは静止画像のデータファイルとして記憶部７に出力するものである。また、画像処理部６は、後述する記憶部７から読み出された撮像データファイルを復号し、画像ＲＡＭ３を介して表示部４に供給する。
The
記憶部７は、画像処理部６により符号化されて生成された撮像データや、様々な顔角度でなる複数の基準顔データを記憶するものである。記憶部７としては、例えば、磁気テープや光ディスクなどの可搬型記録媒体のドライブ装置、あるいはＨＤＤ（Hard Disc Drive）などを用いることができる。また、記憶部７は、後述する顔検出部２１および後述する頭部追尾部２２の処理で扱われる特徴点情報と、色情報と、撮像データの情報を記憶するようにしてもよい。
The storage unit 7 stores imaging data encoded and generated by the
外部インターフェース８は、例えばパーソナルコンピュータなどの外部機器（図示せず）が接続されることで、記憶部７からデータを読み出し、当該データを外部機器に供給するように構成されている。
The
光学系９は、図示しないがレンズおよび絞りなどを含み、所望の被写体を取り込んでイメージセンサ１１に入射する光入射機構である。光学系９は、図示しないが、さらにシャッタ機構、ズーム機構、自動焦点調整機構、自動露出調整機構、赤外線（Infrared Rays : IR）カットフィルタ、光学ローパスフィルタ（Low Pass Filter : LPF）などを含んでもよい。
Although not shown, the
光学系駆動部１０は、操作部５からの操作信号または後述する頭部追尾部２２から出力される表示枠のズーム値を基に、制御部２の制御に従い、光学系９を駆動させるものである。また、操作部５からの操作信号により、光学系駆動部１０が光学系９を駆動させるものである。
The optical
イメージセンサ１１は、光学系９から出力された入射光を光電変換し、光電変換された電気信号を信号処理部１２に出力するものである。なお、ブレ補正用レンズの移動または傾き、ブレ補正用プリズムの変形や傾き、イメージセンサ１１の移動等をすることによって、検出されたブレを光学的に補正することができる。
The
信号処理部１２は、イメージセンサ１１から出力された電気信号に対して各種の信号処理を施し、信号処理が施された撮像データを画像ＲＡＭ３に一時記憶するものである。そして、記憶部７と、外部インターフェース８と、画像処理部６と、後述する顔検出部２１にも供給するものである。信号処理部１２における信号処理として、ノイズ軽減処理、レベル補正処理、Ａ／Ｄ変換処理および色彩補正処理等の信号処理がある。また、信号処理部１２は、制御部２の指示に基づいて各部から入力された画像に対して各種の画像処理を実行する。
ところで、光学系９と、光学系駆動部１０と、イメージセンサ１１と、信号処理部１２で構成されたものを、撮像部とすることができる。
The
By the way, an
パンチルト駆動部１３は、パンチルト機構のパン方向及びチルト方向への動作を制御するものである。パンチルト駆動部１３は、制御部２による自動制御又は操作部５からの操作信号に基づいて駆動する。
The pan / tilt drive unit 13 controls operations of the pan / tilt mechanism in the pan direction and the tilt direction. The pan / tilt drive unit 13 is driven based on automatic control by the
データバス１４は、撮像装置１を構成している各部との間で、データ転送や制御命令の転送に用いるための共通の経路である。
The
顔検出部２１は、信号処理部１２から送出される撮像データおよび記憶部７等に記憶された撮像データから人物の顔の検出を行い、その検出された顔の中から、対象人物の顔の特定を行うものである。対象人物とは、追尾対象として指定された人物を指す。この顔検出部２１は、一例として専用のプロセッサ（DSP：Digital Signal Processor）を適用してもよい。
また、顔検出部２１は、顔向き判定部２１Ａを備えている。この顔向き判定部２１Ａでは、特定された対象人物の顔を基に、正面、左向き、右向きなど対象人物の顔がいずれを向いているか判定するものである。この処理は、例えば、一般的な横顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって、顔の横向きの度合いを検出するように構成されてもよい。
The face detection unit 21 detects a person's face from the imaging data sent from the
The face detection unit 21 includes a face
頭部追尾部２２は、特徴点追尾部２３および色追尾部２４で構成され、顔検出部２１で検出された顔を基に、対象人物の顔を含む頭部を追尾する処理を行うものである。
詳細には、特徴点追尾部２３は、撮像データ内に対象人物の顔が検出されなかった場合、特徴点抽出の処理によって得られた特徴点の座標、輝度値を使って対象人物の頭部の追尾を行う。色追尾部２４は、入力された撮像データ内に対象人物の顔が検出されなかった場合、色抽出の処理によって得られた色情報を用いて対象人物の頭部の追尾を行う。この頭部追尾部２２は、一例として専用のプロセッサ（DSP：Digital Signal Processor）を適用してもよい。
この特徴点追尾部２３および色追尾部２４による処理の詳細は、後述する。
The head tracking unit 22 includes a feature point tracking unit 23 and a
Specifically, the feature point tracking unit 23 uses the coordinates and brightness values of the feature points obtained by the feature point extraction process when the face of the subject person is not detected in the imaging data. Tracking. When the face of the target person is not detected in the input image data, the
Details of processing by the feature point tracking unit 23 and the
また、特徴点追尾部２３は、特徴点情報抽出部２３Ａとベクトル算出部２３Ｂを備えている。
特徴点情報抽出部２３Ａは、対象人物の顔から目、鼻、口等の領域を特定し、その特定された領域の特徴点情報の抽出を行うものである。この特徴点情報抽出部２３Ａによる処理の詳細は、後述する。
特徴点情報とは、所定の領域における座標および輝度値を含む。
The feature point tracking unit 23 includes a feature point
The feature point
The feature point information includes coordinates and luminance values in a predetermined area.
ベクトル算出部２３Ｂは、現在の撮像データの一つ前又はそれ以外の直近のフレームでの特徴点情報の座標および現在の撮像データの特徴点情報を用いて、対象人物の顔での特徴点の動きベクトルを算出する。
このベクトル算出部２３Ｂによる処理の詳細は、後述する。
The
Details of the processing by the
色追尾部２４は、色情報抽出部２４Ａを備えている。色情報抽出部２４Ａは、対象人物の顔を有する領域（顔領域）から所定の距離だけ離れた領域（後頭部領域）についての色情報抽出の処理を行うものである。
この色情報抽出部２４Ａによる処理の詳細は、後述する。
The
Details of the processing by the color
色情報とは、一例として抽出領域における色ヒストグラムの情報である。この色ヒストグラムは、抽出領域における色差信号の度数（画素数）を表す分布のことである。色差信号Ｃｒと色差信号Ｃｂのそれぞれについてこの色ヒストグラムの情報を取得する。
また、色ヒストグラムを得るときに用いられる色は色差信号Ｃｒ，Ｃｂに限らず、Ｒ，Ｇ，Ｂなど他の色でもよい。また、色情報は色ヒストグラムに限られるものではなく、その他の色に関する情報を用いてもよいことは勿論である。なお、この例での後頭部領域は、対象人物の後頭部の髪がある領域の事を指しており、その領域の大きさは適宜とする。
The color information is, for example, color histogram information in the extraction region. This color histogram is a distribution representing the frequency (number of pixels) of the color difference signal in the extraction region. Information of this color histogram is acquired for each of the color difference signal Cr and the color difference signal Cb.
The color used when obtaining the color histogram is not limited to the color difference signals Cr and Cb, but may be other colors such as R, G, and B. In addition, the color information is not limited to the color histogram, and it is needless to say that information on other colors may be used. Note that the occipital region in this example refers to a region with hair on the occipital region of the target person, and the size of the region is appropriate.
［２．頭部追尾処理の流れ］
本発明の一実施形態の例における顔検出部および頭部追尾部による処理を、図２〜４を用いて説明する。
図２は、顔検出部および頭部追尾部による処理におけるフローチャートである。
[2. Flow of head tracking process]
Processing by the face detection unit and the head tracking unit in the example of the embodiment of the present invention will be described with reference to FIGS.
FIG. 2 is a flowchart of processing by the face detection unit and the head tracking unit.
まず、顔検出部２１により、信号処理部１２から送出された現在の撮像データのフレームを読み出し、その現在のフレームから人物の顔の検出を行う（ステップＳ１）。この処理は、例えば、一般的な顔の耳から顎にかけての輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出するように構成されてもよい。また、顔検出部２１では、顔の構成要素（目，鼻，耳など）に基づくテンプレートマッチングによって顔を検出するように構成されてもよい。
First, the face detection unit 21 reads a frame of the current imaging data sent from the
また、顔検出部２１は、クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出するように構成されてもよい。また、顔検出部２１は、肌の色に近い領域を検出し、その領域を顔として検出するように構成されてもよい。また、顔検出部２１は、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出するように構成されてもよい。また、顔検出部２１による顔検出処理は、その他、既存のどのような技術が適用されることによって実現されてもよい。 The face detection unit 21 may be configured to detect a vertex such as a head by chroma key processing and detect a face based on the vertex. The face detection unit 21 may be configured to detect a region close to the skin color and detect the region as a face. Further, the face detection unit 21 may be configured to perform learning by a teacher signal using a neural network and detect a face-like region as a face. Further, the face detection process by the face detection unit 21 may be realized by applying any other existing technique.
そして、顔検出部２１は、ステップＳ１の検出処理で検出された顔から、対象人物の顔に適合する顔のマッチング処理を行う（ステップＳ２）。例えば、顔検出部２１は、ステップＳ１の検出処理で検出された顔と、記憶部７に予め登録してある対象人物の顔に適合する顔があるかないかの判定を行うことである。または、ユーザが操作部５を操作して撮像データの中から人物の顔を指定することによって行う。
なお、ステップＳ２による対象人物の顔の検出処理を初めて行ったときに、対象人物の顔が検出されなかった場合は、そのまま処理を終了する。
Then, the face detection unit 21 performs face matching processing that matches the face of the target person from the faces detected by the detection processing in step S1 (step S2). For example, the face detection unit 21 determines whether or not there is a face that matches the face detected in the detection process of step S1 and the face of the target person registered in advance in the storage unit 7. Alternatively, the user operates the operation unit 5 to designate a person's face from the imaging data.
When the target person's face detection process in step S2 is performed for the first time, if the target person's face is not detected, the process ends.
ステップＳ２の判定処理でその対象人物の顔に適合した顔を含む頭部に関する情報（以後、「頭部情報」と称す）を、記憶部７に記憶する（ステップＳ４）。また、記憶部７の他に、画像ＲＡＭ３にも記憶するようにしてもよい。
頭部情報としては、例えば対象人物の顔の領域（特に頭髪部）と、対象人物の顔全体の輪郭と、目と鼻等の顔の要部の位置関係と、顔の面積の大小（カメラからの距離）等を含む。
Information relating to the head including the face that matches the face of the target person in the determination process in step S2 (hereinafter referred to as “head information”) is stored in the storage unit 7 (step S4). Further, in addition to the storage unit 7, it may be stored in the image RAM 3.
As the head information, for example, the face area (particularly the hair part) of the target person, the outline of the entire face of the target person, the positional relationship between the main parts of the face such as eyes and nose, and the size of the face (camera Distance).
そして、顔向き判定部２１Ａが、頭部情報を基に、正面、左向き、右向きなど対象人物の顔がいずれを向いているか判定する（ステップＳ３）。この処理は、例えば、一般的な横顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって、顔の横向きの度合いを検出するように構成されてもよい。
Then, the face
ステップＳ４の顔向き判定処理で検出される対象人物の顔の向きに応じて、特徴点情報抽出部２３Ａは特徴点情報抽出の処理を行う（ステップＳ５）。特徴点情報抽出の処理は、例えば、対象人物の顔の左向きであると判定された場合、左向きの顔の領域３１Ｌから左目３３Ｌ、鼻３４Ｌ、口３５Ｌの領域を抽出して、それぞれの領域の特徴点情報抽出を行う（図３Ａを参照）。同様に、図３Ｂに示すように、対象人物の顔の右向きであると判定された場合、右向きの顔の領域３１Ｒから右目３３Ｒ、鼻３４Ｒ、口３５Ｒの領域を抽出して、それぞれの領域の特徴点情報抽出を行う（図３Ｂを参照）。
The feature point
次に、ステップＳ４の顔向き判定処理で検出される対象人物の顔の向きに応じて、色情報抽出部２４Ａは、その対象人物の顔を有する領域（顔領域）から所定の距離だけ離れた領域（後頭部領域）についての色情報抽出の処理を行う（ステップＳ６）。色情報抽出の処理は、例えば、対象人物の顔の左向きであると判定された場合、左向きの顔領域４２Ｌに対して、所定の距離にある右上の後頭部領域４３Ｌを認識し、その後頭部領域４３Ｌの色情報の抽出を行う（図４Ａを参照）。同様に、対象人物の顔の右向きであると判定された場合、右向きの顔領域４２Ｒに対して、所定の距離にある右上の後頭部領域４３Ｒを認識し、その後頭部領域４３Ｒの色情報の抽出を行う（図４Ｂを参照）。
Next, according to the face orientation of the target person detected in the face orientation determination process in step S4, the color
そして、顔向き情報、特徴点情報および色情報のデータを画像ＲＡＭ３に出力する（ステップＳ７）。また、それらのデータを記憶部７、表示部４に出力するようにしてもよい。
Then, face orientation information, feature point information, and color information data are output to the image RAM 3 (step S7). Further, the data may be output to the storage unit 7 and the
ステップＳ２の判定処理で対象人物の顔が検出されなかった場合、特徴点追尾部２３は、前フレームでの特徴点情報を基に、対象人物の特徴点追尾処理を行う（ステップＳ８）。この特徴点追尾処理は、対象人物の顔の特徴点が存在するかの判定（ステップＳ９）を行い、その特徴点が存在した場合、その特徴点を有する領域を対象人物の頭部と特定することである。なお、前フレームとは、動画を構成するフレームのうち、現在処理を行っているフレームの一つ前又はそれ以外の直近のフレームのことを指す。
この特徴点追尾部２３による処理の詳細は、後述する。
When the target person's face is not detected in the determination process of step S2, the feature point tracking unit 23 performs the feature point tracking process of the target person based on the feature point information in the previous frame (step S8). In this feature point tracking process, it is determined whether or not a feature point of the face of the target person exists (step S9). If the feature point exists, the region having the feature point is identified as the head of the target person. That is. Note that the previous frame refers to the frame immediately before the frame currently being processed or other recent frames among the frames constituting the moving image.
Details of the processing by the feature point tracking unit 23 will be described later.
そして、ステップＳ９での特徴点追尾部２３による判定処理において、特徴点が存在した場合、特定した対象人物の頭部における、特徴点情報および色情報等のデータを画像ＲＡＭ３に出力する（ステップＳ７）。また、それらのデータを記憶部７、表示部４に出力するようにしてもよい。
Then, in the determination process by the feature point tracking unit 23 in step S9, if a feature point exists, data such as feature point information and color information in the head of the identified target person is output to the image RAM 3 (step S7). ). Further, the data may be output to the storage unit 7 and the
ステップＳ９の判定処理にて対象人物の頭部の特徴点が検出されなかった場合、色追尾部２４において前フレームでの色情報を基に、対象人物の後頭部の色追尾を行う（ステップＳ１０）。
When the feature point of the head of the target person is not detected in the determination process in step S9, the
色追尾部２４の処理は、前フレームから取得した色ヒストグラムを基準色ヒストグラムとし、基準色ヒストグラムに近い色ヒストグラム（以後、「抽出色ヒストグラム」と称す）を有する領域が現在のフレーム内にあるかの判定を行う（ステップＳ１１）。そして、その抽出色ヒストグラムに適合する領域が存在した場合、その領域を対象人物の頭部と特定する。また、その抽出色ヒストグラムに適合する領域が存在しない場合は、対象人物の頭部が存在しないと判定し、色追尾処理を終了する。このとき、例えば色追尾部２４から制御部２へ対象人物の頭部が存在しない旨の情報を送出し、制御部２の制御の下、表示部４が対象人物の頭部が検出されなかった旨の表示を行うようにしてもよい。
なお、この色追尾処理の詳細は、後述する。
The process of the
Details of the color tracking process will be described later.
そして、ステップＳ１１での色追尾部２４の処理後は、対象人物の頭部における、色情報等のデータを画像ＲＡＭ３に出力する（ステップＳ７）。また、それらのデータを記憶部７、表示部４に出力するようにしてもよい。
After the processing of the
ところで、図２に示したステップＳ１０の後頭部の色追尾処理では、顔の検出および特徴点追尾ができない場合に色追尾を行うようにしている。しかしながら、ステップＳ２で顔の検出が検出できない場合にステップＳ８の特徴点追尾を行うことなくステップＳ１０の後頭部の色追尾を行うようにしてもよい。 By the way, in the color tracking process of the occipital region of step S10 shown in FIG. 2, color tracking is performed when face detection and feature point tracking cannot be performed. However, if face detection cannot be detected in step S2, color tracking of the back of the head in step S10 may be performed without performing feature point tracking in step S8.
［３．特徴点追尾部での処理］
ここで、特徴点追尾部２３による特徴点追尾処理を、図５〜６を用いて詳細に説明する。図５は特徴点追尾部２３の処理によるフローチャートを示す。そして、図６Ａは前フレームの一例を示し、図６Ｂは現在のフレームの一例を示す。
この特徴点追尾部２３による処理は、図２のステップＳ２の判定処理で対象人物の顔が検出されなかった場合に実行されるものである。
[3. Processing at the feature point tracking unit]
Here, the feature point tracking process by the feature point tracking unit 23 will be described in detail with reference to FIGS. FIG. 5 shows a flowchart of processing by the feature point tracking unit 23. 6A shows an example of the previous frame, and FIG. 6B shows an example of the current frame.
The process by the feature point tracking unit 23 is executed when the face of the target person is not detected in the determination process of step S2 of FIG.
まず、画像ＲＡＭ３から最新（前フレーム）の特徴点情報（座標および輝度値）を読み込む（ステップＳ２１）。最新（前フレーム）の特徴点情報とは、例えば図２のステップＳ５の特徴点情報抽出の処理で抽出されたフレームのうち、現在処理を行っているフレームの一つ前又はそれ以外の直近のフレームのことでの特徴点情報である。また抽出できたフレームのうち直近のフレームでもよい。そして、この最新の特徴点情報は、画像ＲＡＭ３の他に記憶部７にも記憶されている場合があるので、その記憶部７から読み出してもよい。 First, the latest (previous frame) feature point information (coordinates and luminance values) is read from the image RAM 3 (step S21). The latest (previous frame) feature point information is, for example, the frame extracted in the feature point information extraction process of step S5 in FIG. This is feature point information about a frame. The most recent frame may be used among the extracted frames. The latest feature point information may be stored in the storage unit 7 in addition to the image RAM 3, and may be read from the storage unit 7.
次に、最新（前フレーム）の特徴点情報に含まれている特徴点ごとでの動きベクトルを算出する処理を行う（ステップＳ２２〜ステップＳ２６）。例えば、前フレームの特徴点情報に含まれている特徴点が目および口であった場合、特徴点が２点であるので２回の反復処理を行うこととなる。つまり、ステップＳ２２〜ステップＳ２６の処理を２回行うことになる。 Next, a process of calculating a motion vector for each feature point included in the latest (previous frame) feature point information is performed (steps S22 to S26). For example, when the feature points included in the feature point information of the previous frame are the eyes and the mouth, since the feature points are two points, the iterative process is performed twice. That is, the processing from step S22 to step S26 is performed twice.
前フレームでの特徴点の輝度値と最も近い値の輝度値を有する座標が、現在のフレーム内にあるかないかを判定する（ステップＳ２３）。
例えば、前フレーム５１Ｌ１から抽出された特徴点が目（以後、この目を含む領域を「眼領域」と称す）である場合について、図６を用いて説明する。前フレーム５１Ｌ１での目領域５３Ｌ１を、現在のフレーム５１Ｌ２上に同じ領域（目領域５３Ｌ２）を設定する。この目領域５３Ｌ２を中心に、目領域５３Ｌ１の輝度値に近い輝度値を有する座標が現在のフレーム内を走査する。その走査の結果により、現在のフレーム５１Ｌ２から、目領域５３Ｌ１の輝度値と近い輝度値をもつ目領域５３Ｌ３が検出されることとなる。
It is determined whether or not the coordinates having the luminance value closest to the luminance value of the feature point in the previous frame are in the current frame (step S23).
For example, a case where the feature point extracted from the previous frame 51L1 is an eye (hereinafter, an area including the eye is referred to as an “eye area”) will be described with reference to FIG. The eye area 53L1 in the previous frame 51L1 is set to the same area (eye area 53L2) on the current frame 51L2. A coordinate having a luminance value close to the luminance value of the eye region 53L1 scans within the current frame around the eye region 53L2. As a result of the scanning, an eye region 53L3 having a luminance value close to the luminance value of the eye region 53L1 is detected from the current frame 51L2.
図２のステップＳ９の判定処理で、前フレームの特徴点情報の輝度値と最も近い値の輝度値があった場合、その最も近い値の輝度値での座標とその座標での輝度値を記憶する（ステップＳ２４）。
一方、図２のステップＳ９の判定処理で、前フレームの特徴点情報の輝度値と最も近い値の輝度値がなかった場合、後頭部の色追尾の処理に移行する（図２のステップＳ１０）。
If there is a luminance value closest to the luminance value of the feature point information of the previous frame in the determination processing in step S9 of FIG. 2, the coordinates at the closest luminance value and the luminance value at that coordinate are stored. (Step S24).
On the other hand, if there is no brightness value closest to the brightness value of the feature point information of the previous frame in the determination process of step S9 of FIG. 2, the process proceeds to the color tracking process of the back of the head (step S10 of FIG. 2).
次に、前フレームの特徴点情報での座標および現在のフレームの特徴点情報での座標を用いて、ベクトル算出部２３Ｂは動きベクトル（移動量と方向）を算出する（ステップＳ２５）。例えば、周知慣用技術の動きベクトル探索(ME: Motion Estimation)やブロックマッチング法等を利用して、前フレームの特徴点の座標から現在のフレームの特徴点での座標までの動きベクトルが算出される。
例えば、図６Ｂに示すように、前フレーム５１Ｌ１の目領域５３Ｌ１は、現在のフレーム５１Ｌ２において目領域５３Ｌ３に移動している。これにより、前フレームおよび現在のフレームでの目領域の動きベクトル５４が算出される。
Next, using the coordinates in the feature point information of the previous frame and the coordinates in the feature point information of the current frame, the
For example, as shown in FIG. 6B, the eye area 53L1 of the previous frame 51L1 has moved to the eye area 53L3 in the current frame 51L2. Thereby, the
そして、前フレームの特徴点情報に含まれている特徴点の点数分の反復処理を行った後に、全ての特徴点から算出された動きベクトルを用いて動きベクトルの平均化処理を行う（ステップＳ２７）。例えば、ステップＳ２２〜ステップＳ２６の処理により、全ての特徴点から算出された移動量を用いて、平均した移動量を算出する。次に、全ての特徴点から算出された方向を用いて、移動する方向を算出する。そして、平均した移動量と算出した方向より、平均化した動きベクトルが算出される。 Then, after iterative processing is performed for the number of feature points included in the feature point information of the previous frame, motion vector averaging processing is performed using motion vectors calculated from all feature points (step S27). ). For example, the average movement amount is calculated using the movement amounts calculated from all the feature points by the processing of step S22 to step S26. Next, using the directions calculated from all the feature points, the moving direction is calculated. Then, an averaged motion vector is calculated from the average movement amount and the calculated direction.
この平均化した動きベクトルを基に、現在のフレームにおける領域を特定して、その特定された領域を新たな対象人物の頭部領域として変更する（ステップＳ２８）。例えば、図６Ｂに示すように、前フレームで抽出された特徴点が目のみである場合は、動きベクトル５４のみであるので、平均化された動きベクトルは動きベクトル５４となる。そして、その動きベクトル５４を基に、現在のフレームでの対象人物の頭部領域は、頭部領域５２Ｌ３となる。
なお、頭部領域とは、対象人物の頭部を含めたフレーム中での最低限での領域のこととする。
Based on the averaged motion vector, an area in the current frame is specified, and the specified area is changed as a head area of a new target person (step S28). For example, as shown in FIG. 6B, when the feature point extracted in the previous frame is only the eye, only the
The head region is a minimum region in the frame including the head of the target person.
［４．色追尾部での処理］
ここで、色追尾部２４の処理を、図７〜９を用いて説明する。この色追尾部２４による処理は、図２のステップＳ９で対象人物の顔の特徴点が検出されなかった場合に実行されるものである。
図７は、色追尾部２４の処理におけるフローチャートを示す。そして、図８Ａは前フレームの一例を示し、図８Ｂは現在のフレームの一例を示す。図９Ａは前フレームでの抽出領域の基準色ヒストグラムの一例を示し、図９Ｂは現在のフレームの抽出領域の抽出色ヒストグラムを示す。図９Ａ，Ｂはそれぞれ、横軸が階調、縦軸が度数（画素数）を示している。
[4. Processing in the color tracking unit]
Here, the processing of the
FIG. 7 shows a flowchart in the processing of the
色差信号Ｃｒと色差信号Ｃｂのそれぞれについて、この色ヒストグラムの情報を取得する。そして、色差信号Ｃｒと色差信号Ｃｂにおける色追尾部２４の処理は共通であるので、色追尾部２４の処理の説明は、色差信号として説明する。
また、色ヒストグラムを得るときに用いられる色は色差信号Ｃｒ，Ｃｂに限らず、Ｒ，Ｇ，Ｂなど他の色でもよい。また、色情報は色ヒストグラムに限られるものではなく、その他の色に関する情報を用いてもよいことは勿論である。
Information of this color histogram is acquired for each of the color difference signal Cr and the color difference signal Cb. Since the process of the
The color used when obtaining the color histogram is not limited to the color difference signals Cr and Cb, but may be other colors such as R, G, and B. In addition, the color information is not limited to the color histogram, and it is needless to say that information on other colors may be used.
まず、画像ＲＡＭ３から前フレームでの色情報を読み込む（ステップＳ３１）。前フレームでの色情報とは、図２のステップＳ６の色情報抽出の処理で抽出された前フレームでの色情報である。そして、この前フレームでの色情報は、画像ＲＡＭ３の他に記憶部７にも記憶されている場合があるので、その記憶部７から読み出してもよい。 First, color information in the previous frame is read from the image RAM 3 (step S31). The color information in the previous frame is the color information in the previous frame extracted by the color information extraction process in step S6 of FIG. The color information in the previous frame may be stored in the storage unit 7 in addition to the image RAM 3, and may be read from the storage unit 7.
次に、前フレームでの色情報を色基準値とする（ステップＳ３２）。この色基準値に含まれる色ヒストグラムを基準色ヒストグラムとする。 Next, the color information in the previous frame is set as a color reference value (step S32). A color histogram included in this color reference value is set as a reference color histogram.
前フレームでの頭部領域を含む所定の範囲を現在のフレーム内に設定する。そして、その設定した範囲（色検索範囲）内を、基準色ヒストグラムを算出した範囲（検索領域）で走査しながら色ヒストグラムおよびマッチング二乗誤差を算出する処理を、検索領域の数だけ反復して行う（ステップＳ３３〜ステップＳ３９）。例えば、前フレーム６１Ｌでの色検索範囲６２Ｌと同じ領域（色検索範囲６２Ｂ）を現在のフレーム６１Ｂ上に設定する（図８を参照）。そして、色検索範囲６２Ｂ内を検索領域で走査しながら、各検索領域の抽出色ヒストグラムおよびマッチング二乗誤差を算出する処理を行う。
A predetermined range including the head region in the previous frame is set in the current frame. Then, the process of calculating the color histogram and matching square error while scanning the set range (color search range) within the range (search region) in which the reference color histogram is calculated is repeated for the number of search regions. (Step S33 to Step S39). For example, the same area (
まず、ステップ３４にて、色検索範囲６２Ｂ内において、検索領域の抽出色ヒストグラムを算出する。そして、ステップＳ３５にて抽出色ヒストグラムと基準色ヒストグラムを用いて、マッチング二乗誤差を算出する。
First, in step 34, an extracted color histogram of the search area is calculated within the
以下に、マッチング二乗誤差の算出方法を、図９を用いて説明する。ｉは、抽出色ヒストグラム（図９Ｂ）および基準色ヒストグラム（図９Ａ）での任意の階調を示し、ｉｍａｘは抽出色ヒストグラム（図９Ｂ）および基準色ヒストグラム（図９Ａ）での最大の度数であるときの階調を示す。階調範囲Ｂはｉｍａｘを中心とした範囲で、その階調範囲Ｂは適宜に設定される。
次に、基準色ヒストグラムの階調毎の度数の値をＳｔｄＨ［ｉ］とし、ｉ＝ｉｍａｘのときのＳｔｄＨ［ｉｍａｘ］＝Ｘとなる。抽出色ヒストグラムの階調毎の度数の値をＧｅｔＨ［ｉ］とし、ｉ＝ｉｍａｘのときのＧｅｔＨ［ｉｍａｘ］＝Ｙとなる。
Hereinafter, a method of calculating the matching square error will be described with reference to FIG. i represents an arbitrary gradation in the extracted color histogram (FIG. 9B) and the reference color histogram (FIG. 9A), and imax is the maximum frequency in the extracted color histogram (FIG. 9B) and the reference color histogram (FIG. 9A). The gradation at a certain time is shown. The gradation range B is a range centered on imax, and the gradation range B is appropriately set.
Next, the frequency value for each gradation of the reference color histogram is StdH [i], and StdH [imax] = X when i = imax. The frequency value for each gradation of the extracted color histogram is GetH [i], and GetH [imax] = Y when i = imax.
マッチング二乗誤差ＳＥは、次の式１により決定される。
The matching square error SE is determined by the
図７のステップＳ３６にて、最大度数値誤差ｐｅａｋＥを行う。この最大度数値誤差ｐｅａｋＥは、基準色ヒストグラム内での最大の度数と抽出色ヒストグラム内での最大の度数の差とする。
最大度数値誤差ｐｅａｋＥは、以下の式にて決定される。
ｐｅａｋＥ＝ＳｔｄＨ［ｉｍａｘ］−ＧｅｔＨ［ｉｍａｘ］
In step S36 of FIG. 7, the maximum numerical value error peakE is performed. The maximum numerical value error peakE is a difference between the maximum frequency in the reference color histogram and the maximum frequency in the extracted color histogram.
The maximum numerical value error peakE is determined by the following equation.
peakE = StdH [imax] −GetH [imax]
次に、ステップＳ３７にて、マッチング二乗誤差ＳＥが前フレームでのマッチング二乗誤差より小さいかどうかを判定する。
マッチング二乗誤差ＳＥが小さい場合、現在のフレームから抽出される抽出色ヒストグラム、マッチング二乗誤差ＳＥおよび最大度数値誤差ｐｅａｋＥの値を画像ＲＡＭ３に記憶する（ステップＳ３８）。そして、マッチング二乗誤差ＳＥが大きい場合、前フレームから抽出される抽出色ヒストグラム、マッチング二乗誤差ＳＥおよび最大度数値誤差ｐｅａｋＥの値を更新せずに、そのままとする。
Next, in step S37, it is determined whether the matching square error SE is smaller than the matching square error in the previous frame.
If the matching square error SE is small, the extracted color histogram extracted from the current frame, the matching square error SE, and the maximum degree numerical error peakE are stored in the image RAM 3 (step S38). If the matching square error SE is large, the extracted color histogram extracted from the previous frame, the matching square error SE, and the maximum degree numerical error peakE are not updated and are left as they are.
ただし、前フレームでのマッチング二乗誤差ＳＥの値が存在しない場合は、現在のフレームで算出される、抽出色ヒストグラム、マッチング二乗誤差ＳＥおよび最大度数値誤差ｐｅａｋＥの値が記憶される。 However, if there is no matching square error SE value in the previous frame, the extracted color histogram, matching square error SE, and maximum degree numerical error peakE values calculated in the current frame are stored.
そして、色検索範囲の全領域での検索が終わった後、最終的に記憶されている最大度数値誤差ｐｅａｋＥが所定の閾値以内かどうかを判定する（ステップＳ４０）。なお、所定の閾値とは、適宜に設定することができる。しかし、この閾値は、あまり大きい値に設定しないことである。例えば、この閾値を大きい値にした場合、実際には対象人物の頭部がない領域を対象人物の頭部だと特定してしまう恐れがある。ちなみに、本実施の形態では、一例として基準ピーク値の１０％としている。 Then, after the search in the entire area of the color search range is completed, it is determined whether or not the finally stored maximum degree numerical error peakE is within a predetermined threshold (step S40). The predetermined threshold value can be set as appropriate. However, this threshold is not set to a very large value. For example, when this threshold value is set to a large value, there is a possibility that an area that does not actually have the head of the target person is identified as the head of the target person. Incidentally, in this embodiment, it is 10% of the reference peak value as an example.
最大度数値誤差ｐｅａｋＥが所定の閾値内である場合、その最大度数値誤差ｐｅａｋＥが算出された時の後頭部領域を頭部領域として更新する（ステップＳ４１）。そして、最大度数値誤差ｐｅａｋＥが所定の閾値以内でない場合、色追尾の処理を終了する（ステップＳ４２） When the maximum numerical value error peakE is within a predetermined threshold, the occipital region when the maximum numerical value error peakE is calculated is updated as the head region (step S41). If the maximum numerical error peakE is not within a predetermined threshold, the color tracking process is terminated (step S42).
次に、色追尾部２４における表示枠変更処理について、図１０〜１３を用いて説明する。ここでの表示枠変更処理は、対象人物の頭部が常に一定の大きさに表示されるように、基準の表示枠の大きさに対する現在のフレームにおける頭部の表示枠の大きさの変化率を算出する。そして、変化率に応じて、現在のフレームにおける頭部の表示枠の大きさが基準の表示枠に合わせて一定となるよう対象人物の頭部に対するズーム値を決定する。
基準の表示枠とは、最初に対象人物を指定したときの頭部の表示の大きさ、又は予め指定している頭部の表示の大きさである。
Next, the display frame changing process in the
The reference display frame is the display size of the head when the target person is first specified, or the display size of the head specified in advance.
図１０は色追尾部２４における表示枠変更処理におけるフローチャートを示し、図１１は表示枠変更処理でのフレームの一例を示す。そして、図１２は比較及び表示枠の変更処理のフローチャートを示す。図１３Ａは頭部領域が基準の表示枠より小さい場合でのフレームの一例を示し、図１３Ｂは頭部領域が基準の表示枠より大きい場合でのフレームの一例を示す。
FIG. 10 shows a flowchart of the display frame changing process in the
表示枠変更処理は、色追尾部２４により色追尾ができた場合に実行されるものである。
The display frame changing process is executed when the
まず、図１１Ａに示すように、前フレームでの頭部領域を縦１／２倍および横１／２倍にした領域８３Ａで色検索範囲８１内を走査する。そして、前フレームでの頭部領域を縦１／２倍および横１／２倍にした領域での抽出色ヒストグラムに適合する領域が現在のフレーム内にあるかの判定を行う（ステップＳ５１）。
First, as shown in FIG. 11A, the
次に、図１１Ｂに示すように、前フレームでの頭部領域を縦３／２倍および横３／２倍にした領域８３Ｂで色検索範囲８１内を走査する。そして、前フレームでの頭部領域を縦３／２倍および横３／２倍にした領域での抽出色ヒストグラムに適合する領域が現在のフレーム内にあるかの判定を行う（ステップＳ５２）。
Next, as shown in FIG. 11B, the
図１１Ｃに示すように、前フレームでの頭部領域と等しい領域８３Ｃで色検索範囲８１内を走査して、前フレームでの頭部領域での抽出色ヒストグラムに適合する領域が現在のフレーム内にあるかの判定を行う（ステップＳ５３）。
なお、上述のステップＳ５１〜ステップＳ５３の判定処理において、前フレームでの頭部領域の大きさを１／２倍および３／２倍にしているのは一例であり、例えば、２／３倍や３／４倍等の様々な倍率に設定することができる。これにより、頭部領域の表示枠の変化率をより精度良く算出することができる。
As shown in FIG. 11C, the
Note that, in the determination processing in steps S51 to S53 described above, the size of the head region in the previous frame is ½ times and 3/2 times, for example, 2/3 times, Various magnifications such as 3/4 can be set. Thereby, the change rate of the display frame of the head region can be calculated with higher accuracy.
そして、ステップＳ５１〜ステップＳ５３での判定処理の結果を比較し、その比較結果により頭部領域の表示枠の変化率を算出し、その変化率を用いて基準の表示枠に合うようなズーム値を決定する（ステップＳ５４）。 Then, the result of the determination processing in step S51 to step S53 is compared, the change rate of the display frame of the head region is calculated based on the comparison result, and the zoom value that matches the reference display frame using the change rate Is determined (step S54).
ここで、図１０のステップＳ５４の検索結果の比較及び表示枠の変更処理の詳細について、図１２および図１３を用いて説明する。
まず、ステップＳ５１〜ステップＳ５３での判定処理の結果から、基準の表示枠に対して、現在のフレームでの対象人物の頭部領域の割合を算出する（ステップＳ６１）。例えば、基準の表示枠に対する領域の割合とは、図１３Ａに示すように、基準の表示枠９１に対して、現在のフレームでの頭部領域９２を占める割合を算出することである。
Details of the comparison of the search results and the display frame changing process in step S54 in FIG. 10 will be described with reference to FIGS.
First, the ratio of the head area of the target person in the current frame with respect to the reference display frame is calculated from the results of the determination processes in steps S51 to S53 (step S61). For example, the ratio of the area to the reference display frame is to calculate the ratio of the
基準の表示枠に対して、現在のフレームでの対象人物の頭部領域を占める割合を算出する方法を、以下に説明する。
ここで、ＧｅｔＨｊ［ｉ］は、添字ｊの倍率とした前フレームでの頭部領域を検索領域としたときの抽出色ヒストグラムにおいて最大の度数を持つ階調iを中心とした、階調範囲Ｂでの各階調の度数である。また、ＧｅｔＰｊは、添字ｊの倍率とした前フレームでの頭部領域を検索領域としたときの抽出色ヒストグラムにおいて階調範囲Ｂの各階調の度数の合計値とする。ｊは前フレームでの頭部領域の縦横の倍率を示し、ｉは階調範囲Ｂにおける任意の階調である。
階調範囲Ｂの度数の合計値である、ＧｅｔＰ１／２、ＧｅｔＰ３／２、ＧｅｔＰ１は、次の式２〜４により求められる。
A method for calculating the ratio of the head area of the target person in the current frame to the reference display frame will be described below.
Here, GetH j [i] is a gradation range centering on the gradation i having the maximum frequency in the extracted color histogram when the head area in the previous frame with the magnification of the subscript j is used as the search area. This is the frequency of each gradation in B. Further, GetP j is the total value of the frequencies of each gradation in the gradation range B in the extracted color histogram when the head area in the previous frame with the magnification of the subscript j is used as the search area. j indicates the vertical and horizontal magnifications of the head region in the previous frame, and i is an arbitrary gradation in the gradation range B.
GetP 1/2 , GetP 3/2 , and GetP 1 , which are the total values of the frequencies in the gradation range B, are obtained by the following
ＧｅｔＰ１／２は、前フレームの頭部領域を縦１／２倍および横１／２倍にした領域を用いたときの階調範囲Ｂの度数の合計値を示す。ＧｅｔＰ３／２は、前フレームの頭部領域を縦３／２倍および横３／２倍にした領域での最大度数値の合計値を示す。ＧｅｔＰ１は、前フレームの頭部領域と等倍である領域での度数の合計値を示す。 GetP 1/2 indicates the total value of the frequencies in the gradation range B when using a region in which the head region of the previous frame is halved vertically and halved horizontally. GetP 3/2 indicates the total value of the maximum power values in a region in which the head region of the previous frame is 3/2 times long and 3/2 times wide. GetP 1 indicates the total value of the frequencies in an area that is the same size as the head area of the previous frame.
次に、図１２のステップＳ６２で、ＧｅｔＰ１がＧｅｔＰ１／２の７／８未満かつ、ＧｅｔＰ３／２がＧｅｔＰ１／２の７／１８未満かどうかの判定を行う。 Next, in step S62 of FIG. 12, it is determined whether GetP 1 is less than 7/8 of GetP 1/2 and GetP 3/2 is less than 7/18 of GetP 1/2 .
ＧｅｔＰ１がＧｅｔＰ１／２の７／８未満かつ、ＧｅｔＰ３／２がＧｅｔＰ１／２の７／１８未満である場合、基準の表示枠の大きさに対する現在のフレームでの頭部領域の大きさの変化率を算出する（ステップＳ６３）。例えば、この場合の変化率は７／８倍となる。
なお、図１３Ａに示すように、頭部が前フレームの頭部領域の７／８倍の大きさである場合、それぞれの領域からの色ヒストグラムから得られる各階調の度数の合計値は、理想的には以下の割合となる。
ＧｅｔＰ１／２：ＧｅｔＰ１：ＧｅｔＰ３／２＝１：７／８：７／１８
If GetP 1 is less than 7/8 of GetP 1/2 and GetP 3/2 is less than 7/18 of GetP 1/2 , the size of the head region in the current frame relative to the size of the reference display frame The rate of change in height is calculated (step S63). For example, the change rate in this case is 7/8 times.
As shown in FIG. 13A, when the head is 7/8 times as large as the head region of the previous frame, the total value of the frequencies of each gradation obtained from the color histogram from each region is ideal. Specifically, the ratio is as follows.
GetP 1/2 : GetP 1 : GetP 3/2 = 1: 7/8: 7/18
ＧｅｔＰ１がＧｅｔＰ１／２の７／８未満かつ、ＧｅｔＰ３／２がＧｅｔＰ１／２の７／１８未満でない場合、ＧｅｔＰ３／２がＧｅｔＰ１の１／２以上かつＧｅｔＰ３／２がＧｅｔＰ１／２の１／２以上かどうかの判定を行う（ステップＳ６４）。 If GetP 1 is less than 7/8 of GetP 1/2 and GetP 3/2 is not less than 7/18 of GetP 1/2 , GetP 3/2 is greater than or equal to 1/2 of GetP 1 and GetP 3/2 is GetP 3 It is determined whether or not ½ of ½ or more (step S64).
ＧｅｔＰ３／２がＧｅｔＰ１の１／２以上かつＧｅｔＰ３／２がＧｅｔＰ１／２の１／２以上であった場合、基準の表示枠の大きさに対する現在のフレームでの頭部領域の大きさの変化率を算出する（ステップＳ６５）。例えば、この場合の変化率は９／８倍となる。
なお、図１３Ｂに示すように、頭部が前フレームの頭部領域の９／８倍の大きさである場合、それぞれの領域からの色ヒストグラムから得られる各階調の度数の合計値は、理想的には以下の割合となる。
ＧｅｔＰ１／２：ＧｅｔＰ１：ＧｅｔＰ３／２＝１：１：１／２
When GetP 3/2 is 1/2 or more of GetP 1 and GetP 3/2 is 1/2 or more of GetP 1/2 , the size of the head region in the current frame with respect to the size of the reference display frame The rate of change in height is calculated (step S65). For example, the change rate in this case is 9/8 times.
As shown in FIG. 13B, when the head is 9/8 times the size of the head region of the previous frame, the total value of the frequencies of each gradation obtained from the color histogram from each region is ideal. Specifically, the ratio is as follows.
GetP 1/2 : GetP 1 : GetP 3/2 = 1: 1: 1/2
上述した色ヒストグラムから得られる階調範囲Ｂの度数の合計値の割合は、理想的な数字であって、撮像データの状態や階調範囲Ｂの取り方などの条件により若干変わるので、計算に用いる数字は適宜に設定する。そして、これらの割合を使って頭部の表示枠の大きさの変化率を算出し、色追尾時の頭部の表示枠の大きさの変更を行う。 The ratio of the total value of the frequency of the gradation range B obtained from the color histogram described above is an ideal number, and varies slightly depending on conditions such as the state of the imaging data and how to obtain the gradation range B. The number to be used is set appropriately. Then, the rate of change in the size of the head display frame is calculated using these ratios, and the size of the head display frame during color tracking is changed.
ＧｅｔＰ３／２がＧｅｔＰ１の１／２以上かつＧｅｔＰ３／２がＧｅｔＰ１／２の１／２以上でない場合、対象人物の頭部の表示枠の大きさを変更せず、前フレームでの表示枠のままとする（ステップＳ６６）。
If
そして、色追尾部２４の表示枠変更処理により求められた変化率に応じて、現在のフレームでの頭部領域の大きさが基準の表示枠に合わせて一定となるよう対象人物の頭部領域に対するズーム値が決定される。
このズーム値は、制御部２で光学系駆動部１０を制御するための制御信号であってもよい。
Then, according to the change rate obtained by the display frame changing process of the
This zoom value may be a control signal for controlling the optical
［５．頭部領域を基準の表示枠で表示する表示制御の処理］
光学系駆動部１０における、対象人物の頭部領域を一定の表示枠で表示する表示制御の処理を、図１４〜１６を用いて説明する。図１４は表示制御処理におけるフローチャートを示し、図１５は撮像装置１と対象人物の顔との距離関係を示した図の一例を示す。そして、図１６は、光学系駆動部１０を使用した場合と使用しない場合での表示部４に表示されるフレーム（画像）の一例を示す。
[5. Display control processing for displaying the head area in the reference display frame]
Display control processing in the optical
まず、色追尾部２４で算出されたズーム値の信号を、制御部２が受信したどうかを判定する（ステップＳ７１）。ズーム値の信号を受けた場合、制御部２は、そのズーム値の信号に従って光学系駆動部１０を制御して、基準の表示枠と同等の大きさの表示になるように、フレーム（画像）を調整する（ステップＳ７２）。また、ズーム値の信号を受けていない場合には、現在のフレームでの対象人物の頭部領域と基準の表示枠と同等であるかどうかの判定を行う（ステップＳ７３）。
対象人物の頭部領域が基準の表示枠と同等である場合は、光学系駆動部１０を制御しないで終了する。
First, it is determined whether the
If the head area of the target person is equivalent to the reference display frame, the process is terminated without controlling the optical
ステップＳ７３の判定処理で対象人物の頭部領域が基準の表示枠と同等でないと判定された場合、制御部２が基準の表示枠と現在のフレームでの頭部領域との差を算出する。そして、その算出された差の値に従って光学系駆動部１０を制御して、基準の表示枠と同等の大きさの表示になるように、フレーム（画像）を調整する（ステップＳ７４）。
If it is determined in step S73 that the head area of the target person is not equivalent to the reference display frame, the
例えば、図１５に示すように、撮像装置１に対して、頭部１０５が基準の位置から距離Ｌ１下がって頭部１０４の位置になった場合は、基準の表示枠１０７と同じ大きさの表示になるように、光学系９のズームイン駆動が行われる。つまり、通常の表示では図１６Ａのフレーム（画像）１０１ａとなり、対象人物の頭部は小さく表示される。しかし、この表示制御処理により図１６Ｂのフレーム（画像）１０１ｂでの対象人物の頭部は小さくならず、基準の位置にあるフレーム（画像）１０２ｂの頭部１０５ｂと同じ大きさの表示となる。
For example, as illustrated in FIG. 15, when the
また、撮像装置１に対して、頭部１０５が基準の位置から距離Ｌ２に前進して頭部１０６の位置になった場合は、基準の表示枠１０７と同じ大きさの表示になるように、光学系９のズームアウト駆動が行われる。つまり、通常の表示では図１６Ａのフレーム（画像）１０３ａとなり、対象人物の頭部は大きく表示される。しかし、この表示制御処理により図１６Ｂのフレーム（画像）１０３ｂでの対象人物の頭部は小さくならず、基準の位置にあるフレーム（画像）１０２ｂの頭部１０５ｂと同じ大きさの表示となる。
In addition, when the
以上説明したように、本発明は、撮影した対象人物の後頭部の頭髪色を利用することにより、対象人物の顔を一度検出するだけで、対象人物の顔がどの方向を向いていても、動画像において対象人物の頭部を追尾することができる。また、対象人物が近づいても遠ざかっても、同様に動画像において対象人物の頭部を追尾することができる。 As described above, according to the present invention, by using the hair color of the back of the head of the target person that has been photographed, the face of the target person can be detected only once by detecting the face of the target person. The head of the target person can be tracked in the image. In addition, even if the target person approaches or moves away, the head of the target person can be tracked in the moving image.
また、対象人物の後頭部の頭髪色を利用することにより、対象人物の頭部の大きさが顔の方向や姿勢によらず検出できるため、安定して正確な頭部追尾を行うことができる。 In addition, since the size of the head of the target person can be detected regardless of the face direction or posture by using the hair color of the back of the target person, stable and accurate head tracking can be performed.
また、色追尾処理により頭部の表示枠の大きさを調整して一定サイズで頭部を検出し続けることにより、頭部の追尾が安定して行われるようにすることができる。 In addition, the head tracking can be stably performed by adjusting the size of the display frame of the head by color tracking processing and continuing to detect the head at a fixed size.
また、タッチパネルを使って対象人物の顔をタッチする方法や方向キーにより指定する方法、登録した対象人物の顔（頭部）を用いた自動の個人照合など、顔向きによらず様々な方法での対象顔（対象頭部）を指定することができる。それにより、大勢の人がいる中で顔の一部や後頭部のみが撮影可能な状態でも、対象人物の顔を一度検出していれば対象人物の頭部を常に追尾することが可能である。 In addition, there are various methods regardless of the face orientation, such as a method of touching the face of the target person using the touch panel, a method of specifying with the direction keys, and an automatic personal verification using the registered target person's face (head). The target face (target head) can be designated. As a result, even if only a part of the face or only the back of the head can be photographed in the presence of a large number of people, it is possible to always track the head of the target person once the face of the target person is detected.
また、対象人物の頭部を予め一定の大きさに表示させるように、基準の表示枠を設定することで、顔の一部や後頭部のみが撮影可能な状態でも対象人物の頭部の表示は常に基準の表示枠と同じ大きさで表示させることが可能である。さらに、対象人物の顔（頭部）とその（表示枠の）サイズを予め設定しておくことで、大勢の中に対象顔が見つかった時のみ頭部を指定サイズまで自動でズームすることも可能である。 In addition, by setting a reference display frame so that the target person's head is displayed in a certain size in advance, the target person's head can be displayed even when only a part of the face or the back of the head can be photographed. It is possible to always display the same size as the reference display frame. In addition, by setting the target person's face (head) and its size (in the display frame) in advance, the head can be automatically zoomed to the specified size only when the target face is found in large numbers. Is possible.
また、撮像装置にパンチルト駆動部を備えることで、色追尾処理と組み合わせて上下左右方向に対する広範囲で対象人物の頭部を追尾することができる。 Further, by providing the pan / tilt driving unit in the imaging apparatus, the head of the target person can be tracked in a wide range in the vertical and horizontal directions in combination with the color tracking process.
また、ズーム制御にトリミング機能を用いることにより、制御部２は、対象人物の顔が画像端に映っている場合でも、対象人物の顔周辺の領域のみを切り出して例えば画面中央に拡大表示する画像処理を行うことで、横の動きにも対応することができる。
Further, by using the trimming function for zoom control, the
なお、本発明に係る撮像装置および画像処理装置の処理は、ソフトウェアにより実行させることもできるし、ハードウェアにより実行させることもできる。また、これらの処理を実行する機能はハードウェアとソフトウェアの組み合わせによっても実現できることは言うまでもない。これらの処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能である。例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。 Note that the processing of the imaging apparatus and the image processing apparatus according to the present invention can be executed by software or can be executed by hardware. Needless to say, the function for executing these processes can also be realized by a combination of hardware and software. When these processes are executed by software, it is possible to execute various functions by installing a computer in which the programs that make up the software are installed in dedicated hardware, or by installing various programs. is there. For example, it is installed from a program recording medium in a general-purpose computer or the like.
例えば、上述例では、図２、５、７、１０、１１のフローチャートでの各処理要素を、ソフトウェアにより実行する例を説明したが、ハードウェアにより実行されるようにしてもよい。 For example, in the above-described example, each processing element in the flowcharts of FIGS. 2, 5, 7, 10, and 11 has been described as being executed by software, but may be executed by hardware.
また、本実施の形態では、対象人物の頭部を追尾した結果のフレームを表示部４で表示させるようにしている。しかし、このフレームを表示部４で表示させるとともに、記憶部７に記憶（録画）させてもよい。これにより、対象人物の頭部を追尾した録画データをいつでも見ることができる。
In the present embodiment, the
また、本実施の形態での対象人物の頭部追尾処理は、実時間での撮像データを用いて頭部追尾処理を行っているが、事前に録画した撮像データに対しても対象人物の頭部追尾処理を行うようにしてもよい。 Further, in the target person's head tracking process in the present embodiment, the head tracking process is performed using real-time imaging data, but the target person's head tracking process is also performed on pre-recorded imaging data. A part tracking process may be performed.
以上、本発明の一実施形熊の例について説明したが、本発明は上記実施形態の例に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。 As mentioned above, although the example of the embodiment bear of this invention was demonstrated, this invention is not limited to the example of the said embodiment, As long as it does not deviate from the summary of this invention described in the claim, other Including modifications and application examples.
１…撮像装置、２…制御部、３…画像ＲＡＭ、４…表示部、５…操作部、６…画像処理、７…記憶部、８…外部インターフェース、９…光学系、１０…光学系駆動部、１１…イメージセンサ、１２…信号処理部、１３…パンチルト駆動部、１４…データバス、２１…顔検出部、２１Ａ…顔向き判定部、２２…頭部追尾部、２３…特徴点追尾部、２３Ａ…特徴点情報抽出部、２３Ｂ…ベクトル算出部、２４…色追尾部、２４Ａ…色情報抽出部
DESCRIPTION OF
Claims (7)
前記顔検出部で検出された前記対象人物の顔を含む頭部情報を記憶する記憶部と、
前記記憶部に記憶された前記対象人物の顔を含む頭部情報を基に、現在の撮像データにおける前記対象人物の横顔から後頭部までを含む頭部を検出し続ける頭部追尾部と、
を備える画像処理装置。 A face detection unit for detecting the face of the target person from the imaging data obtained from the imaging unit;
A storage unit for storing head information including the face of the target person detected by the face detection unit;
Based on head information including the face of the target person stored in the storage unit, a head tracking unit that continues to detect a head including the profile of the target person to the back of the target person in current imaging data;
An image processing apparatus comprising:
をさらに備え、
前記顔向き判定部で判定された顔の向きに応じて、前記対象人物の顔の情報を抽出する
請求項１に記載の画像処理装置。 A face orientation determination unit that determines the orientation of the face of the target person in the current imaging data detected by the face detection unit;
Further comprising
The image processing apparatus according to claim 1, wherein information on the face of the target person is extracted according to the face orientation determined by the face orientation determination unit.
前記顔向き判定部で顔の向きが判定できない場合、現在の撮像データにおいて、前記対象人物の顔の情報として当該顔と組みの後頭部部分から色情報を抽出する色情報抽出部と、を備える色追尾部を、更に備え、
前記色追尾部は、前記色情報抽出部から得られた色情報と、前記記憶部に記憶されている前記対象人物の顔と組みの後頭部部分の色情報から、現在の撮像データにおいて該当色情報を有する領域を検出する
請求項２に記載の画像処理装置。 The head tracking section is
If the face orientation determination unit cannot determine the face orientation, the current imaging data includes a color information extraction unit that extracts color information from the back of the head part of the target person and the face as information on the target person's face A tracking unit is further provided,
The color tracking unit uses the color information obtained from the color information extraction unit and the color information of the back of the head portion of the target person stored in the storage unit and the corresponding color information in the current imaging data. The image processing apparatus according to claim 2, wherein a region having a gap is detected.
前記色追尾部は、前記色情報抽出部で取得された現在の撮像データにおける前記対象人物の後頭部部分の抽出色ヒストグラムと、前記記憶部に記憶されている前記対象人物の過去の顔を含む頭部情報に基づく前記対象人物の顔と組みの後頭部部分の色の分布を示す基準色ヒストグラムから、現在の撮像データにおいて該当色情報を有する領域を前記対象人物の頭部として特定する
請求項３に記載の画像処理装置。 The color information extraction unit obtains an extracted color histogram indicating the color distribution of the back of the head part of the target person's face and the combination from current imaging data,
The color tracking unit includes an extracted color histogram of the occipital region of the target person in the current imaging data acquired by the color information extraction unit, and a head including the past face of the target person stored in the storage unit The region having the corresponding color information in the current imaging data is identified as the head of the target person from the reference color histogram indicating the color distribution of the back of the head part of the target person's face and the combination based on the part information. The image processing apparatus described.
前記色追尾部により求められた前記変化率に応じて、前記現在の撮像データにおける頭部の表示枠の大きさが前記基準の表示枠に合わせて一定となるよう前記対象人物の頭部に対するズーム値が決定される
請求項４に記載の画像処理装置。 The color tracking unit includes a display frame that is set according to the size of the face or head of the target person displayed on the display unit, and a reference display frame at the time of obtaining the extracted color histogram and current imaging data. Comparing the size of the display frame of the head, and based on the result of the comparison, calculating the rate of change of the size of the display frame of the head in the current imaging data relative to the size of the reference display frame,
Zooming with respect to the head of the target person so that the size of the display frame of the head in the current imaging data is constant according to the reference display frame according to the change rate obtained by the color tracking unit The image processing apparatus according to claim 4, wherein a value is determined.
前記顔向き判定部で顔の向きが判定できない場合、現在の撮像データにおいて、前記対象人物の顔の情報として当該顔の特徴点の座標と輝度を抽出する特徴点情報抽出部と、
前記特徴点情報抽出部により抽出される、前記記憶部に記憶されている直近の撮像データの前記対象人物の顔の特徴点の座標と輝度、および現在の撮像データの前記対象人物の顔の特徴点の座標と輝度から、当該特徴点の動きベクトルを算出する動きベクトル算出部と、を有する特徴点追尾部を、更に備え
前記特徴点追尾部は、前記動きベクトル算出部で算出された動きベクトルから、現在の撮像データにおける前記対象人物の顔を特定する
請求項２に記載の画像処理装置。 The head tracking section is
When the face orientation determination unit cannot determine the face orientation, a feature point information extraction unit that extracts the coordinates and brightness of the feature points of the target person as the face information of the target person in the current imaging data;
The coordinates and brightness of the feature point of the target person's face of the latest image data stored in the storage unit extracted by the feature point information extraction unit, and the feature of the target person's face of the current image data A feature vector tracking unit having a motion vector calculation unit that calculates a motion vector of the feature point from the coordinates and luminance of the point, and the feature point tracking unit is a motion vector calculated by the motion vector calculation unit The image processing apparatus according to claim 2, wherein the face of the target person in the current imaging data is specified.
前記撮像部より得られた撮像データから対象人物の顔を検出する顔検出部と、
前記顔検出部で検出された前記対象人物の顔を含む頭部情報を記憶する記憶部と、
前記記憶部に記憶された前記対象人物の顔を含む頭部情報を基に、現在の撮像データにおける前記対象人物の横顔から後頭部までを含む頭部を検出し続ける頭部追尾部と、
を備える撮像装置。 An imaging unit for imaging a subject;
A face detection unit for detecting the face of the target person from the imaging data obtained from the imaging unit;
A storage unit for storing head information including the face of the target person detected by the face detection unit;
Based on head information including the face of the target person stored in the storage unit, a head tracking unit that continues to detect a head including the profile of the target person to the back of the target person in current imaging data;
An imaging apparatus comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010024623A JP2011166305A (en) | 2010-02-05 | 2010-02-05 | Image processing apparatus and imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010024623A JP2011166305A (en) | 2010-02-05 | 2010-02-05 | Image processing apparatus and imaging apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011166305A true JP2011166305A (en) | 2011-08-25 |
Family
ID=44596510
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010024623A Pending JP2011166305A (en) | 2010-02-05 | 2010-02-05 | Image processing apparatus and imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011166305A (en) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013084593A1 (en) | 2011-12-06 | 2013-06-13 | ソニー株式会社 | Image processing device, image processing method, and program |
| JP2013162329A (en) * | 2012-02-06 | 2013-08-19 | Sony Corp | Image processing apparatus, image processing method, program, and recording medium |
| WO2013133142A1 (en) | 2012-03-09 | 2013-09-12 | ソニー株式会社 | Image processing device, image processing method, program |
| WO2013153883A1 (en) | 2012-04-09 | 2013-10-17 | ソニー株式会社 | Display control device, display control method, and program |
| WO2014109124A1 (en) | 2013-01-09 | 2014-07-17 | ソニー株式会社 | Image processing device, image processing method and program |
| WO2014109125A1 (en) | 2013-01-09 | 2014-07-17 | ソニー株式会社 | Image processing device, image processing method and program |
| US9648229B2 (en) | 2012-04-09 | 2017-05-09 | Sony Corporation | Image processing device and associated methodology for determining a main subject in an image |
| JP2019201387A (en) * | 2018-05-18 | 2019-11-21 | 株式会社ザクティ | Tracking controller |
| CN112601021A (en) * | 2020-12-14 | 2021-04-02 | 中标慧安信息技术股份有限公司 | Method and system for processing monitoring video of network camera |
| CN113158706A (en) * | 2020-01-07 | 2021-07-23 | 北京地平线机器人技术研发有限公司 | Face snapshot method, device, medium and electronic equipment |
| JP2021184564A (en) * | 2020-05-22 | 2021-12-02 | パナソニックＩｐマネジメント株式会社 | Image tracking device |
| CN113794861A (en) * | 2021-09-10 | 2021-12-14 | 王平 | Monitoring system and monitoring method based on big data network |
| WO2024023882A1 (en) * | 2022-07-25 | 2024-02-01 | 三菱電機株式会社 | Sensor data processing device and sensor data processing method |
-
2010
- 2010-02-05 JP JP2010024623A patent/JP2011166305A/en active Pending
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9734580B2 (en) | 2011-12-06 | 2017-08-15 | Sony Corporation | Image processing apparatus, image processing method, and program |
| US10630891B2 (en) | 2011-12-06 | 2020-04-21 | Sony Corporation | Image processing apparatus, image processing method, and program |
| WO2013084593A1 (en) | 2011-12-06 | 2013-06-13 | ソニー株式会社 | Image processing device, image processing method, and program |
| US10225462B2 (en) | 2012-02-06 | 2019-03-05 | Sony Corporation | Image processing to track face region of person |
| US20140247374A1 (en) | 2012-02-06 | 2014-09-04 | Sony Corporation | Image processing apparatus, image processing method, program, and recording medium |
| JP2013162329A (en) * | 2012-02-06 | 2013-08-19 | Sony Corp | Image processing apparatus, image processing method, program, and recording medium |
| US10455154B2 (en) | 2012-03-09 | 2019-10-22 | Sony Corporation | Image processing device, image processing method, and program including stable image estimation and main subject determination |
| KR20140138135A (en) | 2012-03-09 | 2014-12-03 | 소니 주식회사 | Image processing device, image processing method, program |
| WO2013133142A1 (en) | 2012-03-09 | 2013-09-12 | ソニー株式会社 | Image processing device, image processing method, program |
| US10848662B2 (en) | 2012-04-09 | 2020-11-24 | Sony Corporation | Image processing device and associated methodology for determining a main subject in an image |
| US9648229B2 (en) | 2012-04-09 | 2017-05-09 | Sony Corporation | Image processing device and associated methodology for determining a main subject in an image |
| US9712750B2 (en) | 2012-04-09 | 2017-07-18 | Sony Corporation | Display control device and associated methodology of identifying a subject in an image |
| WO2013153883A1 (en) | 2012-04-09 | 2013-10-17 | ソニー株式会社 | Display control device, display control method, and program |
| EP3562143A1 (en) | 2013-01-09 | 2019-10-30 | SONY Corporation | Image processing device, image processing method, and program |
| US11012614B2 (en) | 2013-01-09 | 2021-05-18 | Sony Corporation | Image processing device, image processing method, and program |
| WO2014109124A1 (en) | 2013-01-09 | 2014-07-17 | ソニー株式会社 | Image processing device, image processing method and program |
| US10547774B2 (en) | 2013-01-09 | 2020-01-28 | Sony Corporation | Image processing device, image processing method, and program |
| US9942460B2 (en) | 2013-01-09 | 2018-04-10 | Sony Corporation | Image processing device, image processing method, and program |
| WO2014109125A1 (en) | 2013-01-09 | 2014-07-17 | ソニー株式会社 | Image processing device, image processing method and program |
| JP2019201387A (en) * | 2018-05-18 | 2019-11-21 | 株式会社ザクティ | Tracking controller |
| CN113158706A (en) * | 2020-01-07 | 2021-07-23 | 北京地平线机器人技术研发有限公司 | Face snapshot method, device, medium and electronic equipment |
| JP2021184564A (en) * | 2020-05-22 | 2021-12-02 | パナソニックＩｐマネジメント株式会社 | Image tracking device |
| US11538172B2 (en) | 2020-05-22 | 2022-12-27 | Panasonic Intellectual Property Management Co., Ltd. | Image tracking apparatus |
| CN112601021A (en) * | 2020-12-14 | 2021-04-02 | 中标慧安信息技术股份有限公司 | Method and system for processing monitoring video of network camera |
| CN112601021B (en) * | 2020-12-14 | 2021-08-31 | 中标慧安信息技术股份有限公司 | Method and system for processing monitoring video of network camera |
| CN113794861A (en) * | 2021-09-10 | 2021-12-14 | 王平 | Monitoring system and monitoring method based on big data network |
| WO2024023882A1 (en) * | 2022-07-25 | 2024-02-01 | 三菱電機株式会社 | Sensor data processing device and sensor data processing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2011166305A (en) | Image processing apparatus and imaging apparatus | |
| US9927948B2 (en) | Image display apparatus and image display method | |
| KR101679290B1 (en) | Image processing method and apparatus | |
| US6075557A (en) | Image tracking system and method and observer tracking autostereoscopic display | |
| US8831282B2 (en) | Imaging device including a face detector | |
| US8494224B2 (en) | Perspective improvement for image and video applications | |
| WO2020125499A1 (en) | Operation prompting method and glasses | |
| US8682040B2 (en) | Image processing apparatus, image processing method, and image capturing apparatus | |
| JP6765917B2 (en) | Search device, its imaging device, and search method | |
| JP3888996B2 (en) | Zoom method for small digital camera | |
| US20120133754A1 (en) | Gaze tracking system and method for controlling internet protocol tv at a distance | |
| US9113075B2 (en) | Image processing method and apparatus and digital photographing apparatus using the same | |
| JP6184189B2 (en) | SUBJECT DETECTING DEVICE AND ITS CONTROL METHOD, IMAGING DEVICE, SUBJECT DETECTING DEVICE CONTROL PROGRAM, AND STORAGE MEDIUM | |
| KR101537948B1 (en) | Photographing method and apparatus using pose estimation of face | |
| KR101642402B1 (en) | Apparatus and method for capturing digital image for guiding photo composition | |
| JP2020525922A (en) | Method for removing object to be processed from image and apparatus for performing such method | |
| JP5625443B2 (en) | Imaging system and imaging apparatus | |
| CN114641983A (en) | System and method for obtaining intelligent panoramic image | |
| JP2021124669A (en) | Electronic apparatus | |
| US11443719B2 (en) | Information processing apparatus and information processing method | |
| JP2006259847A (en) | Automatic tracking device and automatic tracking method | |
| JP2011188258A (en) | Camera system | |
| JP6087615B2 (en) | Image processing apparatus and control method therefor, imaging apparatus, and display apparatus | |
| CN114647983A (en) | Display device and distance detection method based on portrait | |
| US20230132986A1 (en) | Information processing apparatus, information processing method, and program |