JP2007094536A - Device and method for tracking physical object - Google Patents

Device and method for tracking physical object Download PDF

Info

Publication number
JP2007094536A
JP2007094536A JP2005280200A JP2005280200A JP2007094536A JP 2007094536 A JP2007094536 A JP 2007094536A JP 2005280200 A JP2005280200 A JP 2005280200A JP 2005280200 A JP2005280200 A JP 2005280200A JP 2007094536 A JP2007094536 A JP 2007094536A
Authority
JP
Japan
Prior art keywords
tracking
image data
distance
processing unit
distance information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2005280200A
Other languages
Japanese (ja)
Inventor
Naoto Toba
直人 鳥羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2005280200A priority Critical patent/JP2007094536A/en
Publication of JP2007094536A publication Critical patent/JP2007094536A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To precisely track a physical object by using color information and distance information. <P>SOLUTION: The system for tracking physical object comprises an image input section 4 for inputting image data acquired by an imaging device 2, an area extracting section 5 for extracting the physical object from the initial image data, a tracking section 6 for successively tracking the physical object in the image data, and a frame update section 8 for generating the distance information of each image data, comparing the distance information of the successive image data, and adjusting the frame size of the physical object when tracking based on the comparison result. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、対象物追跡装置及び対象物追跡方法にかかり、特に、色情報と距離情報とを併用して対象物を追跡する領域追跡装置及び領域追跡方法に関する。   The present invention relates to an object tracking apparatus and an object tracking method, and more particularly to an area tracking apparatus and an area tracking method for tracking an object using color information and distance information together.

従来、ステレオ画像入力手段を用いて色情報と距離情報とを取得し、色情報及び距離情報に基づいて人物の顔領域を検出する顔領域検出装置が知られている（特許文献１参照）。このような顔領域検出装置は、色情報から肌色領域を抽出し、距離情報から顔の輪郭を与える輪郭モデルを生成し、肌色領域と輪郭モデルとの相関を利用して顔領域を特定するようになっている。そのため、従来のテンプレートマッチング法よりも高速で顔領域を検出することができるようになっている。
特開２００２−２１６１２９号公報 2. Description of the Related Art Conventionally, there is known a face area detection device that acquires color information and distance information using a stereo image input unit and detects a human face area based on the color information and distance information (see Patent Document 1). Such a face area detection device extracts a skin color area from color information, generates a contour model that gives a face outline from distance information, and specifies a face area using a correlation between the skin color area and the contour model. It has become. Therefore, the face area can be detected at a higher speed than the conventional template matching method.
JP 2002-216129 A

しかしながら、従来の顔領域検出装置によれば、距離情報を用いるのは初期の顔領域検出の輪郭モデルを決定する際だけであり、一旦顔領域を検出すると同じ輪郭モデルを用いて顔領域を追跡するようになっている。そのため、図８に示すように対象人物が撮像装置との距離を保ったまま平行に移動する場合には顔領域の大きさが変化しないので正確に追跡可能であるが、追跡対象と撮像装置との距離が変化した場合には輪郭モデルと顔領域との大きさが異なってしまい、輪郭モデル内に顔以外の物体が存在し、誤検出が起こってしまうという問題があった。   However, according to the conventional face area detection device, the distance information is used only when determining the contour model for initial face area detection. Once the face area is detected, the face area is tracked using the same contour model. It is supposed to be. Therefore, as shown in FIG. 8, when the target person moves in parallel while maintaining the distance from the imaging device, the size of the face area does not change and can be accurately tracked. When the distance of the contour changes, the size of the contour model differs from that of the face region, and there is a problem that an object other than the face exists in the contour model and erroneous detection occurs.

本発明はこのような点に鑑みてなされたものであり、色情報と距離情報とを用いて対象物を正確に追跡することを目的とするものである。   The present invention has been made in view of these points, and an object thereof is to accurately track an object using color information and distance information.

前記課題を解決するために、請求項１に記載の発明は、対象物追跡装置において、
撮像装置で取得された画像データが入力される画像入力部と、
初期の前記画像データから対象物を抽出する領域抽出部と、
後続の前記画像データにおける対象物を追跡処理する追跡処理部と、
各前記画像データにおける対象物の距離情報を作成し、連続する前記画像データにおける距離情報を比較し、その比較結果に基づいて前記追跡処理の際のフレームが対象物を的確に囲むようにフレームサイズを調整させるフレーム更新処理部と、
を備えることを特徴とする。 In order to solve the above problem, the invention according to claim 1 is an object tracking device,
An image input unit for inputting image data acquired by the imaging device;
An area extraction unit for extracting an object from the initial image data;
A tracking processing unit for tracking the target in the subsequent image data;
Create the distance information of the object in each of the image data, compare the distance information in the continuous image data, and based on the comparison result, the frame size so that the frame during the tracking process accurately surrounds the object A frame update processing unit for adjusting
It is characterized by providing.

請求項１に記載の発明によれば、領域抽出部により対象物が抽出され、追跡処理部により対象物の追跡処理が行われる。そして、フレーム更新処理部は、それぞれの画像データにおける対象物の距離情報を作成し、連続する画像データにおける距離情報を比較し、その比較結果に基づいて追跡処理の際のフレームが対象物を的確に囲むようにフレームサイズの調整を行う。   According to the first aspect of the present invention, the object is extracted by the region extraction unit, and the tracking processing of the object is performed by the tracking processing unit. Then, the frame update processing unit creates the distance information of the object in each image data, compares the distance information in the continuous image data, and the frame in the tracking process accurately identifies the object based on the comparison result. Adjust the frame size so that it surrounds.

請求項２に記載の発明は、請求項１に記載の対象物追跡装置において、
前記追跡処理部は、色分布ヒストグラムに基づいて追跡処理することを特徴とする。 The invention according to claim 2 is the object tracking device according to claim 1,
The tracking processing unit performs tracking processing based on a color distribution histogram.

請求項２に記載の発明によれば、追跡処理部は、初期の画像データにおける追跡対象の色情報を元に、類似する色分布ヒストグラムを有する領域を追跡対象として検出することにより対象物を追跡する。   According to the second aspect of the invention, the tracking processing unit tracks an object by detecting a region having a similar color distribution histogram as the tracking target based on the color information of the tracking target in the initial image data. To do.

請求項３に記載の発明は、請求項１又は２に記載の対象物追跡装置において、
前記対象物は、人物の顔であることを特徴とする。 The invention according to claim 3 is the object tracking device according to claim 1 or 2,
The object is a human face.

請求項３に記載の発明によれば、肌色情報を用いて対象となる人物の顔の追跡を行う。   According to the third aspect of the present invention, the face of the target person is tracked using the skin color information.

請求項４に記載の発明は、請求項１〜３のいずれか一項に記載の対象物追跡装置において、
前記撮像装置はステレオ画像を撮影するものであり、
前記ステレオ画像を立体視することにより距離画像を生成させる距離画像生成部を備え、
前記フレーム更新処理部は前記距離画像に基づいて距離情報を作成することを特徴とする。 The invention according to claim 4 is the object tracking device according to any one of claims 1 to 3,
The imaging device captures a stereo image,
A distance image generation unit that generates a distance image by stereoscopically viewing the stereo image;
The frame update processing unit creates distance information based on the distance image.

請求項４に記載の発明によれば、ステレオ画像を立体視することにより距離画像が生成され、距離画像の濃淡値に基づいて距離情報が作成され、距離情報の比較が容易に行われる。   According to the fourth aspect of the present invention, the distance image is generated by stereoscopically viewing the stereo image, the distance information is created based on the gray value of the distance image, and the distance information is easily compared.

請求項５に記載の発明は、対象物追跡方法において、
撮像装置で取得された画像データを画像入力部に入力する工程と、
領域抽出部により初期の前記画像データから対象物を抽出する工程と、
追跡処理部により後続の前記画像データにおける対象物を追跡処理する工程と、
フレーム更新処理部により、各前記画像データにおける対象物の距離情報を作成し、連続する前記画像データにおける距離情報を比較し、その比較結果に基づいて前記追跡処理の際のフレームが対象物を的確に囲むようにフレームサイズを調整させる工程と、
を行うことを特徴とする。 The invention according to claim 5 is the object tracking method,
Inputting image data acquired by the imaging device into the image input unit;
A step of extracting an object from the initial image data by an area extraction unit;
A process of tracking an object in the subsequent image data by a tracking processing unit;
The frame update processing unit creates distance information of the object in each of the image data, compares the distance information in the continuous image data, and the frame in the tracking process accurately identifies the object based on the comparison result. The step of adjusting the frame size to surround
It is characterized by performing.

請求項５に記載の発明によれば、領域抽出部により対象物が抽出され、追跡処理部により対象物の追跡処理が行われる。そして、フレーム更新処理部は、それぞれの画像データにおける対象物の距離情報を作成し、連続する画像データにおける距離情報を比較し、その比較結果に基づいて追跡処理の際のフレームが対象物を的確に囲むようにフレームサイズの調整を行う。   According to the fifth aspect of the present invention, the object is extracted by the region extraction unit, and the tracking process of the target is performed by the tracking processing unit. Then, the frame update processing unit creates the distance information of the object in each image data, compares the distance information in the continuous image data, and the frame in the tracking process accurately identifies the object based on the comparison result. Adjust the frame size so that it surrounds.

請求項１に記載の発明によれば、フレーム更新処理部は、連続する画像データにおける距離情報を比較するので、追跡対象の距離情報の変化により追跡対象と撮像装置との距離の変化を検出することができるようになっている。従って、追跡対象の光軸方向における移動に応じて追跡処理の際のフレームサイズを調整することにより、的確なサイズのフレームで対象物を検出することができ、誤検出を防止して正確な追跡処理が可能である。   According to the first aspect of the present invention, since the frame update processing unit compares the distance information in the continuous image data, it detects the change in the distance between the tracking target and the imaging device based on the change in the tracking target distance information. Be able to. Therefore, by adjusting the frame size during the tracking process according to the movement of the tracking target in the optical axis direction, it is possible to detect the target object with a frame of the correct size, and prevent accurate detection and accurate tracking. Processing is possible.

請求項２に記載の発明によれば、追跡処理部による対象物の追跡処理は色情報に基づいて行われるので、対象物の形状などに基づいて検出するよりも処理に要する時間の短縮化や処理の簡略化が可能である。   According to the invention described in claim 2, since the tracking process of the object by the tracking processing unit is performed based on the color information, the time required for the process can be shortened rather than the detection based on the shape of the object. Processing can be simplified.

請求項３に記載の発明によれば、対象となる人物の顔の検出を行うので、対象人物の正確な追跡が可能であり、顔認証装置などに用いることも可能である。   According to the third aspect of the present invention, since the face of the target person is detected, the target person can be accurately tracked and can be used for a face authentication device or the like.

請求項４に記載の発明によれば、距離情報は濃淡値に基づくので、三次元形状を計測する装置を別途備えることなく、フレーム更新処理部は距離情報の比較を用意に行うことができる。   According to the fourth aspect of the invention, since the distance information is based on the gray value, the frame update processing unit can easily compare the distance information without separately providing a device for measuring the three-dimensional shape.

請求項５に記載の発明によれば、フレーム更新処理部は、連続する画像データにおける距離情報を比較し、追跡対象の距離情報の変化により追跡対象と撮像装置との距離の変化を検出することができるようになっている。従って、追跡対象の光軸方向における移動に応じて追跡処理の際のフレームサイズを調整し、的確なサイズのフレームで対象物を検出することができ、誤検出を防止して正確な追跡処理が可能である。   According to the invention described in claim 5, the frame update processing unit compares the distance information in the continuous image data, and detects the change in the distance between the tracking target and the imaging device based on the change in the tracking target distance information. Can be done. Therefore, it is possible to adjust the frame size during the tracking process according to the movement of the tracking target in the optical axis direction, and to detect the target object with a frame having an accurate size, thereby preventing an erroneous detection and performing an accurate tracking process. Is possible.

以下に、本発明に係る対象物追跡装置の一実施形態について、図面を参照して説明する。ただし、発明の範囲を図示例に限定するものではない。   Hereinafter, an embodiment of an object tracking device according to the present invention will be described with reference to the drawings. However, the scope of the invention is not limited to the illustrated examples.

本実施形態の対象物追跡装置は、対象となる人物の顔を対象物として検出して追跡する顔追跡装置１である。
図１に示すように、顔追跡装置１には、所定方向の画像を撮影する撮像装置２が備えられている。撮像装置２は一対のＣＣＤカメラなどを備えており、所定時間間隔でカラーステレオ画像が撮影されるようになっている。撮像装置２には、図２（ａ）に示すようなカラーステレオ画像を読み込んで、ＲＧＢ座標の画像データに変換する画像入力手段３が接続されている。画像入力手段３には、画像入力手段３から画像データが入力され、連続する画像データを順次格納する画像入力部４が接続されている。 The object tracking device of the present embodiment is a face tracking device 1 that detects and tracks the face of a target person as an object.
As shown in FIG. 1, the face tracking device 1 includes an imaging device 2 that captures an image in a predetermined direction. The imaging device 2 includes a pair of CCD cameras and the like, and color stereo images are taken at predetermined time intervals. An image input unit 3 that reads a color stereo image as shown in FIG. 2A and converts it into image data of RGB coordinates is connected to the imaging device 2. The image input unit 3 is connected to an image input unit 4 that receives image data from the image input unit 3 and sequentially stores continuous image data.

画像入力部４には、追跡開始の際の初期画像データから対象人物の顔領域を抽出する領域抽出部５が接続されている。領域抽出部５は画像入力部４から伝達された初期の画像データから顔領域を抽出し、顔領域の色情報、初期位置情報、初期サイズ情報を初期情報として設定するようになっている。ここで、顔領域の色情報とは、色分布ヒストグラムで表されるものである。また、顔領域の位置情報とは、画像データにおける平面座標系で表されるものである。さらに、顔領域のサイズ情報とは、画像データにおける顔領域の縦横幅の長さ寸法などで表されるものである。   The image input unit 4 is connected to a region extracting unit 5 that extracts the face region of the target person from the initial image data at the start of tracking. The region extraction unit 5 extracts a face region from the initial image data transmitted from the image input unit 4, and sets the color information, initial position information, and initial size information of the face region as initial information. Here, the color information of the face area is represented by a color distribution histogram. Further, the position information of the face area is represented by a plane coordinate system in the image data. Furthermore, the size information of the face area is represented by the length dimension of the face area in the image data.

領域抽出部５は、いわゆるテンプレートマッチング法により顔領域を抽出するようになっている。テンプレートマッチング法とは、さまざまな顔領域の画像をテンプレートとして予め準備し、画像データ中の肌色に相当する領域（図２（ａ）における斜線部）を検出し、テンプレートとのマッチングを調べることにより顔領域を抽出する方法である。領域抽出部５による顔領域の抽出法としては、テンプレートマッチング法のほか、従来より公知の方法が適宜適用可能であり、一例として手動抽出による領域指定法などが挙げられる。   The area extraction unit 5 extracts a face area by a so-called template matching method. In the template matching method, images of various face areas are prepared in advance as templates, areas corresponding to skin colors in the image data (the hatched portion in FIG. 2A) are detected, and matching with the template is examined. This is a method for extracting a face region. As a method for extracting a face region by the region extraction unit 5, a conventionally known method can be applied as appropriate in addition to a template matching method. An example is a region specifying method by manual extraction.

また、画像入力部４には、画像入力部４から出力された後続の画像データにおける顔領域を追跡処理する追跡処理部６が接続されている。追跡処理部６は、領域抽出部５にも接続されており、伝達された初期情報に基づいて正方形のフレーム内の顔領域を検出する。詳しくは、追跡処理部６は、後続の画像データにおいて、初期情報に類似する色分布ヒストグラムを有する領域を検出し、当該領域を顔領域とする。この際、追跡処理部６により画像データにおける顔領域のサイズ情報と位置情報が算出されるようになっている。   The image input unit 4 is connected to a tracking processing unit 6 that performs tracking processing of a face area in the subsequent image data output from the image input unit 4. The tracking processing unit 6 is also connected to the region extracting unit 5 and detects a face region in a square frame based on the transmitted initial information. Specifically, the tracking processing unit 6 detects an area having a color distribution histogram similar to the initial information in subsequent image data, and sets the area as a face area. At this time, the size information and position information of the face area in the image data are calculated by the tracking processing unit 6.

さらに、画像入力部４には、カラーステレオ画像の画像データを用いて立体視することにより、濃度の濃淡で距離が表される距離画像を作成する距離画像生成部７が接続されている。図２（ｂ）に示すように、距離画像においては、撮像装置２からの距離が遠いほど高い濃度の画素で表され、逆に距離が近いほど低い濃度の画素で表されるようになっている。   Further, the image input unit 4 is connected to a distance image generation unit 7 that creates a distance image in which the distance is expressed by the density density by performing stereoscopic viewing using the image data of the color stereo image. As shown in FIG. 2B, in the distance image, the farther the distance from the imaging device 2, the higher the density of pixels, and the closer the distance, the lower the density of pixels. Yes.

領域抽出部５、追跡処理部６及び距離画像生成部７には、それぞれの画像データにおける距離情報を作成し、連続する画像データの距離情報を比較して、追跡処理部６による追跡処理の際のフレームサイズの調整を行うフレーム更新処理部８が接続されている。フレーム更新処理部８には、領域抽出部５と追跡処理部６から伝達された全ての画像データにおける顔領域のサイズ情報と位置情報が順次格納されるようになっている。また、フレーム更新処理部８には、距離画像生成部７から伝達された全ての距離画像が順次格納されるようになっている。   The area extraction unit 5, the tracking processing unit 6 and the distance image generation unit 7 create distance information in each image data, compare the distance information of successive image data, and perform tracking processing by the tracking processing unit 6. A frame update processing unit 8 for adjusting the frame size is connected. The frame update processing unit 8 sequentially stores the size information and position information of the face region in all the image data transmitted from the region extraction unit 5 and the tracking processing unit 6. In addition, all the distance images transmitted from the distance image generation unit 7 are sequentially stored in the frame update processing unit 8.

フレーム更新処理部８は、各画像データにおける顔領域のサイズ情報と位置情報と、対応する距離画像に基づいて、それぞれの画像データにおける距離情報を作成するようになっている。距離情報は顔領域の濃淡値の平均で表されるようになっており、撮像装置２と対象人物との距離が近いほど値が小さく、当該距離が離れているほど値が大きいようになっている。   The frame update processing unit 8 creates distance information in each image data based on the size information and position information of the face area in each image data and the corresponding distance image. The distance information is expressed as an average of the gray values of the face area, and the value is smaller as the distance between the imaging device 2 and the target person is closer, and the value is larger as the distance is longer. Yes.

また、フレーム更新処理部８は、連続する画像データの距離情報を比較し、その比較結果に基づいて追跡処理部６により顔領域が検出される際のフレームサイズを調整するようになっている。詳しくは、図３に示すように、フレーム更新処理部８は、距離情報がより大きな値に変化していた場合、対象物と撮像装置２との距離が遠くなったと判断し、フレームサイズを縮小させる。逆に距離情報が小さな値に変化していた場合、対象物と撮像装置２との距離が近くなったと判断し、フレームサイズを拡大させる。この際、フレーム更新処理部８は、フレームが対象物の周囲を的確に囲み、対象物以外のものがフレーム内にほとんど存在しないようにフレームサイズを拡大／縮小して調整するようになっている。   Further, the frame update processing unit 8 compares distance information of continuous image data, and adjusts the frame size when the face region is detected by the tracking processing unit 6 based on the comparison result. Specifically, as illustrated in FIG. 3, when the distance information has changed to a larger value, the frame update processing unit 8 determines that the distance between the object and the imaging device 2 has become longer and reduces the frame size. Let On the other hand, if the distance information has changed to a small value, it is determined that the distance between the object and the imaging device 2 has become short, and the frame size is increased. At this time, the frame update processing unit 8 adjusts the frame size by enlarging / reducing the frame size so that the frame accurately surrounds the object and almost no object other than the object exists in the frame. .

次に、図４を用いて本実施形態における対象物追跡方法について説明する。
顔追跡装置１は対象物追跡を開始する際には、まず初期設定を行う。図５に示すように、撮像装置２によりカラーステレオ画像の撮影が開始される（ステップＳ１ａ）。撮影された初期のカラーステレオ画像は画像入力手段３に出力され、画像入力手段３により初期画像データに変換される。初期画像データは画像入力部４に格納され、領域抽出部５、距離画像生成部７に出力される。領域抽出部５は、初期画像データから、テンプレートマッチング法などにより対象人物の顔領域を抽出する（ステップＳ１ｂ）。 Next, the object tracking method in this embodiment is demonstrated using FIG.
When the face tracking device 1 starts tracking an object, it first performs an initial setting. As shown in FIG. 5, the imaging device 2 starts photographing color stereo images (step S1a). The captured initial color stereo image is output to the image input means 3 and converted into initial image data by the image input means 3. The initial image data is stored in the image input unit 4 and output to the region extraction unit 5 and the distance image generation unit 7. The area extracting unit 5 extracts the face area of the target person from the initial image data by a template matching method or the like (step S1b).

続いて、領域抽出部５は、抽出した顔領域の位置とサイズを算出する（ステップＳ１ｃ）。また、領域抽出部５は、初期画像データの顔領域に関する色情報としての色分布ヒストグラムを生成する（ステップＳ１ｄ）。   Subsequently, the region extraction unit 5 calculates the position and size of the extracted face region (step S1c). In addition, the region extraction unit 5 generates a color distribution histogram as color information regarding the face region of the initial image data (step S1d).

距離画像生成部７は、画像入力部４から初期に撮影した一対の初期画像データを伝達され、これら二つの初期画像データを用いて立体視することにより距離画像を生成する。生成された距離画像はフレーム更新処理部８に伝達され、初期の距離情報Ｄ０が作成される（ステップＳ１ｅ）。このようにして生成された顔領域の色分布ヒストグラム、サイズ情報及び位置情報が初期情報として設定される（ステップＳ１ｆ）。   The distance image generation unit 7 receives a pair of initial image data initially captured from the image input unit 4, and generates a distance image by performing stereoscopic viewing using these two initial image data. The generated distance image is transmitted to the frame update processing unit 8, and initial distance information D0 is created (step S1e). The color distribution histogram, size information, and position information of the face area generated in this way are set as initial information (step S1f).

続いて、撮像装置２により撮影された後続のカラーステレオ画像が画像入力手段３により読み取られ、画像データが取得される（ステップＳ２）。取得された画像データは画像入力部４に格納され、追跡処理部６、距離画像生成部７に伝達される。追跡処理部６は、後続の画像データにおいて初期情報を元に類似する色分布ヒストグラムを有する領域を検出して対象人物の顔を追跡する（ステップＳ３）。この際のフレームサイズは初期情報に基づいて調整されている。また、追跡処理部６は顔領域のサイズ情報と位置情報を算出し、フレーム更新処理部８に伝達する。   Subsequently, the subsequent color stereo image photographed by the imaging device 2 is read by the image input means 3, and image data is acquired (step S2). The acquired image data is stored in the image input unit 4 and transmitted to the tracking processing unit 6 and the distance image generation unit 7. The tracking processing unit 6 detects a region having a similar color distribution histogram in the subsequent image data based on the initial information, and tracks the face of the target person (step S3). The frame size at this time is adjusted based on the initial information. In addition, the tracking processing unit 6 calculates the size information and position information of the face area and transmits them to the frame update processing unit 8.

距離画像生成部７は、画像入力部４から後続の画像データを伝達され、これらにより距離画像を生成する（ステップＳ４）。生成された距離画像はフレーム更新処理部８に伝達され、フレーム更新処理部８は対応する画像データにおけるサイズ情報及び位置情報に基づいて距離情報Ｄ１を作成する。   The distance image generation unit 7 receives subsequent image data from the image input unit 4 and generates a distance image using these (step S4). The generated distance image is transmitted to the frame update processing unit 8, and the frame update processing unit 8 creates distance information D1 based on the size information and position information in the corresponding image data.

フレーム更新処理部８は、距離情報Ｄ０と距離情報Ｄ１を比較し（ステップＳ５）、初期画像撮影後から後続画像データの撮影までの間に、対象人物が撮像装置２との距離を変化させるように移動したか否かを判断する。判断方法としては、例えば、距離情報とは顔領域の濃淡値の平均により示されるものであり、距離情報の比較とは濃淡値の平均同士の比較である。図６に示すように、距離情報が変化して濃淡値が大きくなるほど、濃度が濃くなる位置に対象物が移動したことを示し、対象物と撮像装置２との距離が遠くなったことを示す。逆に、図７に示すように、距離情報が変化して濃淡値が小さくなるほど、明度の高い位置に対象物が移動したことを示し、対象物と撮像装置２との距離が近付いたことを示す。   The frame update processing unit 8 compares the distance information D0 and the distance information D1 (step S5) so that the target person changes the distance from the imaging device 2 after the initial image is captured until the subsequent image data is captured. It is determined whether or not it has been moved to. As a determination method, for example, the distance information is indicated by the average of the gray values of the face area, and the comparison of the distance information is a comparison of the average of the gray values. As shown in FIG. 6, as the distance information changes and the gray value increases, the object moves to a position where the density increases, and the distance between the object and the imaging device 2 increases. . Conversely, as shown in FIG. 7, as the distance information changes and the gray value becomes smaller, it indicates that the object has moved to a position with higher brightness, and that the distance between the object and the imaging device 2 has become closer. Show.

具体的には、フレーム更新処理部８は、まず距離情報Ｄ０が距離情報Ｄ１より小さいか否かを判断する（ステップＳ６）。距離情報Ｄ０が距離情報Ｄ１より小さい場合（ステップＳ６；Ｙｅｓ）、対象物が撮像装置２から遠くに移動したと判断してフレームサイズを縮小させる（ステップＳ７）。フレームサイズが縮小されると、フレームは対象人物の顔を的確に囲むようになり、対象物以外のものがフレーム内にほとんど存在しない状態となる。   Specifically, the frame update processing unit 8 first determines whether or not the distance information D0 is smaller than the distance information D1 (step S6). When the distance information D0 is smaller than the distance information D1 (step S6; Yes), it is determined that the object has moved far from the imaging device 2, and the frame size is reduced (step S7). When the frame size is reduced, the frame accurately surrounds the face of the target person, and there is almost no object other than the target in the frame.

距離情報Ｄ０が距離情報Ｄ１より小さくない場合（ステップＳ６；Ｎｏ）、距離情報Ｄ０が距離情報Ｄ１より大きいか否かを判断する（ステップＳ８）。距離情報Ｄ０が距離情報Ｄ１より大きい場合（ステップＳ８；Ｙｅｓ）、対象物が撮像装置２に近付いたと判断してフレームサイズを拡大させる（ステップＳ９）。フレームサイズが拡大されると、フレームは対象人物の顔がフレームの外に出ないように的確に囲む状態となる。   When the distance information D0 is not smaller than the distance information D1 (step S6; No), it is determined whether the distance information D0 is larger than the distance information D1 (step S8). If the distance information D0 is larger than the distance information D1 (step S8; Yes), it is determined that the object has approached the imaging device 2, and the frame size is increased (step S9). When the frame size is enlarged, the frame is properly surrounded so that the face of the target person does not come out of the frame.

距離情報Ｄ０が距離情報Ｄ１より小さくも大きくもない場合（ステップＳ８；Ｎｏ）、対象物と撮像装置２との距離は変化していないと判断してフレームサイズを変えずにそのまま保持する（ステップＳ１０）。   If the distance information D0 is not smaller or larger than the distance information D1 (step S8; No), it is determined that the distance between the object and the imaging device 2 has not changed and is held as it is without changing the frame size (step). S10).

このようにしてフレームサイズを調整させてから、撮像装置２がさらに後続の撮影を継続している場合（ステップＳ１１；Ｙｅｓ）、ステップＳ２に戻って以上の処理を繰り返す。詳しくは、画像入力部４に格納されている第ｎ番目の画像データが、距離画像生成部７と追跡処理部６にそれぞれ出力される（ステップＳ２）。追跡処理部６は第（ｎ−１）番目の画像データにおける位置情報及びサイズ情報に基づいて顔領域を探索する（ステップＳ３）。また、距離画像生成部７は距離情報Ｄｎを作成し（ステップＳ４）、フレーム更新処理部８に伝達される（ステップＳ５）。そして、フレーム更新処理部８は距離情報Ｄｎ−１と距離情報Ｄｎとを比較し（ステップＳ６，Ｓ８）、比較結果に基づいてフレームサイズの拡大縮小調整を行う（ステップＳ７，Ｓ９，Ｓ１０）。   After the frame size is adjusted in this way, when the imaging device 2 continues further imaging (step S11; Yes), the process returns to step S2 and the above processing is repeated. Specifically, the nth image data stored in the image input unit 4 is output to the distance image generation unit 7 and the tracking processing unit 6 (step S2). The tracking processing unit 6 searches for a face area based on position information and size information in the (n−1) th image data (step S3). Further, the distance image generation unit 7 creates the distance information Dn (step S4) and transmits it to the frame update processing unit 8 (step S5). Then, the frame update processing unit 8 compares the distance information Dn-1 and the distance information Dn (steps S6 and S8), and performs enlargement / reduction adjustment of the frame size based on the comparison result (steps S7, S9, and S10).

一方、撮像装置２が撮影を継続していない場合（ステップＳ１１；Ｎｏ）、対象物追跡を終了する。   On the other hand, when the imaging device 2 does not continue shooting (step S11; No), the object tracking is ended.

以上のように、本実施形態の顔追跡装置１によれば、フレーム更新処理部８は、連続する画像データにおける距離情報Dｎ−１とDｎを比較するので、距離情報の変化により対象人物と撮像装置２との距離の変化を検出することができるようになっている。従って、対象人物の光軸方向における移動に応じて追跡処理の際のフレームサイズを調整することにより、的確なサイズのフレームで顔領域を検出することができ、誤検出を防止して正確な追跡処理が可能である。
また、追跡処理部６による顔領域の追跡処理は色情報に基づいて行われるので、顔領域の形状などに基づいて検出するよりも処理に要する時間の短縮化や処理の簡略化が可能である。
さらに、距離情報は濃淡値に基づくので、レンジファインダのような三次元形状を計測する装置を別途備えることなく、対象人物の光軸方向の移動を検出することができる。 As described above, according to the face tracking device 1 of the present embodiment, the frame update processing unit 8 compares the distance information Dn−1 and Dn in the continuous image data, and thus the subject person and the image are captured by the change in the distance information. A change in the distance to the device 2 can be detected. Therefore, by adjusting the frame size during the tracking process according to the movement of the target person in the optical axis direction, the face area can be detected with a frame of an accurate size, and accurate tracking is performed while preventing erroneous detection. Processing is possible.
Further, since the tracking process of the face area by the tracking processing unit 6 is performed based on the color information, it is possible to shorten the time required for the process and to simplify the process compared to the detection based on the shape of the face area. .
Furthermore, since the distance information is based on the gray value, the movement of the target person in the optical axis direction can be detected without separately providing a device for measuring a three-dimensional shape such as a range finder.

なお、本実施形態の顔追跡装置１においては対象人物の撮像装置２の光軸方向における移動のみに応じてフレームサイズを調整させることとしたが、顔領域の位置情報に基づいて撮像装置２をパン／チルト制御して対象人物が画角から外れないようにすることとしてもよい。   In the face tracking device 1 of the present embodiment, the frame size is adjusted only according to the movement of the target person in the optical axis direction of the imaging device 2, but the imaging device 2 is controlled based on the position information of the face area. Pan / tilt control may be performed so that the target person does not deviate from the angle of view.

また、本実施形態においては追跡する対象物を人物の顔としたが、色情報で検出可能な領域に適応可能であり、特に限定されない。その場合、フレームの形状も対象物の形状に合わせて変更することとしてもよい。   In this embodiment, the object to be tracked is a person's face, but it can be applied to a region that can be detected by color information, and is not particularly limited. In that case, the shape of the frame may be changed according to the shape of the object.

本実施形態の顔追跡装置の制御構成を示すブロック図である。It is a block diagram which shows the control structure of the face tracking apparatus of this embodiment. 図２（ａ）は本実施形態におけるカラーステレオ画像の一つを表す説明図であり、図２（ｂ）は本実施形態における距離画像を表す説明図である。FIG. 2A is an explanatory diagram showing one of the color stereo images in the present embodiment, and FIG. 2B is an explanatory diagram showing a distance image in the present embodiment. 本実施形態のフレーム更新処理を示す説明図である。It is explanatory drawing which shows the frame update process of this embodiment. 本実施形態の対象物追跡方法を示すフローチャートである。It is a flowchart which shows the target tracking method of this embodiment. 本実施形態の初期設定を示すフローチャートである。It is a flowchart which shows the initial setting of this embodiment. 図６（ａ）は対象人物が撮像装置から遠くに移動した際のカラーステレオ画像の一つを表す説明図であり、図６（ｂ）は対象人物が撮像装置から遠くに移動した際の距離画像を表す説明図である。FIG. 6A is an explanatory diagram showing one of the color stereo images when the target person moves far from the imaging apparatus, and FIG. 6B shows the distance when the target person moves far from the imaging apparatus. It is explanatory drawing showing an image. 図７（ａ）は対象人物が撮像装置の近くに移動した際のカラーステレオ画像の一つを表す説明図であり、図７（ｂ）は対象人物が撮像装置の近くに移動した際の距離画像を表す説明図である。FIG. 7A is an explanatory diagram showing one of the color stereo images when the target person moves close to the imaging apparatus, and FIG. 7B shows the distance when the target person moves close to the imaging apparatus. It is explanatory drawing showing an image. 図８（ａ）は対象人物が撮像装置との距離を保ったまま移動した際のカラーステレオ画像の一つを表す説明図であり、図８（ｂ）は対象人物が撮像装置との距離を保ったまま移動した際の距離画像を表す説明図である。FIG. 8A is an explanatory diagram showing one of the color stereo images when the target person moves while keeping the distance from the imaging device, and FIG. 8B shows the distance between the target person and the imaging device. It is explanatory drawing showing the distance image at the time of moving with keeping.

符号の説明Explanation of symbols

１ 顔追跡装置
２ 撮像装置
３ 画像入力手段
４ 画像入力部
５ 領域抽出部
６ 追跡処理部
７ 距離画像生成部
８ フレーム更新処理部 DESCRIPTION OF SYMBOLS 1 Face tracking apparatus 2 Imaging apparatus 3 Image input means 4 Image input part 5 Area extraction part 6 Tracking process part 7 Distance image generation part 8 Frame update process part

Claims (5)

撮像装置で取得された画像データが入力される画像入力部と、
初期の前記画像データから対象物を抽出する領域抽出部と、
後続の前記画像データにおける対象物を追跡処理する追跡処理部と、
各前記画像データにおける対象物の距離情報を作成し、連続する前記画像データにおける距離情報を比較し、その比較結果に基づいて前記追跡処理の際のフレームが対象物を的確に囲むようにフレームサイズを調整させるフレーム更新処理部と、
を備えることを特徴とする対象物追跡装置。 An image input unit for inputting image data acquired by the imaging device;
An area extraction unit for extracting an object from the initial image data;
A tracking processing unit for tracking the target in the subsequent image data;
Create the distance information of the object in each of the image data, compare the distance information in the continuous image data, and based on the comparison result, the frame size so that the frame during the tracking process accurately surrounds the object A frame update processing unit for adjusting
An object tracking device comprising: 前記追跡処理部は、色分布ヒストグラムに基づいて追跡処理することを特徴とする請求項１に記載の対象物追跡装置。   The object tracking device according to claim 1, wherein the tracking processing unit performs tracking processing based on a color distribution histogram. 前記対象物は、人物の顔であることを特徴とする請求項１又は２に記載の対象物追跡装置。   The object tracking device according to claim 1, wherein the object is a human face. 前記撮像装置はステレオ画像を撮影するものであり、
前記ステレオ画像を立体視することにより距離画像を生成させる距離画像生成部を備え、
前記フレーム更新処理部は前記距離画像に基づいて距離情報を作成することを特徴とする請求項１〜３のいずれか一項に記載の対象物追跡装置。 The imaging device captures a stereo image,
A distance image generation unit that generates a distance image by stereoscopically viewing the stereo image;
The object tracking device according to claim 1, wherein the frame update processing unit creates distance information based on the distance image. 撮像装置で取得された画像データを画像入力部に入力する工程と、
領域抽出部により初期の前記画像データから対象物を抽出する工程と、
追跡処理部により後続の前記画像データにおける対象物を追跡処理する工程と、
フレーム更新処理部により、各前記画像データにおける対象物の距離情報を作成し、連続する前記画像データにおける距離情報を比較し、その比較結果に基づいて前記追跡処理の際のフレームが対象物を的確に囲むようにフレームサイズを調整させる工程と、
を行うことを特徴とする対象物追跡方法。 Inputting image data acquired by the imaging device into the image input unit;
A step of extracting an object from the initial image data by an area extraction unit;
A process of tracking an object in the subsequent image data by a tracking processing unit;
The frame update processing unit creates distance information of the object in each of the image data, compares the distance information in the continuous image data, and the frame in the tracking process accurately identifies the object based on the comparison result. The step of adjusting the frame size to surround
The object tracking method characterized by performing.
JP2005280200A 2005-09-27 2005-09-27 Device and method for tracking physical object Pending JP2007094536A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005280200A JP2007094536A (en) 2005-09-27 2005-09-27 Device and method for tracking physical object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005280200A JP2007094536A (en) 2005-09-27 2005-09-27 Device and method for tracking physical object

Publications (1)

Publication Number Publication Date
JP2007094536A true JP2007094536A (en) 2007-04-12

Family

ID=37980220

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005280200A Pending JP2007094536A (en) 2005-09-27 2005-09-27 Device and method for tracking physical object

Country Status (1)

Country Link
JP (1) JP2007094536A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009141475A (en) * 2007-12-04 2009-06-25 Nikon Corp Camera
JP2009223581A (en) * 2008-03-14 2009-10-01 Omron Corp Target image detection device, control method, control program, recording medium with the same program recorded thereon, and electronic equipment equipped with the target image detection device
WO2011102495A1 (en) 2010-02-16 2011-08-25 Ricoh Company, Ltd. Imaging device including target tracking function
WO2022252007A1 (en) * 2021-05-31 2022-12-08 Boe Technology Group Co., Ltd. Distance measurement method, distance measurement apparatus, and computer-program product

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009141475A (en) * 2007-12-04 2009-06-25 Nikon Corp Camera
US8436900B2 (en) 2007-12-04 2013-05-07 Nikon Corporation Pattern matching camera
JP2009223581A (en) * 2008-03-14 2009-10-01 Omron Corp Target image detection device, control method, control program, recording medium with the same program recorded thereon, and electronic equipment equipped with the target image detection device
US9189683B2 (en) 2008-03-14 2015-11-17 Omron Corporation Target image detection device, controlling method of the same, control program and recording medium recorded with program, and electronic apparatus equipped with target image detection device
WO2011102495A1 (en) 2010-02-16 2011-08-25 Ricoh Company, Ltd. Imaging device including target tracking function
CN102763405A (en) * 2010-02-16 2012-10-31 株式会社理光 Imaging device including target tracking function
EP2537331A1 (en) * 2010-02-16 2012-12-26 Ricoh Company, Ltd. Imaging device including target tracking function
EP2537331A4 (en) * 2010-02-16 2013-08-14 Ricoh Co Ltd Imaging device including target tracking function
US9092877B2 (en) 2010-02-16 2015-07-28 Ricoh Company, Ltd. Imaging device including target tracking function
WO2022252007A1 (en) * 2021-05-31 2022-12-08 Boe Technology Group Co., Ltd. Distance measurement method, distance measurement apparatus, and computer-program product

Similar Documents

Publication Publication Date Title
US9787905B2 (en) Image processing apparatus, image display apparatus and imaging apparatus having the same, image processing method, and computer-readable medium storing image processing program for displaying an image having an image range associated with a display area
KR102111935B1 (en) Display control apparatus, display control method, and program
CN108700408B (en) Three-dimensional shape data and texture information generation system, method and shooting control method
WO2014083721A1 (en) Information processing device and information processing method
JP2008232776A (en) Three-dimensional shape measuring device and method, and program
KR101510312B1 (en) 3D face-modeling device, system and method using Multiple cameras
JP2009060378A (en) Adjusting image display method in multi-view photographing system, and multi-view photographing system
JP2010152521A (en) Apparatus and method for performing stereographic processing to image
WO2014108976A1 (en) Object detecting device
JP2007094536A (en) Device and method for tracking physical object
JP2014154062A (en) Object detector
JP4871315B2 (en) Compound eye photographing apparatus, control method therefor, and program
JP2014142832A (en) Image processing apparatus, control method of image processing apparatus, and program
JP2007096480A (en) Object tracking apparatus and object tracking method
JP5004099B2 (en) Cursor movement control method and cursor movement control apparatus
JP6734994B2 (en) Stereo measuring device and system
JP2009239391A (en) Compound eye photographing apparatus, control method therefor, and program
JP2008287648A (en) Mobile body detection method and device, and monitoring device
US20160065941A1 (en) Three-dimensional image capturing apparatus and storage medium storing three-dimensional image capturing program
TWI516120B (en) Method for generating panoramic image and image capturing device thereof
JP2014216694A (en) Tracking pan head device with resolution increase processing
JP2011118767A (en) Facial expression monitoring method and facial expression monitoring apparatus
KR101599434B1 (en) Space detecting apparatus for image pickup apparatus using auto focusing and the method thereof
JP2005117316A (en) Apparatus and method for photographing and program
KR101283825B1 (en) 3-d auto-convergence camera