JP2011120076A - Image detection apparatus and image detection method - Google Patents
Image detection apparatus and image detection method Download PDFInfo
- Publication number
- JP2011120076A JP2011120076A JP2009276620A JP2009276620A JP2011120076A JP 2011120076 A JP2011120076 A JP 2011120076A JP 2009276620 A JP2009276620 A JP 2009276620A JP 2009276620 A JP2009276620 A JP 2009276620A JP 2011120076 A JP2011120076 A JP 2011120076A
- Authority
- JP
- Japan
- Prior art keywords
- image
- cut
- target
- target candidate
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、画像検出装置及び画像検出方法に関する。 The present invention relates to an image detection apparatus and an image detection method.
全方位カメラなどの広角カメラは、1台のカメラで広い視野範囲の画像を得ることができるため、種々の分野で広く用いられている。広角カメラは、例えば監視システム等に用いられている。特に、全方位カメラは、全方位レンズ光学系や全方位ミラー光学系を用いることで、全方位画像を得ることができるようになっている。また、全方位カメラにより得られる全方位画像は、一般に同心円状の画像(ドーナツ画像)である。 A wide-angle camera such as an omnidirectional camera is widely used in various fields because a single camera can obtain an image with a wide field of view. Wide-angle cameras are used in, for example, surveillance systems. In particular, an omnidirectional camera can obtain an omnidirectional image by using an omnidirectional lens optical system or an omnidirectional mirror optical system. An omnidirectional image obtained by an omnidirectional camera is generally a concentric image (a donut image).
広角カメラにより得られる撮影画像を表示する形態としては、例えば、撮影画像から注目物体(つまり、ターゲット)を含む領域を切り出して表示する形態(特許文献1参照)がある。広角カメラにより得られる撮影画像では、物体が映っている位置によって物体形状が歪んでしまう。このため、特許文献1に開示された画像処理装置では、切出画像に対して歪補正処理を行っている。 As a form of displaying a captured image obtained by a wide-angle camera, for example, there is a form (see Patent Document 1) in which a region including a target object (that is, a target) is cut out from the captured image and displayed. In the captured image obtained by the wide-angle camera, the object shape is distorted depending on the position where the object is reflected. For this reason, in the image processing apparatus disclosed in Patent Document 1, distortion correction processing is performed on the cut-out image.
ところで、歪補正処理後の画像品質は、歪んでいる物体画像を含む切出領域の設定位置によって、変動する。特に、全方位画像では、中央部と周辺部で歪の程度が異なる。 By the way, the image quality after the distortion correction processing varies depending on the set position of the cutout region including the distorted object image. In particular, in the omnidirectional image, the degree of distortion differs between the central portion and the peripheral portion.
このため第1段階で、ターゲット候補を含む周辺画像を切り出し、第2段階で、この切出画像を用いてターゲット認識を更に行う場合、第1段階の切出領域の設定の仕方が、ターゲット認識精度に対して大きく影響する。すなわち、切出領域の画像品質が悪い場合、ターゲットが切出領域の設定の誤差のため、ターゲットが切出領域に含まれなくなり、ターゲット認識が出来ない場合がある。中央部と周辺部で歪の程度が異なる全方位画像の場合は、この影響が特に大きい。 Therefore, when a peripheral image including target candidates is cut out in the first stage and target recognition is further performed using the cut out image in the second stage, the setting method of the cut out area in the first stage is the target recognition. It greatly affects the accuracy. That is, when the image quality of the cutout region is poor, the target may not be included in the cutout region due to an error in setting the cutout region, and target recognition may not be performed. In the case of an omnidirectional image in which the degree of distortion differs between the central part and the peripheral part, this influence is particularly great.
本発明は、かかる点に鑑みてなされたものであり、ターゲット認識精度を向上できる画像検出装置及び画像検出方法を提供することを目的とする。 SUMMARY An advantage of some aspects of the invention is that it provides an image detection apparatus and an image detection method capable of improving target recognition accuracy.
本発明の画像検出装置の一態様は、全体画像からターゲットを検出する検出手段と、前記ターゲットの誤認識要因に応じて、切出画像サイズを決定する決定手段と、前記ターゲットを含む前記切出画像サイズの切出画像を前記全体画像から切り出す切出手段と、を具備する。 One aspect of the image detection apparatus of the present invention includes a detection unit that detects a target from an entire image, a determination unit that determines a cut-out image size in accordance with a misrecognition factor of the target, and the cut-out including the target. Clipping means for cutting out an image-sized cut image from the whole image.
本発明の画像検出方法の一態様は、全体画像からターゲット候補を検出するステップと、各ターゲット候補の誤認識要因に応じて、切出画像サイズを決定するステップと、前記ターゲットを含む前記切出画像サイズの切出画像を前記全体画像から切り出すステップと、を具備する。 One aspect of the image detection method of the present invention includes a step of detecting a target candidate from an entire image, a step of determining a cut-out image size according to a misrecognition factor of each target candidate, and the cut-out including the target Cutting out a cutout image of the image size from the whole image.
本発明によれば、ターゲット認識精度を向上できる画像検出装置及び画像検出方法を提供することができる。 According to the present invention, it is possible to provide an image detection apparatus and an image detection method that can improve target recognition accuracy.
以下、本発明の一実施の形態について図面を参照して詳細に説明する。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
[1]構成
図1は、本発明の一実施の形態に係る画像検出装置100の構成を示すブロック図である。図1において、画像検出装置100は、ターゲット候補検出部110と、誤認識要因パラメータ算出部120と、切出領域決定部130と、切出部140と、歪補正部150と、テンプレート決定部160と、ターゲット認識部170と、ターゲット画像出力部180とを有する。画像検出装置100は、広角カメラと接続され、広角カメラで撮影された撮影画像を入力とする。広角カメラは、例えば、全方位カメラである。また、画像検出装置100は、表示装置と接続され、撮影画像から切り出した切出画像を表示装置に表示させる。
[1] Configuration FIG. 1 is a block diagram showing a configuration of an
ターゲット候補検出部110は、撮影画像S10に含まれるターゲット候補を検出する。ターゲットは、例えば人物である。また、ターゲットは、車輌等の物体でもよい。ターゲット候補検出部110は、例えば、前後する撮影フレームの撮影画像における動き差分又は背景差分(つまり、変化部分)に基づいて、移動物体をターゲット候補として撮影画像S10から検出する。
The target
ターゲット候補検出部110は、検出したターゲット候補の位置及びサイズを示すターゲット候補情報S11を出力する。ターゲット候補の位置情報は、例えば、ターゲット候補画像の中心座標である。また、ターゲット候補のサイズ情報は、ターゲット候補画像の中心からの広がりを示す情報であり、例えば、ターゲット候補の高さH及び幅Wで示される。ここで、ターゲットの位置情報は、撮影画像S10と同一の撮像座標系において、広角カメラのカメラ中心座標(撮影画像の中心といってもよい)を原点(0,0)とした(x,y)座標で示される情報である。
The target
誤認識要因パラメータ算出部120は、撮影画像S10及びターゲット候補情報S11に基づいて、ターゲットの誤認識要因パラメータS12を算出する。誤認識要因パラメータは、ターゲット候補のフォーカス値、歪み量、物体サイズ、輝度ヒストグラム、又は、広角カメラとターゲットとの実空間における離間距離であり、これらを単独であるいは組み合わせて用いることができる。この誤認識要因パラメータについては、後に詳しく説明する。
The misrecognition factor
切出領域決定部130は、ターゲット候補情報S11及び誤認識要因パラメータS12に基づいて、切出領域を決定する。切出領域決定部130は、ターゲット候補情報S11に基づいて、例えば、ターゲット候補画像の中心座標と切出領域の中心とが一致するように、切出領域の位置を決定する。また、切出領域決定部130は、ターゲット候補情報S11及び誤認識要因パラメータS12に基づいて、切出領域のサイズ(つまり、切出画像サイズ)を決定する。この切出画像サイズの決定方法については、後に詳しく説明する。
The cutout
切出部140は、切出領域決定部130によって決定された切出領域内の画像を撮影画像S10から切り出して、切出画像を歪補正部150へ出力する。
The
歪補正部150は、切出画像に対して歪補正処理を行う。切出画像が複数有る場合には、歪補正部150は、切出画像毎に歪補正処理を行う。歪補正処理後の切出画像は、ターゲット認識部170へ出力される。
The
テンプレート決定部160は、誤認識要因パラメータS12に基づいて、テンプレートを決定する。すなわち、テンプレート決定部160は、歪補正部150で取り除き切れていない歪成分を含む切出画像にマッチした、ターゲットのテンプレートを決定する。
The
ターゲット認識部170は、歪補正処理後の切出画像に含まれるターゲット画像を認識する。ここでは、ターゲット認識部170は、テンプレート決定部160で決定されたテンプレートを用いたテンプレートマッチング処理によって、ターゲットを認識する。このターゲット認識には、テンプレートの代わりに、HoG(Histogram of oriented Gradient)特徴量が用いられてもよいし、Edgelet特徴量が用いられてもよい。
The
ターゲット画像出力部180は、ターゲット認識部170でターゲットが認識された切出画像を表示装置へ出力する。
The target
[2]動作
上記構成を有する画像検出装置100の動作について説明する。
[2] Operation The operation of the
[2−1]処理フローの概要
図2は、本発明の一実施の形態に係る画像検出装置100の動作説明に供するフロー図である。
[2-1] Overview of Processing Flow FIG. 2 is a flowchart for explaining the operation of the
ステップST201でターゲット候補検出部110は、撮影画像S10に含まれるターゲット候補を検出する。
In step ST201, the target
ステップST202で誤認識要因パラメータ算出部120は、撮影画像S10及びターゲット候補情報S11に基づいて、ターゲットの誤認識要因パラメータS12を算出する。
In step ST202, the misrecognition factor
ステップST203で切出領域決定部130は、ターゲット候補情報S11及び誤認識要因パラメータS12に基づいて、切出画像サイズを決定する。ステップST203では、切出領域の位置も決定される。
In step ST203, the cut-out
ステップST204で切出部140は、切出領域決定部130によって決定された切出領域内の画像を撮影画像から切り出す。
In step ST204, the
ステップST205で歪補正部150は、切出画像に対して歪補正処理を行う。
In step ST205, the
ステップST206でターゲット認識部170は、歪補正処理後の切出画像に含まれるターゲット画像を認識する。
In step ST206, the
ステップST207では、ステップST202〜ステップST206の処理がステップST201で検出された全てのターゲット候補に対して行われたか否かが判定される。未だ全てのターゲット候補に対して行われていないと判定された場合(ステップST207:NO)には、ステップST202〜ステップST206の処理が、次の処理対象のターゲット候補に対して行われる。このように、ステップST202〜ステップST206の処理は、ST201で検出されたターゲット候補毎に行われる。一方、全てのターゲット候補に対して行われたと判定された場合(ステップST207:YES)には、ターゲット検出処理が終了する。 In step ST207, it is determined whether or not the processing in steps ST202 to ST206 has been performed for all target candidates detected in step ST201. If it is determined that the process has not been performed for all target candidates (step ST207: NO), the processes in steps ST202 to ST206 are performed for the next target candidate to be processed. As described above, the processes in steps ST202 to ST206 are performed for each target candidate detected in ST201. On the other hand, when it is determined that the process has been performed for all target candidates (step ST207: YES), the target detection process ends.
[2−2]切出画像サイズの決定方法
次に、誤認識要因パラメータ、及び、誤認識要因パラメータに応じた切出画像サイズの決定方法について説明する。
[2-2] Method for Determining Clipped Image Size Next, a method for determining a recognition image parameter according to a misrecognition factor parameter and a misrecognition factor parameter will be described.
[2−2−1]誤認識要因パラメータが、ターゲット候補のフォーカス値の場合:
ステップST202で誤認識要因パラメータ算出部120は、撮影画像S10及びターゲット候補情報S11に基づいて、ターゲット候補の相対フォーカス値を算出する。
[2-2-1] When the misrecognition factor parameter is the focus value of the target candidate:
In step ST202, the misrecognition factor
具体的には、誤認識要因パラメータ算出部120は、まず、画像全体の周波数成分、及び、各ターゲット候補の周波数成分を算出する。この周波数成分は0〜100の間に正規化してもよい。誤認識要因パラメータ算出部120は、画像信号をバンドパスフィルタ(図示せず)に入力したときの、バンドパスフィルタの出力値(つまり、所定の周波数成分の大きさ)を算出する。所定の周波数成分とは、例えば、エッジ部分を示す高周波成分である。
Specifically, the misrecognition factor
次に、誤認識要因パラメータ算出部120は、ターゲット候補の相対フォーカス値を算出する。この相対フォーカス値は、全体画像の周波数成分に対するターゲット候補の周波数成分の比である。
Next, the misrecognition factor
ステップST203で切出領域決定部130は、ターゲット候補情報S11の示すターゲット候補のサイズ及び相対フォーカス値に基づいて、切出画像サイズを決定する。
In step ST203, the cut-out
具体的には、切出領域決定部130は、相対フォーカス値Frと切出サイズ係数Scとが対応づけられた切出サイズ決定テーブルを保持している。そして、切出領域決定部130は、誤認識要因パラメータ算出部120で算出された相対フォーカス値Frを読み取りアドレスとして用いて、切出サイズ決定テーブルから相対フォーカス値Frと対応する切出サイズ係数Scを検索する。そして、切出領域決定部130は、検索した切出サイズ係数Scをターゲット候補情報S11の示すターゲット候補のサイズに乗算することにより、切取画像サイズを算出する。
Specifically, the cutout
図3は、誤認識要因パラメータがターゲット候補のフォーカス値の場合の、切出画像サイズの決定方法の説明に供する図である。図3Aは、全体画像の一例を示す図である。図3Bは、切出サイズ決定テーブルの一例を示す図である。図3Cは、切出画像サイズの算出方法を示す図である。図3Dは、図3Aにおけるターゲット候補TC1の切出画像を示す図である。図3Eは、図3Aにおけるターゲット候補TC2の切出画像を示す図である。 FIG. 3 is a diagram for explaining a method for determining the cut-out image size when the misrecognition factor parameter is the focus value of the target candidate. FIG. 3A is a diagram illustrating an example of an entire image. FIG. 3B is a diagram illustrating an example of a cut-out size determination table. FIG. 3C is a diagram illustrating a method for calculating a cut-out image size. FIG. 3D is a diagram showing a cut-out image of the target candidate TC1 in FIG. 3A. FIG. 3E is a diagram showing a cut-out image of the target candidate TC2 in FIG. 3A.
図3において、全体画像のフォーカス値は80であり、ターゲット候補TC1(物体1)のフォーカス値は70であり、ターゲット候補TC2(物体2)のフォーカス値は25である。このとき、ターゲット候補TC1の相対フォーカス値Frは0.8であり、ターゲット候補TC2の相対フォーカス値Frは0.3である。 In FIG. 3, the focus value of the entire image is 80, the focus value of the target candidate TC1 (object 1) is 70, and the focus value of the target candidate TC2 (object 2) is 25. At this time, the relative focus value Fr of the target candidate TC1 is 0.8, and the relative focus value Fr of the target candidate TC2 is 0.3.
従って、切出領域決定部130は、切出サイズ決定テーブルから、ターゲット候補TC1の切出サイズ係数Scを1.2、ターゲット候補TC2の切出サイズ係数Scを1.8と決定することができる。
Therefore, the cut
図3Cに示すようにターゲット候補のサイズを高さH、幅Wとすれば、切取画像サイズは、高さH×Sc、幅W×Scとされる。従って、図3D及びEにそれぞれ示すように、ターゲット候補TC1を含む切取画像のサイズは高さH×1.2、幅W×1.2となり、ターゲット候補TC2を含む切取画像のサイズは高さH×1.8、幅W×1.8となる。 As shown in FIG. 3C, if the size of the target candidate is height H and width W, the cut image size is height H × Sc and width W × Sc. Therefore, as shown in FIGS. 3D and 3E, the size of the cut image including the target candidate TC1 is H × 1.2 and the width W × 1.2, and the size of the cut image including the target candidate TC2 is the height. H × 1.8 and width W × 1.8.
ここで、切出サイズ決定テーブルでは、相対フォーカス値Frが小さくなるほど、対応する切出サイズ係数Scは大きくなる。すなわち、切出領域決定部130は、相対フォーカス値Frが小さくなるほど、切出画像サイズを大きくする。相対フォーカス値Frは画像品質と比例する。つまり、切出画像の相対フォーカス値Frが大きいほど、切出画像の品質レベルは高い。従って、結局のところ、切出領域決定部130は、相対フォーカス値Frを指標として、ターゲット候補の画像品質に応じて、切出画像サイズを決定している。
Here, in the extraction size determination table, the corresponding extraction size coefficient Sc increases as the relative focus value Fr decreases. In other words, the cut
ターゲット候補の画像品質が悪い場合、検出誤差が生じやすく、ターゲット候補にジャストフィットした切出領域を設定することは難しく、設定した切出領域からターゲット候補がはみ出してしまうこともある。すなわち、図4Aに示すように、従来の画像切出であってもターゲット候補の画像品質が良ければ、ターゲット候補にジャストフィットした切出領域を設定できる。しかしながら、ターゲット候補の画像品質が悪い場合、ターゲットである人の頭が切出領域からはみ出してしまって欠けてしまうような問題がある。この切出画像を用いたターゲット認識は、失敗に終わってしまう可能性が高い。 When the image quality of the target candidate is poor, a detection error is likely to occur, it is difficult to set a cutout area that is just fitted to the target candidate, and the target candidate may protrude from the set cutout area. That is, as shown in FIG. 4A, even if the image is cut out conventionally, if the image quality of the target candidate is good, a cut-out area that is just fitted to the target candidate can be set. However, when the image quality of the target candidate is poor, there is a problem that the head of the person who is the target protrudes from the cutout region and is missing. There is a high possibility that target recognition using this cut-out image will fail.
これに対して、本実施の形態のように、ターゲット候補の画像品質レベルが低いほど、切出画像サイズを大きくすることによって、つまり、画像切り出し時のマージンを大きくすることによって、ターゲット候補の全体を切出画像に確実に含めることができる。すなわち、図4Bに示すように、ターゲット候補の画像品質レベルが低い場合(図4Bでは、フォーカス値が小さい場合)には、大きな切出サイズ係数を選択する。そして、この切出サイズ係数を基準サイズに乗算した切出サイズで画像切出を行うので、人の全身を切出画像に確実に含めることができる。
また、ターゲット候補の画像品質レベルが高い場合には切出画像サイズを余り大きくせず、ターゲット候補の画像品質レベルが低いときにのみ切出画像サイズを大きくするので、切出画像に対する歪補正処理及びターゲット検出処理の処理量増加を防止することができる。
なお、図4では、誤認識要因パラメータとしてターゲット候補のフォーカス値が用いられる場合について示されているが、後述のターゲット候補の歪み量、広角カメラとターゲットとの実空間における離間距離、ターゲット候補の物体サイズ、及びターゲット候補の輝度ヒストグラムの場合にも、上記と同様の効果が得られる。
On the other hand, as in the present embodiment, the lower the target candidate image quality level, the larger the extracted image size, that is, by increasing the margin at the time of image clipping, the entire target candidate. Can be reliably included in the cut-out image. That is, as shown in FIG. 4B, when the image quality level of the target candidate is low (in FIG. 4B, the focus value is small), a large cut-out size coefficient is selected. Then, since the image is cut out with the cut size obtained by multiplying the cut size coefficient by the reference size, the whole body of the person can be surely included in the cut image.
In addition, when the target candidate image quality level is high, the cut image size is not increased too much, and the cut image size is increased only when the target candidate image quality level is low. In addition, an increase in the processing amount of the target detection process can be prevented.
FIG. 4 shows the case where the focus value of the target candidate is used as a misrecognition factor parameter. Also in the case of the object size and the luminance histogram of the target candidate, the same effect as described above can be obtained.
[2−2−2]誤認識要因パラメータが、ターゲット候補の歪み量の場合:
ステップST202で誤認識要因パラメータ算出部120は、撮影画像S10及びターゲット候補情報S11に基づいて、ターゲット候補の歪み量を算出する。
[2-2-2] When the misrecognition factor parameter is the distortion amount of the target candidate:
In step ST202, the misrecognition factor
具体的には、撮影画像の中心とターゲット候補との離間距離が歪み量と比例するので、誤認識要因パラメータ算出部120は、歪み量の指標として、撮影画像の中心とターゲット候補との離間距離rを算出する。この離間距離rは、画素数(ピクセル数)で表される。
Specifically, since the distance between the center of the captured image and the target candidate is proportional to the amount of distortion, the misrecognition factor
ステップST203で切出領域決定部130は、ターゲット候補情報S11の示すターゲット候補の大きさ、及び、撮影画像の中心とターゲット候補との離間距離rに基づいて、切出画像サイズを決定する。
In step ST203, the cut-out
具体的には、切出領域決定部130は、撮影画像の中心とターゲット候補との離間距離rと切出サイズ係数Scとが対応づけられた切出サイズ決定テーブルを保持している。そして、切出領域決定部130は、誤認識要因パラメータ算出部120で算出された撮影画像の中心とターゲット候補との離間距離rを読み取りアドレスとして用いて、切出サイズ決定テーブルから相対フォーカス値Frと対応する切出サイズ係数Scを検索する。そして、切出領域決定部130は、検索した切出サイズ係数Scをターゲット候補情報S11の示すターゲット候補のサイズに乗算することにより、切取画像サイズを算出する。
Specifically, the cutout
図5は、誤認識要因パラメータがターゲット候補の歪み量の場合の、切出画像サイズの決定方法の説明に供する図である。図5Aは、全体画像の一例を示す模式図である。図5Bは、切出サイズ決定テーブルの一例を示す図である。図5Cは、図5Aにおけるターゲット候補TC1の切出画像を示す図である。図5Dは、図5Aにおけるターゲット候補TC2の切出画像を示す図である。 FIG. 5 is a diagram for explaining a method for determining a cut-out image size when the misrecognition factor parameter is the distortion amount of the target candidate. FIG. 5A is a schematic diagram illustrating an example of an entire image. FIG. 5B is a diagram illustrating an example of a cut-out size determination table. FIG. 5C is a diagram showing a cut-out image of the target candidate TC1 in FIG. 5A. FIG. 5D is a diagram showing a cut-out image of the target candidate TC2 in FIG. 5A.
図5において、ターゲット候補TC1の離間距離rは20であり、ターゲット候補TC2の離間距離rは80である。従って、切出領域決定部130は、切出サイズ決定テーブルから、ターゲット候補TC1の切出サイズ係数Scを1.2、ターゲット候補TC2の切出サイズ係数Scを1.8と決定することができる。
In FIG. 5, the separation distance r of the target candidate TC1 is 20, and the separation distance r of the target candidate TC2 is 80. Therefore, the cut
ここで、切出サイズ決定テーブルでは、離間距離rが大きくなるほど、対応する切出サイズ係数Scは大きくなる。すなわち、切出領域決定部130は、離間距離r(つまり、歪み量)が大きくなるほど、切出画像サイズを大きくする。歪み量は画像品質と反比例するので、結局のところ、切出領域決定部130は、歪み量を指標として、ターゲット候補の画像品質に応じて、切出画像サイズを決定している。
Here, in the cutout size determination table, the corresponding cutout size coefficient Sc increases as the separation distance r increases. That is, the cut
[2−2−3]誤認識要因パラメータが、広角カメラとターゲットとの実空間における離間距離の場合:
ステップST202で誤認識要因パラメータ算出部120は、撮影画像S10及びターゲット候補情報S11に基づいて、広角カメラとターゲットとの実空間における離間距離を算出する。この離間距離の算出には、ステレオ視(単眼、又は、両眼)が用いられる。すなわち、ステレオ視により得られた複数の画像(ステレオ画像)が用いられる。
[2-2-3] When the misrecognition factor parameter is a separation distance in real space between the wide-angle camera and the target:
In step ST202, the misrecognition factor
ステップST203で切出領域決定部130は、ターゲット候補情報S11の示すターゲット候補の大きさ、及び、広角カメラとターゲットとの実空間における離間距離に基づいて、切出画像サイズを決定する。
In step ST203, the cut-out
具体的には、切出領域決定部130は、広角カメラとターゲットとの実空間における離間距離と切出サイズ係数Scとが対応づけられた切出サイズ決定テーブルを保持している。そして、切出領域決定部130は、誤認識要因パラメータ算出部120で算出された広角カメラとターゲットとの実空間における離間距離を読み取りアドレスとして用いて、切出サイズ決定テーブルから相対フォーカス値Frと対応する切出サイズ係数Scを検索する。そして、切出領域決定部130は、検索した切出サイズ係数Scをターゲット候補情報S11の示すターゲット候補のサイズに乗算することにより、切取画像サイズを算出する。
Specifically, the cut-out
図6は、誤認識要因パラメータが広角カメラとターゲットとの実空間における離間距離の場合の、切出画像サイズの決定方法の説明に供する図である。図6Aは、実空間におけるターゲット候補の位置関係を示す模式図である。図6Bは、切出サイズ決定テーブルの一例を示す図である。図6Cは、図6Aにおけるターゲット候補TC1の切出画像を示す図である。図6Dは、図6Aにおけるターゲット候補TC2の切出画像を示す図である。図6Eは、図6Aにおけるターゲット候補TC3の切出画像を示す図である。 FIG. 6 is a diagram for explaining a method for determining a cut-out image size when the misrecognition factor parameter is a separation distance in real space between the wide-angle camera and the target. FIG. 6A is a schematic diagram illustrating a positional relationship between target candidates in real space. FIG. 6B is a diagram illustrating an example of a cut-out size determination table. FIG. 6C is a diagram showing a cut-out image of the target candidate TC1 in FIG. 6A. FIG. 6D is a diagram showing a cut-out image of the target candidate TC2 in FIG. 6A. FIG. 6E is a diagram showing a cut-out image of the target candidate TC3 in FIG. 6A.
図6において、ターゲット候補TC1の離間距離D1は1[m]であり、ターゲット候補TC2の離間距離D2は5[m]であり、ターゲット候補TC3の離間距離D3は7[m]である。従って、切出領域決定部130は、切出サイズ決定テーブルから、ターゲット候補TC1の切出サイズ係数Scを1.1、ターゲット候補TC2の切出サイズ係数Scを1.2、ターゲット候補TC3の切出サイズ係数Scを1.5と決定することができる。
In FIG. 6, the separation distance D1 of the target candidate TC1 is 1 [m], the separation distance D2 of the target candidate TC2 is 5 [m], and the separation distance D3 of the target candidate TC3 is 7 [m]. Therefore, the cutout
ここで、切出サイズ決定テーブルでは、広角カメラとターゲットとの実空間における離間距離が大きくなるほど、対応する切出サイズ係数Scは大きくなる。すなわち、切出領域決定部130は、広角カメラとターゲットとの実空間における離間距離が大きくなるほど、切出画像サイズを大きくする。広角カメラとターゲットとの実空間における離間距離は画像品質と反比例するので、結局のところ、切出領域決定部130は、歪み量を指標として、ターゲット候補の画像品質に応じて、切出画像サイズを決定している。
Here, in the cut-out size determination table, the corresponding cut-out size coefficient Sc increases as the separation distance between the wide-angle camera and the target in real space increases. That is, the cut-out
[2−2−4]誤認識要因パラメータが、ターゲット候補の物体サイズの場合:
ステップST203で切出領域決定部130は、ターゲット候補情報S11の示す画像平面におけるターゲット候補のサイズに基づいて、切出画像サイズを決定する。
[2-2-4] When the misrecognition factor parameter is the object size of the target candidate:
In step ST203, the cut-out
具体的には、切出領域決定部130は、ターゲット候補のサイズと切出サイズ係数Scとが対応づけられた切出サイズ決定テーブルを保持している。そして、切出領域決定部130は、ターゲット候補検出部110で検出されたターゲット候補のサイズを読み取りアドレスとして用いて、切出サイズ決定テーブルから、切出サイズ係数Scを検索する。そして、切出領域決定部130は、検索した切出サイズ係数Scをターゲット候補情報S11の示すターゲット候補のサイズに乗算することにより、切取画像サイズを算出する。
Specifically, the cutout
ここで、切出サイズ決定テーブルでは、高さH及び幅Wのそれぞれに対して独立に切出サイズ係数Scを対応づけてもよいし、高さH及び幅Wを総合した指標(例えば、面積)に対して切出サイズ係数Scを対応づけてもよい。前者の場合には、切出領域決定部130は、ターゲット候補検出部110で検出されたターゲット候補の高さH及び幅Wのそれぞれに対して、切出サイズ係数Scをそれぞれ決定すると共に、決定した切出サイズ係数Scを乗算することにより、切取画像サイズを算出する。後者の場合には、1つのターゲット候補に対して1つの切出サイズ係数Scが決まるので、切出領域決定部130は、ターゲット候補検出部110で検出されたターゲット候補のサイズに、決定した切出サイズ係数Scを乗算することにより、切取画像サイズを算出する。
Here, in the cutout size determination table, the cutout size coefficient Sc may be associated with each of the height H and the width W independently, or an index (for example, an area) that combines the height H and the width W. ) May be associated with the cut-out size coefficient Sc. In the former case, the cut
また、ターゲットの種類を1つに絞った場合、つまり、例えば、ターゲットを人物に絞った場合、ターゲットの大きさは一定の範囲に収まる。このため、ターゲット画像の大きさは、広角カメラとターゲットとの実空間における離間距離と略比例するものと考えられる。従って、ターゲット候補のサイズを用いることでも、ターゲット候補の画像品質に応じた切出画像サイズを決定することができる。 Further, when the type of the target is narrowed down to one, that is, for example, when the target is narrowed down to a person, the size of the target falls within a certain range. For this reason, the size of the target image is considered to be substantially proportional to the separation distance in real space between the wide-angle camera and the target. Therefore, the cut-out image size corresponding to the image quality of the target candidate can also be determined by using the target candidate size.
なお、誤認識要因パラメータがターゲット候補の物体サイズの場合には、ターゲット候補検出部110で検出されたターゲット候補のサイズがそのまま誤認識要因パラメータとして用いられるので、誤認識要因パラメータ算出部120による算出処理の必要はない。
Note that, when the misrecognition factor parameter is the object size of the target candidate, the size of the target candidate detected by the target
[2−2−5]誤認識要因パラメータが、ターゲット候補の輝度ヒストグラムの場合:
ステップST202で誤認識要因パラメータ算出部120は、撮影画像S10及びターゲット候補情報S11に基づいて、ターゲット候補及びその周辺部の輝度ヒストグラムを算出する。そして、誤認識要因パラメータ算出部120は、ターゲット候補の輝度とターゲット候補の周辺部の輝度との差分値を算出する。
[2-2-5] When the erroneous recognition factor parameter is the luminance histogram of the target candidate:
In step ST202, the misrecognition factor
ステップST203で切出領域決定部130は、ターゲット候補情報S11の示すターゲット候補のサイズ及び輝度ヒストグラムに基づいて、切出画像サイズを決定する。
In step ST203, the cut-out
具体的には、切出領域決定部130は、ターゲット候補の輝度とターゲット候補の周辺部の輝度との差分値と、切出サイズ係数Scとが対応づけられた切出サイズ決定テーブルを保持している。そして、切出領域決定部130は、誤認識要因パラメータ算出部120で算出されたターゲット候補の輝度とターゲット候補の周辺部の輝度との差分値を読み取りアドレスとして用いて、切出サイズ決定テーブルから切出サイズ係数Scを検索する。そして、切出領域決定部130は、検索した切出サイズ係数Scをターゲット候補情報S11の示すターゲット候補のサイズに乗算することにより、切取画像サイズを算出する。
Specifically, the cut
ここで、ターゲット候補の輝度とターゲット候補の周辺部の輝度との差分値が小さいほど、ターゲット候補の特定が難しくなる。すなわち、その差分値が小さいほど、画像品質レベルが低くなる。このため、ターゲット候補にジャストフィットした切出領域を設定することは難しく、設定した切出領域からターゲット候補がはみ出してしまうこともある。従って、その差分値が小さいほど、切出画像サイズを大きくすることによって、ターゲット候補の全体を切出画像に確実に含めることができる。 Here, the smaller the difference value between the luminance of the target candidate and the luminance of the peripheral portion of the target candidate, the more difficult it is to identify the target candidate. That is, the smaller the difference value, the lower the image quality level. For this reason, it is difficult to set a cutout area that just fits the target candidate, and the target candidate may protrude from the set cutout area. Therefore, the smaller the difference value is, the larger the extracted image size is, so that the entire target candidate can be surely included in the extracted image.
以上のように本実施の形態によれば、画像検出装置100において、切出領域決定部130が、ターゲット候補の画像品質に応じて、切出画像サイズを決定する。
As described above, according to the present embodiment, in the
こうすることで、ターゲット候補の画像品質レベルが低いほど、画像切り出し時のマージンを大きくすることができるので、ターゲット候補の全体を切出画像に確実に含めることができる。この結果として、ターゲット認識精度を向上することができる。 By doing so, the lower the image quality level of the target candidate, the larger the margin at the time of image cutting, so that the entire target candidate can be reliably included in the cut-out image. As a result, target recognition accuracy can be improved.
具体的には、画像検出装置100において、誤認識要因パラメータ算出部120が、ターゲット候補の画像品質の指標となる、ターゲット候補の誤認識要因パラメータを算出し、切出領域決定部130が、誤認識要因パラメータの値に応じて、切出画像サイズを決定する。この誤認識要因パラメータは、ターゲット候補の相対フォーカス値、歪み量、物体サイズ、及び輝度ヒストグラム、並びに、全体画像を撮影する撮影手段(ここでは、広角カメラ)とターゲットとの離間距離の少なくとも1つを含む。
Specifically, in the
なお、上記説明においては、ターゲット候補検出部110が撮影画像を用いてターゲット候補を検出する場合について説明した。しかしながら、本発明はこれに限定されるものではない。ターゲット候補検出部110は、例えば、ターゲットに付帯された無線タグからの信号を受信し、受信した無線信号に基づいて無線タグの位置座標を求めることにより、ターゲット候補を検出してもよい。
In the above description, the case where the target
またなお、上記説明では、各誤認識要因パラメータに対して、1つの切出サイズ決定テーブルが用意された場合について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、撮影対象領域の暗さレベルは、誤認識要因パラメータ全体に影響を及ぼす。従って、撮影対象領域の暗さレベルに応じた切出サイズ決定テーブルを複数用意してもよい。この場合、切出領域決定部130は、暗さレベルに応じて使用する切出サイズ決定テーブルを切り換えることにより、暗さレベルに適した切出サイズ決定テーブルを用いて切出画像サイズを決定することができる。
In the above description, the case where one cut-out size determination table is prepared for each misrecognition factor parameter has been described. However, the present invention is not limited to this. For example, the darkness level of the imaging target region affects the entire misrecognition factor parameter. Therefore, a plurality of cut-out size determination tables corresponding to the darkness level of the imaging target area may be prepared. In this case, the cut
またなお、上述の画像検出装置100は、メモリ・CPUを含むパソコン等のコンピュータによって構成することができる。そして、画像検出装置100を構成する各構成要素の機能は、メモリ上に記憶されたコンピュータプログラムをCPUが読み出して実行処理することで実現できる。
In addition, the above-described
本発明の画像検出装置及び画像検出方法は、ターゲット認識精度を向上できるものとして有用である。 The image detection apparatus and the image detection method of the present invention are useful for improving the target recognition accuracy.
100 画像検出装置
110 ターゲット候補検出部
120 誤認識要因パラメータ算出部
130 切出領域決定部
140 切出部
150 歪補正部
160 テンプレート決定部
170 ターゲット認識部
180 ターゲット画像出力部
DESCRIPTION OF
Claims (7)
前記ターゲットの誤認識要因に応じて、切出画像サイズを決定する決定手段と、
前記ターゲットを含む前記切出画像サイズの切出画像を前記全体画像から切り出す切出手段と、
を具備する画像検出装置。 Detection means for detecting a target from the entire image;
Determining means for determining a cut-out image size according to the target misrecognition factor;
A cutting means for cutting out the cut image of the cut image size including the target from the whole image;
An image detection apparatus comprising:
前記決定手段は、前記誤認識要因に応じて、切出画像サイズを決定する、
請求項1に記載の画像検出装置。 A calculation means for calculating a target misrecognition factor;
The determining unit determines a cut-out image size according to the misrecognition factor;
The image detection apparatus according to claim 1.
請求項2に記載の画像検出装置。 The misrecognition factor is at least one of a relative focus value of the target candidate, a distortion amount, an object size, a luminance histogram, and a separation distance between the imaging unit that captures the entire image and the target.
The image detection apparatus according to claim 2.
前記決定手段は、前記相対フォーカス値が小さいほど前記切出画像サイズを大きくする、
請求項2に記載の画像検出装置。 The relative focus value is a relative focus value that is a ratio of the overall image and the frequency component of the target candidate;
The determination unit increases the cut-out image size as the relative focus value decreases.
The image detection apparatus according to claim 2.
前記決定手段は、前記歪み量が大きいほど前記切出画像サイズを大きくする、
請求項2に記載の画像検出装置。 The misrecognition factor is a distortion amount of the target candidate,
The determining means increases the cut-out image size as the distortion amount increases.
The image detection apparatus according to claim 2.
前記決定手段は、前記離間距離が大きいほど前記切出画像サイズを大きくする、
請求項2に記載の画像検出装置。 The misrecognition factor is a separation distance between the imaging means for capturing the entire image and the target,
The determination means increases the cut-out image size as the separation distance increases.
The image detection apparatus according to claim 2.
各ターゲット候補の誤認識要因に応じて、切出画像サイズを決定するステップと、
前記ターゲットを含む前記切出画像サイズの切出画像を前記全体画像から切り出すステップと、
を具備する画像検出方法。 Detecting target candidates from the entire image;
Determining a cut-out image size according to a misrecognition factor of each target candidate;
Cutting out the cut image of the cut image size including the target from the whole image;
An image detection method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009276620A JP2011120076A (en) | 2009-12-04 | 2009-12-04 | Image detection apparatus and image detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009276620A JP2011120076A (en) | 2009-12-04 | 2009-12-04 | Image detection apparatus and image detection method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011120076A true JP2011120076A (en) | 2011-06-16 |
Family
ID=44284833
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009276620A Pending JP2011120076A (en) | 2009-12-04 | 2009-12-04 | Image detection apparatus and image detection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011120076A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013009050A (en) * | 2011-06-22 | 2013-01-10 | Canon Inc | Image processing apparatus and image processing method |
JP2016063397A (en) * | 2014-09-18 | 2016-04-25 | カシオ計算機株式会社 | Imaging apparatus, image display method and program |
CN107122770A (en) * | 2017-06-13 | 2017-09-01 | 驭势(上海)汽车科技有限公司 | Many mesh camera systems, intelligent driving system, automobile, method and storage medium |
WO2018135110A1 (en) * | 2017-01-20 | 2018-07-26 | ソニーネットワークコミュニケーションズ株式会社 | Information processing device, information processing method, program, and aerial target system |
WO2020054241A1 (en) * | 2018-09-12 | 2020-03-19 | ソニー株式会社 | Image processing device, program, and image processing method |
-
2009
- 2009-12-04 JP JP2009276620A patent/JP2011120076A/en active Pending
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013009050A (en) * | 2011-06-22 | 2013-01-10 | Canon Inc | Image processing apparatus and image processing method |
JP2016063397A (en) * | 2014-09-18 | 2016-04-25 | カシオ計算機株式会社 | Imaging apparatus, image display method and program |
US11170216B2 (en) | 2017-01-20 | 2021-11-09 | Sony Network Communications Inc. | Information processing apparatus, information processing method, program, and ground marker system |
WO2018135110A1 (en) * | 2017-01-20 | 2018-07-26 | ソニーネットワークコミュニケーションズ株式会社 | Information processing device, information processing method, program, and aerial target system |
JPWO2018135110A1 (en) * | 2017-01-20 | 2020-01-09 | ソニーネットワークコミュニケーションズ株式会社 | Information processing apparatus, information processing method, program and anti-air traffic sign system |
US11733042B2 (en) | 2017-01-20 | 2023-08-22 | Sony Network Communications Inc. | Information processing apparatus, information processing method, program, and ground marker system |
CN107122770A (en) * | 2017-06-13 | 2017-09-01 | 驭势(上海)汽车科技有限公司 | Many mesh camera systems, intelligent driving system, automobile, method and storage medium |
CN107122770B (en) * | 2017-06-13 | 2023-06-27 | 驭势(上海)汽车科技有限公司 | Multi-camera system, intelligent driving system, automobile, method and storage medium |
WO2020054241A1 (en) * | 2018-09-12 | 2020-03-19 | ソニー株式会社 | Image processing device, program, and image processing method |
CN112655196A (en) * | 2018-09-12 | 2021-04-13 | 索尼公司 | Image processing apparatus, program, and image processing method |
JPWO2020054241A1 (en) * | 2018-09-12 | 2021-08-30 | ソニーグループ株式会社 | Image processing equipment, programs and image processing methods |
EP3852357A4 (en) * | 2018-09-12 | 2021-10-13 | Sony Group Corporation | Image processing device, program, and image processing method |
US11528429B2 (en) | 2018-09-12 | 2022-12-13 | Sony Corporation | Image processing device, and image processing method |
JP7347435B2 (en) | 2018-09-12 | 2023-09-20 | ソニーグループ株式会社 | Image processing device, program and image processing method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9208579B2 (en) | Object tracking device | |
WO2019042426A1 (en) | Augmented reality scene processing method and apparatus, and computer storage medium | |
US8019164B2 (en) | Apparatus, method and program product for matching with a template | |
WO2017080237A1 (en) | Camera imaging method and camera device | |
CN109479082B (en) | Image processing method and apparatus | |
US9727585B2 (en) | Image processing apparatus and method for controlling the same | |
JP2005072888A (en) | Image projection method and image projection device | |
WO2012172817A1 (en) | Image stabilization apparatus, image stabilization method, and document | |
JP2007058634A (en) | Image processing method and image processor, digital camera equipment, and recording medium with image processing program stored thereon | |
JP2012253723A (en) | Image display device and image display method | |
KR101923177B1 (en) | Appratus and method for providing augmented reality information based on user | |
CN106469455B (en) | Image processing method, image processing apparatus, and recording medium | |
CN107005655A (en) | Image processing method | |
CN109559353B (en) | Camera module calibration method and device, electronic equipment and computer readable storage medium | |
JP2013206175A (en) | Image determination device, image determination method and computer program for image determination | |
JP2011120076A (en) | Image detection apparatus and image detection method | |
JP2006250722A (en) | Device, method and program for calibration | |
CN108369739B (en) | Object detection device and object detection method | |
JP5971712B2 (en) | Monitoring device and method | |
JP5857712B2 (en) | Stereo image generation apparatus, stereo image generation method, and computer program for stereo image generation | |
JP2007233517A (en) | Face detector, detection method and program | |
WO2018027527A1 (en) | Optical system imaging quality detection method and apparatus | |
JP2008026999A (en) | Obstacle detection system and obstacle detection method | |
JP4182937B2 (en) | Image capturing apparatus, image processing method for image capturing apparatus, and program | |
US20120033888A1 (en) | Image processing system, image processing method, and computer readable medium |