JP2014174101A - Object detection device - Google Patents
Object detection device Download PDFInfo
- Publication number
- JP2014174101A JP2014174101A JP2013049235A JP2013049235A JP2014174101A JP 2014174101 A JP2014174101 A JP 2014174101A JP 2013049235 A JP2013049235 A JP 2013049235A JP 2013049235 A JP2013049235 A JP 2013049235A JP 2014174101 A JP2014174101 A JP 2014174101A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- object detection
- image sensor
- target object
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
本発明は、目標領域内の物体を検出する物体検出装置に関する。 The present invention relates to an object detection device that detects an object in a target area.
従来、光を用いた物体検出装置が種々の分野で開発されている。いわゆる距離画像センサを用いた物体検出装置では、2次元平面上の平面的な画像のみならず、検出対象物体の奥行き方向の形状や動きを検出することができる。 Conventionally, object detection devices using light have been developed in various fields. An object detection apparatus using a so-called distance image sensor can detect not only a planar image on a two-dimensional plane but also the shape and movement of the detection target object in the depth direction.
距離画像センサとして、所定のドットパターンを持つレーザ光を目標領域に照射するタイプの距離画像センサが知られている(たとえば、非特許文献1)。かかる距離画像センサでは、基準面にレーザ光を照射したときのドットパターンが撮像素子により撮像され、撮像されたドットパターンが基準ドットパターンとして保持される。そして、基準ドットパターンと、実測時に撮像された実測ドットパターンとが比較され、距離情報が取得される。具体的には、基準ドットパターン上に設定された参照領域の実測ドットパターン上における位置に基づいて、三角測量法により、当該参照領域に対する距離情報が取得される。 As a distance image sensor, a distance image sensor of a type that irradiates a target region with laser light having a predetermined dot pattern is known (for example, Non-Patent Document 1). In such a distance image sensor, a dot pattern when the reference surface is irradiated with laser light is picked up by the image pickup device, and the picked-up dot pattern is held as a reference dot pattern. Then, the reference dot pattern is compared with the actually measured dot pattern captured at the time of actual measurement, and distance information is acquired. Specifically, distance information with respect to the reference region is acquired by a triangulation method based on the position of the reference region set on the standard dot pattern on the measured dot pattern.
しかしながら、上記距離画像センサでは、ドットパターンの光を生成する必要があるため、目標領域に光を投射する投射部の構成が複雑になるとの問題がある。また、参照領域に含まれるドットを実測ドットパターン上において探索する処理が必要となるため、距離情報の取得のために、煩雑な演算処理が必要になるとの問題もある。 However, since the distance image sensor needs to generate light of a dot pattern, there is a problem that the configuration of a projection unit that projects light onto a target area becomes complicated. In addition, since it is necessary to search for dots included in the reference area on the measured dot pattern, there is a problem that complicated calculation processing is required for obtaining distance information.
さらに、イメージセンサの出力信号が飽和するほど近距離に物体が近付けられた場合、撮像した画像には、一様に高い輝度値が出力されるため、適正に距離を取得することができないとの問題も生じる。 Furthermore, when an object is brought close to the image sensor so that the output signal of the image sensor is saturated, a high brightness value is output uniformly in the captured image, and thus the distance cannot be acquired properly. Problems also arise.
上記課題に鑑み、本発明は、演算量を抑えつつ、広範囲で距離取得が可能な物体検出装置を提供することを目的とする。 In view of the above problems, an object of the present invention is to provide an object detection device capable of acquiring a distance over a wide range while suppressing a calculation amount.
本発明の主たる態様は、物体検出装置に関する。本態様に係る物体検出装置は、目標領域に光を投射する投射部と、前記目標領域をイメージセンサにより撮像する撮像部と、前記イメージセンサ上の所定の画素の輝度値を取得する輝度取得部と、前記輝度取得部により取得された輝度値に基づいて、前記目標領域に存在する検出対象物体を検出する物体検出部と、を備える。前記物体検出部は、実測時に、前記検出対象物体の実測形状の大きさを取得し、前記実測形状の大きさと、前記検出対象物体が基準距離にあるときの前記検出対象物体の基準形状の大きさとに基づいて、前記検出対象物体の距離に関する情報を取得する。 A main aspect of the present invention relates to an object detection apparatus. The object detection apparatus according to this aspect includes a projection unit that projects light onto a target area, an imaging unit that captures the target area with an image sensor, and a luminance acquisition unit that acquires a luminance value of a predetermined pixel on the image sensor. And an object detection unit that detects a detection target object existing in the target area based on the luminance value acquired by the luminance acquisition unit. The object detection unit obtains the size of the actually measured shape of the detection target object during actual measurement, and the size of the actually measured shape and the size of the reference shape of the detection target object when the detection target object is at a reference distance Based on the information, information on the distance of the detection target object is acquired.
本発明によれば、演算量を抑えつつ、広範囲で距離取得が可能な物体検出装置を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the object detection apparatus which can acquire distance over a wide range can be provided, suppressing the amount of calculations.
本発明の効果ないし意義は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下に示す実施の形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施の形態により何ら制限されるものではない。 The effects and significance of the present invention will become more apparent from the following description of embodiments. However, the embodiment described below is merely an example when the present invention is implemented, and the present invention is not limited to the following embodiment.
以下、本発明の実施の形態につき図面を参照して説明する。 Embodiments of the present invention will be described below with reference to the drawings.
本実施の形態は、ノート型のパーソナルコンピュータに本発明に係る物体検出装置を適用したものである。この他、本発明に係る物体検出装置は、デスクトップ型のパーソナルコンピュータやテレビ等の他の機器にも適宜適用可能なものである。なお、本発明に係る物体検出装置は、必ずしも、他の機器に一体的に搭載されなくとも良く、単独で一つの装置を構成するものであっても良い。 In this embodiment, the object detection apparatus according to the present invention is applied to a notebook personal computer. In addition, the object detection apparatus according to the present invention can be appropriately applied to other devices such as a desktop personal computer and a television. Note that the object detection device according to the present invention does not necessarily have to be integrally mounted on other devices, and may constitute a single device alone.
以下に示す実施の形態において、撮像信号処理回路23は、請求項に記載の「輝度取得部」に相当する。CMOSイメージセンサ240は、請求項に記載の「イメージセンサ」に相当する。図5(a)に示す距離変換関数は、請求項に記載の「規定情報」に相当する。物体検出部21cによって取得される距離情報は、請求項に記載の「実測時における物体の距離に関する情報」に相当する。平均輝度Baは、請求項に記載の「輝度値」に相当する。基準面積Saは、請求項に記載の「基準形状の大きさ」に相当する。実測面積Sbは、請求項に記載の「実測形状の大きさ」に相当する。ただし、上記請求項と本実施の形態との対応の記載は、あくまで一例であって、請求項に係る発明を本実施の形態に限定するものではない。
In the embodiment described below, the imaging
図1は、本実施の形態に係るパーソナルコンピュータ1の概略構成を示す図である。図1に示すように、パーソナルコンピュータ1は、物体検出装置2と、情報処理部3を備えている。この他、パーソナルコンピュータ1は、キーボード4と、操作パッド5と、モニタ6を備えている。
FIG. 1 is a diagram showing a schematic configuration of a
物体検出装置2は、目標領域全体に、可視光の波長帯よりも長い赤外の波長帯域の光(赤外光)を投射し、その反射光をCMOSイメージセンサにて受光することにより、目標領域に存在する物体までの距離(以下、「距離情報」という)を取得する。情報処理部3は、物体検出装置2により取得された距離情報に基づいて、目標領域に存在する所定の物体を検出し、さらに、当該物体の動きを検出する。そして、情報処理部3は、当該物体の
動きに応じて、パーソナルコンピュータ1の機能を制御する。
The
たとえば、ユーザが手を用いて所定のジェスチャを行うと、物体検出装置2からジェスチャに応じた距離情報が情報処理部3に送信される。この情報に基づき、情報処理部3は、ユーザの手を検出対象物体として検出し、手の動きに対応付けられた機能(画面の拡大・縮小や、画面の明るさ調整、ページ送り、等)を実行する。
For example, when a user performs a predetermined gesture using a hand, distance information corresponding to the gesture is transmitted from the
図2は、物体検出装置2と情報処理部3の構成を示す図である。
FIG. 2 is a diagram illustrating configurations of the
物体検出装置2は、光学部の構成として、投射部100と撮像部200とを備えている。投射部100と撮像部200は、X軸方向に並ぶように、配置されている。
The
投射部100は、赤外の波長帯域の光を出射する光源110を備えている。
The
撮像部200は、アパーチャ210と、撮像レンズ220と、フィルタ230と、CMOSイメージセンサ240とを備えている。この他、物体検出装置2は、回路部の構成として、CPU(Central Processing Unit)21と、赤外光源駆動回路22と、撮像信号処理回路23と、入出力回路24と、メモリ25を備えている。
The
なお、このように、投射部100が赤外の波長帯域の光を出射する光源110を備え、撮像部200が撮像レンズ220とフィルタ230とを備える構成は、請求項7に記載の構成の一例である。
The configuration in which the
光源110から目標領域に投射された光は、目標領域に存在する物体によって反射され、アパーチャ210を介して撮像レンズ220に入射する。
The light projected from the
アパーチャ210は、撮像レンズ220のFナンバーに合うように、外部からの光を制限する。撮像レンズ220は、アパーチャ210を介して入射された光をCMOSイメージセンサ240上に集光する。フィルタ230は、光源110の出射波長を含む波長帯域の光を透過し、可視光の波長帯域の光をカットするバンドパスフィルタである。
The
CMOSイメージセンサ240は、後述のように、光源110から出射される赤外光の波長帯域に対して感度を有する。CMOSイメージセンサ240は、撮像レンズ220にて集光された光を受光して、画素毎に、受光量に応じた信号を撮像信号処理回路23に出力する。ここで、CMOSイメージセンサ240は、各画素における受光から高レスポンスでその画素の信号を撮像信号処理回路23に出力できるよう、信号の出力速度が高速化されている。
As will be described later, the
本実施の形態において、CMOSイメージセンサ240の撮像有効領域(センサとして信号を出力する領域)は、たとえば、VGA(横640画素×縦480画素)のサイズである。CMOSイメージセンサ240の撮像有効領域は、XGA(横1024画素×縦768画素)のサイズや、SXGA(横1280画素×縦1024画素)のサイズ等、他のサイズであっても良い。
In the present embodiment, the effective imaging area of the CMOS image sensor 240 (area where signals are output as a sensor) is, for example, the size of VGA (640 horizontal pixels × 480 vertical pixels). The imaging effective area of the
CPU21は、メモリ25に格納された制御プログラムに従って各部を制御する。かかる制御プログラムによって、CPU21には、光源制御部21aと、基準形状取得部21bと、物体検出部21cとの機能が付与される。
The
光源制御部21aは、赤外光源駆動回路22を制御する。基準形状取得部21bは、事前設定時にCMOSイメージセンサ240から出力される信号に基づいて、検出対象物体
の距離情報を取得するための基準形状と基準面積を取得し、メモリ25の基準形状登録テーブルTに登録する。なお、基準形状取得部21bによる基準形状登録処理については、追って、図7を参照して説明する。
The light
赤外光源駆動回路22は、CPU21からの制御信号に応じて光源110を駆動する。
The infrared light
撮像信号処理回路23は、CPU21からの制御を受けてCMOSイメージセンサ240を駆動し、CMOSイメージセンサ240から出力される信号から、各画素の輝度信号を取得し、取得した輝度信号をCPU21に出力する。後述のように、撮像信号処理回路23は、CPU21により設定された露光時間をCMOSイメージセンサ240の各画素に適用し、さらに、CMOSイメージセンサ240から出力される信号に対してCPU21により設定されたゲインを適用して、画素毎に、輝度信号を取得する。
The imaging
CPU21は、撮像信号処理回路23から供給される輝度信号をもとに、基準形状登録テーブルTに登録された基準形状の検出対象物体を検出し、物体検出装置2から検出対象物体までの距離を、物体検出部21cによる処理によって算出する。距離情報は、CMOSイメージセンサ240の画素毎に取得される。物体検出部21cは、取得した距離情報をもとに、検出対象物体の動きを検出し、所定の動きパターンに応じた機能制御信号を情報処理部3のCPU31に出力する。なお、物体検出部21cによる物体検出処理については、追って、図8を参照して詳細に説明する。
The
入出力回路24は、情報処理部3とのデータ通信を制御する。
The input /
メモリ25は、CPU21により実行される制御プログラムの他、距離情報の取得に用いられる距離変換関数を保持している。この他、メモリ25は、CPU21における処理の際のワーク領域としても用いられる。なお、距離変換関数については、追って、図5(a)を参照して説明する。
In addition to the control program executed by the
情報処理部3は、CPU31と、入出力回路32と、メモリ33を備えている。なお、情報処理部3には、図2に示す構成の他、パーソナルコンピュータ1の各部を駆動および制御するための構成が配されるが、便宜上、これら周辺回路の構成は図示省略されている。
The
CPU31は、メモリ33に格納された制御プログラムに従って各部を制御する。かかる制御プログラムによって、CPU31には、物体検出部21cからの信号に応じて、パーソナルコンピュータ1の機能を制御するための機能制御部31aの機能が付与される。
The
機能制御部31aは、物体検出部21cからの機能制御信号に応じて、パーソナルコンピュータ1の機能の制御を実行する。
The
図3(a)、図3(b)は、投射部100および撮像部200の構成を示す図である。図3(a)は、回路基板300に設置された状態の投射部100および撮像部200を示す平面図であり、図3(b)は、図3(a)のA−A’断面図である。
FIG. 3A and FIG. 3B are diagrams illustrating configurations of the
図3(a)、(b)を参照して、光源110は、発光ダイオード(LED:LightEmitting Diode)、半導体レーザ等からなっている。光源110は、赤外光の利用効率を高めるため、レンズ等によって、目標領域において赤外光が撮像範囲の近傍に集まるように調整されている。光源110は、回路基板300上に実装されている。
Referring to FIGS. 3A and 3B, the
撮像部200は、上述のアパーチャ210、撮像レンズ220、フィルタ230および
CMOSイメージセンサ240の他、レンズバレル250と、撮像レンズホルダ260を備えている。CMOSイメージセンサ240は、回路基板300上に実装されている。撮像レンズ220は、レンズバレル250に装着され、レンズバレル250は、撮像レンズ220を保持した状態で撮像レンズホルダ260に装着される。撮像レンズホルダ260は、下面に凹部を有し、この凹部に、フィルタ230が装着される。こうして、撮像レンズ220とフィルタ230とを保持した状態で、撮像レンズホルダ260が、CMOSイメージセンサ240を覆うように、回路基板300上に設置される。
The
本実施の形態において、撮像レンズ220は、4枚のレンズにより構成されている。しかしながら、撮像レンズ220を構成するレンズの数はこれに限られるものではなく、他の枚数のレンズから撮像レンズ220が構成されても良い。
In the present embodiment, the
回路基板300には、投射部100と撮像部200の他、物体検出装置2を構成する回路部400が実装される。図2に示すCPU21、赤外光源駆動回路22、撮像信号処理回路23、入出力回路24およびメモリ25は、かかる回路部400に含まれる。
In addition to the
図3(c)は、目標領域に対する赤外光の投射状態および撮像部200による目標領域の撮像状態を模式的に示す図である。
FIG. 3C is a diagram schematically illustrating a projection state of infrared light on the target region and an imaging state of the target region by the
図3(c)の下部には、投射部100による赤外光の投射状態と、撮像部200による目標領域の撮像状態が示されている。また、図3(c)の上部には、目標領域における赤外光の投射範囲と、目標領域に対する撮像部200の撮像範囲が模式的に示されている。さらに、図3(c)の上部には、CMOSイメージセンサ240の撮像有効領域に対応する領域が示されている。図3(c)において、Lminは、物体検出装置2によって取得可能な最小距離を示している。図3(c)の上部には、目標領域が最大距離の位置にあるときの投射範囲、撮像範囲および撮像有効領域が示されている。
In the lower part of FIG. 3C, an infrared light projection state by the
図3(c)に示すように、撮像範囲と投射範囲は、目標領域において互いに重なり合っており、撮像範囲と投射範囲とが重なる範囲に、撮像有効領域が位置付けられる。 As shown in FIG. 3C, the imaging range and the projection range overlap each other in the target area, and the imaging effective region is positioned in a range where the imaging range and the projection range overlap.
目標領域をCMOSイメージセンサ240で撮像するためには、CMOSイメージセンサ240の撮像有効領域に対応する領域が、投射範囲内に含まれている必要がある。一方、距離が短くなるにつれて、投射範囲が狭くなり、やがて、投射範囲が撮像有効領域に対応する領域に掛らなくなる。したがって最小距離Lminは、少なくとも、投射範囲が撮像有効領域全体に掛かり得る最小の限界距離よりも長く設定される。
In order to image the target area with the
図4は、CMOSイメージセンサ240上の各画素の感度を模式的に示す図である。
FIG. 4 is a diagram schematically showing the sensitivity of each pixel on the
本実施の形態では、CMOSイメージセンサ240として、カラーセンサが用いられる。したがって、CMOSイメージセンサ240には、赤、緑、青をそれぞれ検知する3種の画素が含まれる。
In the present embodiment, a color sensor is used as the
図4において、R、G、Bは、それぞれ、CMOSイメージセンサ240に含まれる赤、緑、青の画素の感度を示している。図4に示すとおり、赤、緑、青の画素の感度は、赤外の波長帯域である800nm以上の帯域において、略同じ感度となっている(図4の斜線部分を参照)。したがって、図3(b)に示すフィルタ230によって、可視光の波長帯域が除去されると、CMOSイメージセンサ240の赤、緑、青の画素の感度は、互いに略等しくなる。このため、赤、緑、青の画素に、それぞれ、同じ光量の赤外光が入射すると、各色の画素から出力される信号の値は略等しくなる。よって、各画素からの信号を画素間で調整する必要はなく、各画素からの信号をそのまま距離情報の取得に用いること
ができる。
In FIG. 4, R, G, and B indicate the sensitivity of red, green, and blue pixels included in the
図5(a)の上部には、メモリ25に保持された距離変換関数の波形を模式的に示す図が示されている。図5(a)の下部には、物体検出装置2から検出対象物体までの距離と輝度の関係を模式的に示す図が示されている。図5(a)には、検出対象物体として手が示されており、ハッチングが濃いほど、受光量が大きいことが示されている。図5(a)に示すグラフの縦軸は、輝度値(階調値)であり、横軸は、距離(cm)である。なお、CMOSイメージセンサ240の最高輝度値255よりも高い輝度値の範囲には、ハッチングが付されている。
A diagram schematically showing the waveform of the distance conversion function held in the
図5(a)に示すように、距離変換関数は、CMOSイメージセンサ240を介して取得される輝度値と、当該輝度値に対応する距離の関係を規定する。一般に、直進する光の光量は、距離の2乗に反比例して減衰する。したがって、投射部100から出射された赤外光は、投射部100から目標領域までの距離と目標領域から撮像部200までの距離を加算した距離の2乗分の1に光量が減衰した状態で、撮像部200によって受光される。このため、図5(a)に示すように、CMOSイメージセンサ240を介して取得される輝度値は、物体までの距離が長いほど小さくなり、物体までの距離が短いほど大きくなる。したがって、距離と輝度との関係を規定する距離変換関数は、図5(a)に示すような曲線波形になる。
As shown in FIG. 5A, the distance conversion function defines the relationship between the luminance value acquired via the
物体検出装置2では、距離と輝度値との関係が距離変換関数に略整合するように、CMOSイメージセンサ240の露光時間と、輝度値の取得に適用にされるゲインが調整されている。輝度値は、256階調で取得される。
In the
かかる調整は、物体検出装置2の製造時に行われる。そして、調整された露光時間とゲインは、メモリ25に保持され、距離情報の取得の際に用いられる。
Such adjustment is performed when the
上述のように、検出対象物体(たとえば、手等)を物体検出装置2に近付けていくと、距離の2乗に反比例してCMOSイメージセンサ240に対する反射光の受光光量が大きくなり、輝度が高くなる。そして、所定の距離L0まで検出対象物体が近付けられると、CMOSイメージセンサ240の出力が飽和し、輝度は最大値である255となる。検出対象物体が距離L0よりもさらに物体検出装置2側に近付けられた場合、CMOSイメージセンサ240の出力が飽和しているため、距離に応じて受光光量が大きくなっても、輝度値は上昇しなくなる。
As described above, when a detection target object (for example, a hand) is brought closer to the
また、検出対象物体を物体検出装置2から遠ざけると、距離の2乗に反比例してCMOSイメージセンサ240に対する反射光の受光光量が小さくなり、輝度が低くなる。そして、所定の距離Leまで検出対象物体が遠ざけられると、CMOSイメージセンサ240の受光光量が検出限界まで小さくなり、輝度は最小である0となる。検出対象物体が距離Leよりもさらに物体検出装置2から遠ざけられた場合、CMOSイメージセンサ240の検出限界よりも受光光量が小さいため、距離に応じて受光光量が小さくなっても、輝度は低下しなくなる。
Further, when the detection target object is moved away from the
このように、距離L0よりも近距離に物体が位置付けられた場合、輝度が変化しないため、輝度の変化からは距離を測定することができない。 As described above, when the object is positioned at a shorter distance than the distance L0, the luminance does not change, and therefore the distance cannot be measured from the change in luminance.
図5(b)は、物体検出装置2から検出対象物体までの距離と撮像画像中に写り込んだ検出対象物体の大きさとを示す図である。なお、図5(b)には、検出対象物体として手が示されており、ハッチングが薄いほど、輝度が高いことが示されている。
FIG. 5B is a diagram illustrating the distance from the
図5(b)には、図中、左から順に、近距離から遠距離に徐々に手を遠ざけた場合の所定の距離における手の大きさが示されている。図示の如く、手を近距離から遠距離に徐々に遠ざけた場合、撮像画像中に写り込む物体形状の大きさは、徐々に小さくなる。図中一番左に写り込んでいる手とその右隣の手の位置の輝度は、それぞれ、最大値(255)となっている。 FIG. 5B shows the size of the hand at a predetermined distance when the hand is gradually moved away from the short distance to the long distance in order from the left. As shown in the figure, when the hand is gradually moved away from the short distance, the size of the object shape reflected in the captured image is gradually reduced. The brightness of the hand shown on the leftmost side in the figure and the position of the hand on the right is the maximum value (255).
一般に、撮像画像中に写り込む検出対象物体の形状の大きさは、輝度と同様、距離の2乗に反比例して小さくなる。したがって、あらかじめ、検出対象物体の形状と所定の基準距離Dにおける検出対象物体の大きさを保持しておけば、上記と同様の距離変換関数に基づいて、保持しておいた検出対象物体の大きさと実測時の検出対象物体の大きさの比から、距離を算出することができる。本実施の形態では、基準距離Dは、輝度が略最大値となる距離L0に設定される。 In general, the size of the shape of the detection target object reflected in the captured image becomes smaller in inverse proportion to the square of the distance, like the luminance. Therefore, if the shape of the detection target object and the size of the detection target object at the predetermined reference distance D are held in advance, the size of the detection target object held based on the same distance conversion function as described above. The distance can be calculated from the ratio of the size of the detection target object at the time of actual measurement. In the present embodiment, the reference distance D is set to a distance L0 at which the luminance is approximately the maximum value.
たとえば、図5(a)に示すように、あらかじめ、物体検出装置2から30cmの位置で輝度が最大値の255となるように、CMOSイメージセンサ240のゲイン、露光時間等のパラメータが調整されており、輝度が最大値(255)となるときの検出対象物体の面積をSとすると、実測時の検出対象物体の面積が1.5Sであった場合、距離は、略25cmと算出される。また、実測時の検出対象物体の面積が0.5Sであった場合は、略45cmと算出される。
For example, as shown in FIG. 5A, parameters such as the gain and exposure time of the
このように、輝度が略最大値となる基準距離Dにおける検出対象物体の面積と、実測時における検出対象物体の面積の比から実測時の距離を算出することができる。撮像画像に写り込む検出対象物体は、CMOSイメージセンサ240の出力値が飽和するほど検出対象物体が物体検出装置2に近付けられたとしても大きさが変化するため、輝度値のみで距離を取得する場合に比べ、より広範囲で距離取得を行うことができる。
In this way, the distance at the time of actual measurement can be calculated from the ratio of the area of the detection target object at the reference distance D at which the luminance is substantially the maximum value and the area of the detection target object at the time of actual measurement. Since the detection target object reflected in the captured image changes in size even when the detection target object is brought closer to the
なお、このように、あらかじめ保持しておいた基準距離Dのときの検出対象物体の面積と、実測時における検出対象物体の面積に基づいて、検出対象物体の距離が取得される構成は、請求項1に記載の構成の一例である。また、基準距離Dが、輝度が略最大値となる距離に設定される構成は、請求項4に記載の構成の一例である。
As described above, the configuration in which the distance of the detection target object is acquired based on the area of the detection target object at the reference distance D that is held in advance and the area of the detection target object at the time of actual measurement is claimed. It is an example of the structure of claim |
上述のようにして、実測時における検出対象物体の面積と距離変換関数から距離を算出するために、物体検出の前に、輝度が略最大値となる基準距離Dにおける検出対象物体の基準形状Hと検出対象物体の基準面積Saがメモリ25の基準形状登録テーブルTに設定される。
As described above, in order to calculate the distance from the area of the detection target object at the time of actual measurement and the distance conversion function, before the object detection, the reference shape H of the detection target object at the reference distance D at which the luminance is approximately the maximum value. The reference area Sa of the detection target object is set in the reference shape registration table T of the
図6(a)は、CMOSイメージセンサ240から出力された撮像画像の例を示す模式図である。図6(b)〜図6(e)は、人物の手周辺の撮像画像の例を示す図である。図6(f)は、基準形状登録テーブルTを示す図である。
FIG. 6A is a schematic diagram illustrating an example of a captured image output from the
図6(a)の撮像画像には、手を前方に突き出した人物が写り込んでいる。図6(a)〜図6(e)の撮像画像では、ハッチングが濃ければ濃いほど、輝度が低く、ハッチングが薄ければ薄いほど、輝度が高いことが示されている。 In the captured image of FIG. 6A, a person with his hand protruding forward is reflected. The captured images in FIGS. 6A to 6E indicate that the darker the hatching, the lower the luminance, and the thinner the hatching, the higher the luminance.
基準形状登録テーブルTの設定時には、まず、図6(b)〜図6(e)に示すように、人物が徐々に手を物体検出装置2に近付けている状態が撮像部200により撮像される。そして、取得された撮像画像が、所定のサイズの判定領域W1〜Wnに区分される。判定領域W1〜Wnのサイズは、図6(d)に示すように、検出対象物体の大きさよりも小さくなるように設定される。判定領域W1〜Wnのうちどれかに輝度が略最大値となる検出対象物体が含まれていると判定された場合、検出対象物体が基準距離Dに位置付けられた
と判定される。そして、その位置における検出対象物体の形状が基準形状Hとして、基準形状Hに含まれる画素数が基準面積Saとして、基準形状登録テーブルTに登録される。
At the time of setting the reference shape registration table T, first, as shown in FIGS. 6B to 6E, the
たとえば、図6(b)〜図6(e)に示すように、人物が徐々に手を前方に突き出した状態を撮像した場合、図6(d)に示す撮像画像を撮像したときに、判定領域Wiに輝度が略最大値となる検出対象物体が含まれていると判定される。そして、この判定領域Wiを含む検出対象物体の形状が所定の輪郭抽出エンジンによって抽出される。そして、抽出した輪郭に含まれる画素数がカウントされ、図6(f)に示すようにメモリ25の基準形状登録テーブルTに基準形状Hと基準面積Saが設定される。
For example, as shown in FIGS. 6B to 6E, when a person is picked up in a state where the hand gradually protrudes forward, the determination is made when the picked-up image shown in FIG. 6D is picked up. It is determined that the detection target object whose luminance is approximately the maximum value is included in the region Wi. Then, the shape of the detection target object including the determination area Wi is extracted by a predetermined contour extraction engine. Then, the number of pixels included in the extracted contour is counted, and the reference shape H and the reference area Sa are set in the reference shape registration table T of the
こうして、基準形状登録テーブルTに基準形状Hと基準面積Saが設定されると、実測時における撮像画像中における検出対象物体の形状が抽出され、実測時における検出対象物体の実測形状Jの実測面積Sbと基準形状Hの基準面積Saの比から、上記の距離変換関数に基づいて距離取得が行われる。 Thus, when the reference shape H and the reference area Sa are set in the reference shape registration table T, the shape of the detection target object in the captured image at the time of actual measurement is extracted, and the actual measurement area of the actual measurement shape J of the detection target object at the actual measurement time. From the ratio of Sb and the reference area Sa of the reference shape H, distance acquisition is performed based on the distance conversion function.
なお、このように、検出対象物体の基準形状Hと基準面積Saが設定される構成は、請求項2に記載の構成の一例である。また、輝度値に対応する距離の関係を規定する距離変換関数を備え、輝度が略最大値となるときの検出対象物体の基準形状Hと基準面積Saが設定される構成は、請求項3に記載の構成の一例である。さらに、実測時における検出対象物体の形状の実測面積Sbと基準形状Hの基準面積Saの比と、距離変換関数に基づいて、実測時の検出対象物体の距離が取得される構成は、請求項6に記載の構成の一例である。
The configuration in which the reference shape H and the reference area Sa of the detection target object are set as described above is an example of a configuration according to
判定領域W1〜Wnのサイズは、図6(d)に示すように、検出対象物体の輝度が略最大値となる基準距離Dの位置において、検出対象物体の大きさよりも小さくなるように設定されるのが望ましい。これは、指や手の向きや形状によって光の当たり方が異なるためである。たとえば、判定領域W1〜Wnのサイズが、手の形状と略同等の大きさである場合、手全体の輝度が略最大値になるよう、ユーザ側で指や手の向き及び形状を調節する必要がある。これに対し、本実施の形態では、判定領域W1〜Wnのサイズは、検出対象物体の大きさよりも小さく設定されるため、検出対象物体の形状や向きにかかわらず、適正に検出対象物体の輝度が略最大値となる位置を判定することができる。これにより、適正に基準形状Hと基準面積Saを基準形状登録テーブルTに設定することができる。 As shown in FIG. 6D, the sizes of the determination areas W1 to Wn are set to be smaller than the size of the detection target object at the position of the reference distance D where the luminance of the detection target object is approximately the maximum value. Is desirable. This is because the way the light strikes depends on the direction and shape of the finger or hand. For example, when the size of the determination areas W1 to Wn is substantially the same as the shape of the hand, it is necessary to adjust the direction and shape of the finger or hand on the user side so that the brightness of the entire hand becomes a substantially maximum value. There is. On the other hand, in the present embodiment, the sizes of the determination regions W1 to Wn are set smaller than the size of the detection target object, and therefore the brightness of the detection target object is appropriately set regardless of the shape and orientation of the detection target object. It is possible to determine a position at which becomes a substantially maximum value. Thereby, the reference shape H and the reference area Sa can be appropriately set in the reference shape registration table T.
なお、このように、検出対象物体の輝度が略最大値となる基準距離Dにおいて、基準形状Hの基準面積Saよりも小さい判定領域W1〜Wnが設定される構成は、請求項5に記載の構成の一例である。 The configuration in which the determination areas W1 to Wn smaller than the reference area Sa of the reference shape H are set at the reference distance D where the luminance of the detection target object is substantially maximum as described above is described in claim 5. It is an example of a structure.
図7は、基準形状登録処理を示すフローチャートである。図7の処理は、図2に示すCPU21の機能のうち、基準形状取得部21bの機能によって実行される。
FIG. 7 is a flowchart showing the reference shape registration process. The processing of FIG. 7 is executed by the function of the reference
基準形状登録処理が開始され、撮像タイミングが到来すると(S101:YES)、CPU21は、上記のように設定された露光時間とゲインをメモリ25から読み出して、撮像信号処理回路23に設定する。これにより撮像信号処理回路23は、設定された露光時間とゲインでもって、CMOSイメージセンサ240から撮像画像を取得し(S102)、取得した撮像画像から、画素毎に輝度値を取得する(S103)。取得された輝度値は、CPU21に送信される。
When the reference shape registration process is started and the imaging timing arrives (S101: YES), the
CPU21は、撮像画像上において、所定のサイズの領域を、判定領域W1〜Wnとして区分する(S104)。判定領域W1〜Wnは、検出対象物体の大きさよりも小さく設定される。たとえば、縦5画素×横5画素の領域に設定される。
The
CPU21は、変数iに1をセットし(S105)、判定領域Wi内の平均輝度Baを算出する(S106)。そして、CPU21は、判定領域Wiの平均輝度Baが輝度閾値Bsh1以上であるか否かを判定する(S107)。
The
判定領域Wiの平均輝度Baが輝度閾値Bsh1以上でない場合(S107:NO)、CPU21は、変数iに1を加算し(S108)、変数iが変数nを超えたか否かを判定する(S109)。変数iが変数nを超えていない場合(S109:NO)、CPU21は、処理をS106に戻し、次の判定領域Wiの平均輝度Baの算出と(S106)、平均輝度Baが輝度閾値Bsh1以上であるか否かを判定する(S107)。判定領域Wiの平均輝度Baが輝度閾値Bsh1以上でない限り(S107:NO)、CPU21は、最後の判定領域Wnに到達するまで(S109:NO)、処理を繰り返す(S106〜S109)。
When the average brightness Ba of the determination area Wi is not equal to or higher than the brightness threshold Bsh1 (S107: NO), the
輝度閾値Bsh1は、CMOSイメージセンサ240の出力が飽和しているかを判定するため、輝度の最大値(255)に近い値が設定される(たとえば、250)。
The luminance threshold value Bsh1 is set to a value close to the maximum luminance value (255) (for example, 250) in order to determine whether the output of the
判定領域W1〜Wnの平均輝度Baが輝度閾値Bsh1以上でなく(S107:NO)、最後の判定領域Wnまで処理が完了すると(S109:YES)、CPU21は、基準形状登録処理が終了したか否かを判定する(S110)。基準形状登録処理が終了していない場合(S110:NO)、CPU21は、処理をS101に戻し、次の撮像画像に対する基準形状判定処理を実行する(S101〜S113)。
When the average brightness Ba of the determination areas W1 to Wn is not equal to or higher than the brightness threshold Bsh1 (S107: NO) and the process is completed up to the last determination area Wn (S109: YES), the
判定領域Wiの平均輝度Baが輝度閾値Bsh1以上である場合(S107:YES)、CPU21は、判定領域Wiを含む検出対象物体の輪郭を所定の輪郭抽出エンジンによって抽出する(S111)。こうして抽出された輪郭が、基準形状Hとされる。そして、基準形状Hの輪郭内に含まれる画素数をカウントする(S112)。こうしてカウントされた画素数が、基準面積Saとされる。そして、CPU21は、抽出した基準形状Hと、基準面積Saを基準形状登録テーブルTに設定する(S113)。これにより、基準形状登録テーブルTに、検出対象物体の形状と輝度が略最大値(255)となるときの検出対象物体の大きさ(面積)がメモリ25の基準形状登録テーブルTに設定される。
When the average luminance Ba of the determination area Wi is equal to or higher than the luminance threshold Bsh1 (S107: YES), the
こうして、基準形状登録テーブルTに基準形状Hと基準面積Saが登録されると、CPU21は、基準形状登録処理が終了したか否かを判定する(S110)。基準形状登録処理が終了していない場合(S110:NO)、CPU21は、処理をS101に戻し、次の撮像画像に対する処理を実行する(S101〜S113)。基準形状登録処理が終了すると(S110:YES)、CPU21は、処理を完了する。
Thus, when the reference shape H and the reference area Sa are registered in the reference shape registration table T, the
図8は、物体検出処理を示すフローチャートである。図8の処理は、図2に示すCPU21の機能のうち、物体検出部21cの機能によって実行される。
FIG. 8 is a flowchart showing the object detection process. 8 is executed by the function of the
物体検出処理が開始され、撮像タイミングが到来すると(S201:YES)、CPU21は、上記のように設定された露光時間とゲインをメモリ25から読み出して、撮像信号処理回路23に設定する。これにより撮像信号処理回路23は、設定された露光時間とゲインでもって、CMOSイメージセンサ240から撮像画像を取得し(S202)、取得した撮像画像から、画素毎に輝度値を取得する(S203)。取得された輝度値は、CPU21に送信される。
When the object detection process is started and the imaging timing comes (S201: YES), the
CPU21は、撮像信号処理回路23から受信した輝度値を各画素位置に設定して輝度画像を作成する(S204)。そして、CPU21は、輝度画像における最高階調の輝度
値(最も物体検出装置2に接近することを表す輝度値)から所定の値ΔBを減じた値を輝度閾値Bsh2に設定する(S205)。
The
次に、CPU21は、輝度画像上において、輝度値(階調値)が輝度閾値Bsh2よりも高い領域を、対象領域として区分する(S206)。そして、CPU21は、所定の輪郭抽出エンジンを実行し、区分した対象領域の輪郭と、基準形状登録テーブルTの基準形状Hの輪郭とを比較して、基準形状Hの輪郭に対応する輪郭の対象領域を、検出対象物体に対応する領域として抽出する(S207)。この抽出された領域が実測形状Jとされる。CPU21は、抽出した実測形状Jの輪郭内に含まれる画素数をカウントし、検出対象物体の実測面積Sbを算出する(S208)。
Next, the
CPU21は、算出した実測面積Sbと基準形状登録テーブルTに保持された基準面積Saの比に応じて、メモリ25に保持された距離変換関数に基づく演算により距離情報を取得する(S209)。また、CPU21は、検出対象物体の中心の画素位置を取得する(S210)。取得した距離情報と画素位置が、検出対象物体の3次元距離情報に相当する。取得した3次元距離情報は、メモリ25に保持される。
The
CPU21は、取得した3次元距離情報と、これまでに取得したメモリ25に保持された3次元距離情報に基づいて、検出対象物体の動きを取得する(S211)。そして、CPU21は、取得した検出対象物体の動きが、あらかじめ設定された所定の動きパターンと合致するか否かを判定する(S212)。
The
検出対象物体の動きが所定の動きパターンに合致しない場合(S212:NO)、CPU21は、処理をS214に進める。検出対象物体の動きが所定の動きパターンに合致する場合(S212:YES)、CPU21は、所定の動きパターンに応じた機能制御信号を図2に示すパーソナルコンピュータ1の情報処理部3に出力する。パーソナルコンピュータ1の情報処理部3は、機能制御信号を受信すると、信号に応じたパーソナルコンピュータ1の機能(画面の拡大・縮小や、画面の明るさ調整、ページ送り、等)を実行する。
When the movement of the detection target object does not match the predetermined movement pattern (S212: NO), the
こうして、検出対象物体の距離取得、動き検出処理が終了すると、CPU21は、物体検出動作が終了したか否かを判定する(S214)。物体検出動作が終了していない場合(S214:NO)、CPU21は、S201に戻り、次の撮像画像が取得されるのを待つ。そして、次の撮像画像が取得されると(S201:YES)、CPU21は、S202以降の処理を実行し、当該撮像画像から検出対象物体の距離取得、動き検出処理を実行する(S202〜S213)。物体検出処理が終了すると(S214:YES)、CPU21は、処理を完了する。
Thus, when the distance acquisition and motion detection processing of the detection target object is completed, the
<実施の形態の効果>
以上、本実施の形態によれば、基準形状登録処理により登録された基準形状Hの基準面積Saと実測時に取得された実測形状Jの実測面積Sbに基づいて、距離取得が行われるため、CMOSイメージセンサ240の出力が飽和するような近距離においても、適正に距離取得を行うことができる。したがって、広範囲で距離取得を行うことができる。
<Effect of Embodiment>
As described above, according to the present embodiment, distance acquisition is performed based on the reference area Sa of the reference shape H registered by the reference shape registration process and the actual area Sb of the actual shape J acquired at the time of actual measurement. Even at a short distance where the output of the
また、本実施の形態によれば、基準面積Saと実測面積Sbの比に応じて、メモリ25に保持された距離変換関数に基づく演算より、距離情報が取得されるため、簡素な演算処理により距離情報を取得することができる。
In addition, according to the present embodiment, distance information is acquired from the calculation based on the distance conversion function held in the
また、本実施の形態によれば、判定領域W1〜Wnが検出対象物体の輝度が略最大値となる基準距離Dにおいて、検出対象物体の大きさよりも小さく設定されるため、検出対象物体の形状や向きにかかわらず、適正に検出対象物体の輝度が略最大値となる位置を判定
することができる。これにより、適正に基準形状Hと基準面積Saを基準形状登録テーブルTに設定することができる。
In addition, according to the present embodiment, the determination regions W1 to Wn are set to be smaller than the size of the detection target object at the reference distance D where the luminance of the detection target object is approximately the maximum value. Regardless of the orientation, the position where the luminance of the detection target object is approximately the maximum value can be determined appropriately. Thereby, the reference shape H and the reference area Sa can be appropriately set in the reference shape registration table T.
<変更例>
以上、本発明の実施の形態について説明したが、本発明は、上記実施の形態に何ら制限されるものではなく、本発明の構成例も他に種々の変更が可能である。
<Example of change>
While the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments, and various modifications can be made to the configuration example of the present invention.
たとえば、上記実施の形態では、図6(f)に示すように、基準形状登録テーブルTには、1つの基準形状Hと1つの基準面積Saが設定されたが、図9に示すように、複数種類の異なる基準形状Hと基準面積Saが設定されても良い。また、同じ基準形状Hで異なる角度の基準形状が設定されても良い。 For example, in the above embodiment, as shown in FIG. 6 (f), one reference shape H and one reference area Sa are set in the reference shape registration table T, but as shown in FIG. A plurality of different reference shapes H and reference areas Sa may be set. Further, reference shapes having different angles with the same reference shape H may be set.
本変更例とすれば、実測時に検出対象物体の形状が変化したとしても、検出対象物体を適正に検出することができ、適正に距離取得を行うことができる。 According to this modified example, even if the shape of the detection target object changes during actual measurement, the detection target object can be detected properly, and distance acquisition can be performed appropriately.
また、上記実施の形態では、検出対象物体によりCMOSイメージセンサ240が飽和する位置を基準距離Dとして、実測時における検出対象物体の距離が取得されたが、これに限られるものではない。たとえば、図10に示すように、輝度値が略半分(128)になる距離Lmを基準距離Dとして、実測時における検出対象物体の距離が取得されても良い。この場合、基準形状登録テーブルTには、輝度値が128に相当する距離Lmにおける基準形状Hと基準面積Saが登録される。
Further, in the above embodiment, the distance of the detection target object at the time of actual measurement is acquired using the position at which the
本変更例とすれば、上記実施の形態同様、検出対象物体の大きさの変化に応じて、距離を取得することができるため、広範囲で距離取得を行うことができる。 According to this modified example, the distance can be acquired in accordance with the change in the size of the detection target object as in the above-described embodiment, and thus the distance can be acquired in a wide range.
なお、本変更例の場合、基準距離Dがやや遠距離に設定されるため、基準形状登録時に、検出対象物体以外の物体が基準距離Dよりも前方に位置付けられ易い。基準形状登録時に、検出対象物体以外の物体が基準距離Dよりも前方に位置付けられると、適正に検出対象物体の基準形状Hを取得できないため、上記実施の形態のように、基準距離Dは、最も近距離となる輝度値が略最大値(255)となる距離L0に設定される方が望ましい。 In the case of this modified example, since the reference distance D is set to a slightly long distance, an object other than the detection target object is likely to be positioned ahead of the reference distance D when the reference shape is registered. When the reference shape is registered, if an object other than the detection target object is positioned in front of the reference distance D, the reference shape H of the detection target object cannot be properly acquired. Thus, as in the above embodiment, the reference distance D is It is desirable to set the luminance value at the shortest distance to the distance L0 at which the luminance value is approximately the maximum value (255).
また、上記実施の形態では、判定領域W1〜Wnに含まれる平均輝度Baを算出して、CMOSイメージセンサ240が飽和する位置(基準距離D)が判定されたが、判定領域W1〜Wnに含まれる輝度の合計値により、CMOSイメージセンサ240が飽和する位置が判定されても良い。また、この他、判定領域W1〜Wnに含まれる輝度のうち、最大の輝度により、CMOSイメージセンサ240が飽和する位置が判定されても良い。
Further, in the above embodiment, the average luminance Ba included in the determination areas W1 to Wn is calculated and the position (reference distance D) where the
また、上記実施の形態では、検出対象物体によりCMOSイメージセンサ240が飽和する位置を判定するために、所定のサイズの判定領域W1〜Wnが設定されたが、領域が設定されず、1画素単位の輝度によって、検出対象物体によりCMOSイメージセンサ240が飽和する位置が判定されても良い。ただし、ノイズ等による誤検出を抑制するためには、所定のサイズの判定領域に含まれる複数の輝度値によってCMOSイメージセンサ240が飽和する位置が判定された方が望ましい。
In the above embodiment, the determination areas W1 to Wn having a predetermined size are set in order to determine the position where the
また、上記実施の形態では、全ての距離範囲において、基準形状Hの基準面積Saと実測形状Jの実測面積Sbに応じて、距離取得が行われたが、図5(a)に示す輝度取得可能範囲内であれば、輝度値に応じて距離取得が行われても良い。 In the above embodiment, the distance acquisition is performed in accordance with the reference area Sa of the reference shape H and the actual measurement area Sb of the actual measurement J in all distance ranges, but the luminance acquisition shown in FIG. If it is within the possible range, distance acquisition may be performed according to the luminance value.
また、上記実施の形態では、基準形状H、実測形状Jに含まれる画素数をカウントすることにより、基準面積Sa、実測面積Sbが取得されたが、基準形状H、実測形状Jの輪
郭の座標値に基づく演算によって基準面積Sa、実測面積Sbが取得されても良い。
In the above embodiment, the reference area Sa and the actual measurement area Sb are obtained by counting the number of pixels included in the reference shape H and the actual measurement shape J. The reference area Sa and the actually measured area Sb may be acquired by calculation based on the value.
また、上記実施の形態では、物体検出の前に、基準形状取得部21bにより、基準形状Hと基準面積Saがメモリ25の基準形状登録テーブルTに登録されたが、あらかじめ、物体検出装置2の製造時に、想定される検出対象物体の基準形状Hと基準面積Saが登録されていても良い。この場合、図2に示す基準形状取得部21bの機能が省略される。なお、本変更例の場合、検出対象物体の形状の変化に対応するために、基準形状登録テーブルTには、多数の基準形状Hと基準面積Saが登録されていたほうが望ましい。
In the above embodiment, the reference
本変更例においても、上記実施の形態同様、検出対象物体の大きさの変化に応じて、距離を取得することができるため、広範囲で距離取得を行うことができる。 Also in this modified example, since the distance can be acquired according to the change in the size of the detection target object as in the above embodiment, the distance can be acquired in a wide range.
なお、検出対象物体の基準形状Hと基準面積Saは、検出状況に応じて変化することが想定される(たとえば、検出対象の人物が入れ替わる等)。したがって、検出状況の変化に対応するためには、上記実施の形態のように、物体検出の前に、基準形状取得部21bにより、基準形状Hと基準面積Saが基準形状登録テーブルTに設定されたほうが望ましい。
Note that the reference shape H and the reference area Sa of the detection target object are assumed to change according to the detection situation (for example, the detection target person is switched). Therefore, in order to cope with changes in the detection situation, the reference shape H and the reference area Sa are set in the reference shape registration table T by the reference
また、上記実施の形態および変更例では、CMOSイメージセンサ240上の全ての画素について輝度値が取得されたが、必ずしも全ての画素について輝度値が取得されなくとも良く、たとえば、数画素おきに輝度値が取得されても良い。
Further, in the above embodiment and the modified example, the luminance value is acquired for all the pixels on the
また、上記実施の形態では、撮像部200のフィルタ230が撮像レンズ220とCMOSイメージセンサ240との間に配置されたが、フィルタ230の配置位置は、これに限られるものではなく、撮像レンズ220よりも目標領域側であっても良い。
In the above embodiment, the
また、上記実施の形態では、CPU21による機能によってソフトウエア処理により距離情報が取得されたが、距離情報の取得が回路によるハードウエア処理により実現されても良い。
In the above embodiment, the distance information is acquired by software processing by the function of the
さらに、上記実施の形態では、受光素子として、CMOSイメージセンサ240を用いたが、これに替えて、CCDイメージセンサを用いることもできる。また、赤外以外の波長帯域の光を距離取得に用いることもできる。
Furthermore, in the above-described embodiment, the
この他、本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。 In addition, the embodiment of the present invention can be variously modified as appropriate within the scope of the technical idea shown in the claims.
1 … パーソナルコンピュータ
2 … 物体検出装置
3 … 情報処理部
21b … 基準形状取得部
21c … 物体検出部
23 … 撮像信号処理回路(輝度取得部)
100 … 投射部
110 … 光源
200 … 撮像部
220 … 撮像レンズ
230 … フィルタ
240 … CMOSイメージセンサ(イメージセンサ)
Ba … 平均輝度(輝度値)
D … 基準距離
H … 基準形状
J … 実測形状
Sa … 基準面積(基準形状の大きさ)
Sb … 実測面積(実測形状の大きさ)
W1〜Wn … 判定領域
DESCRIPTION OF
DESCRIPTION OF
Ba: Average luminance (luminance value)
D: Reference distance H: Reference shape J: Measured shape Sa: Reference area (size of reference shape)
Sb ... Measured area (size of measured shape)
W1 to Wn ... Determination area
Claims (7)
前記目標領域をイメージセンサにより撮像する撮像部と、
前記イメージセンサ上の所定の画素の輝度値を取得する輝度取得部と、
前記輝度取得部により取得された輝度値に基づいて、前記目標領域に存在する検出対象物体を検出する物体検出部と、を備え、
前記物体検出部は、実測時に、前記検出対象物体の実測形状の大きさを取得し、前記実測形状の大きさと、前記検出対象物体が基準距離にあるときの前記検出対象物体の基準形状の大きさとに基づいて、前記検出対象物体の距離に関する情報を取得する、
ことを特徴とする物体検出装置。 A projection unit that projects light onto the target area;
An imaging unit for imaging the target area by an image sensor;
A luminance acquisition unit for acquiring a luminance value of a predetermined pixel on the image sensor;
An object detection unit that detects a detection target object existing in the target area based on the luminance value acquired by the luminance acquisition unit;
The object detection unit obtains the size of the actually measured shape of the detection target object during actual measurement, and the size of the actually measured shape and the size of the reference shape of the detection target object when the detection target object is at a reference distance And obtaining information on the distance of the detection target object based on
An object detection apparatus characterized by that.
前記輝度取得部により取得された輝度値に基づいて、前記基準距離における前記検出対象物体の前記基準形状と該基準形状の大きさを取得する基準形状取得部を、さらに備える、
ことを特徴とする物体検出装置。 The object detection apparatus according to claim 1,
A reference shape acquisition unit that acquires the reference shape of the detection target object at the reference distance and the size of the reference shape based on the luminance value acquired by the luminance acquisition unit;
An object detection apparatus characterized by that.
前記基準形状取得部は、輝度値と距離との関係を規定する規定情報を備え、前記規定情報に基づいて、前記基準距離における前記基準形状と前記基準形状の大きさを取得する、ことを特徴とする物体検出装置。 The object detection device according to claim 2,
The reference shape acquisition unit includes definition information that defines a relationship between a luminance value and a distance, and acquires the reference shape and the size of the reference shape at the reference distance based on the definition information. An object detection device.
前記基準距離は、前記検出対象物体を前記撮像部に近づけたときに、前記イメージセンサから取得される輝度値がその距離から飽和する距離に設定される、
ことを特徴とする物体検出装置。 The object detection device according to claim 3,
The reference distance is set to a distance at which a luminance value acquired from the image sensor is saturated from the distance when the detection target object is brought close to the imaging unit.
An object detection apparatus characterized by that.
前記基準形状取得部は、前記基準距離における前記基準形状の大きさよりも小さい判定領域を設定し、当該判定領域に含まれる前記輝度値に基づいて、前記イメージセンサから取得される輝度値が飽和しているかを判定する、
ことを特徴とする物体検出装置。 The object detection device according to claim 4,
The reference shape acquisition unit sets a determination region smaller than the size of the reference shape at the reference distance, and the luminance value acquired from the image sensor is saturated based on the luminance value included in the determination region. To determine whether
An object detection apparatus characterized by that.
前記物体検出部は、前記基準形状の大きさに対する前記実測形状の大きさの変化量と、前記規定情報に基づいて、前記実測時における前記検出対象物体の距離に関する情報を取得する、
ことを特徴とする物体検出装置。 In the object detection device according to any one of claims 3 to 5,
The object detection unit acquires information on the distance of the detection target object at the time of actual measurement based on the amount of change in the actual measurement shape with respect to the size of the reference shape and the specified information.
An object detection apparatus characterized by that.
前記投射部は、赤外の波長帯域の光を出射する光源を含み、
前記撮像部は、前記赤外の波長帯域の光を透過するフィルタと、前記目標領域に照射された前記光を前記イメージセンサに集光する撮像レンズと、を備える、
ことを特徴とする物体検出装置。 In the object detection device according to any one of claims 1 to 6,
The projection unit includes a light source that emits light in an infrared wavelength band,
The imaging unit includes a filter that transmits light in the infrared wavelength band, and an imaging lens that focuses the light irradiated on the target region onto the image sensor.
An object detection apparatus characterized by that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013049235A JP2014174101A (en) | 2013-03-12 | 2013-03-12 | Object detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013049235A JP2014174101A (en) | 2013-03-12 | 2013-03-12 | Object detection device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014174101A true JP2014174101A (en) | 2014-09-22 |
Family
ID=51695431
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013049235A Pending JP2014174101A (en) | 2013-03-12 | 2013-03-12 | Object detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014174101A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021199806A1 (en) * | 2020-03-30 | 2021-10-07 | 三菱重工工作機械株式会社 | Three-dimensional additive manufacturing device, control method, and program |
-
2013
- 2013-03-12 JP JP2013049235A patent/JP2014174101A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021199806A1 (en) * | 2020-03-30 | 2021-10-07 | 三菱重工工作機械株式会社 | Three-dimensional additive manufacturing device, control method, and program |
EP4129559A4 (en) * | 2020-03-30 | 2024-05-01 | Nidec Machine Tool Corp | Three-dimensional additive manufacturing device, control method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11575843B2 (en) | Image sensor modules including primary high-resolution imagers and secondary imagers | |
JP6299983B2 (en) | Motion sensor device having a plurality of light sources | |
JP6302414B2 (en) | Motion sensor device having a plurality of light sources | |
TWI585436B (en) | Method and apparatus for measuring depth information | |
US9863767B2 (en) | Motion sensor device having plurality of light sources | |
JP6270813B2 (en) | Motion sensor device having a plurality of light sources | |
TW201606331A (en) | Optoelectronic modules operable to distinguish between signals indicative of reflections from an object of interest and signals indicative of a spurious reflection | |
US9699377B2 (en) | Depth detecting apparatus and method, and gesture detecting apparatus and gesture detecting method | |
WO2014122713A1 (en) | Information acquisition device and object detection device | |
JP2014137762A (en) | Object detector | |
US20220206159A1 (en) | Processing apparatus, electronic apparatus, processing method, and program | |
JP2014181949A (en) | Information acquisition device and object detection device | |
US20190051005A1 (en) | Image depth sensing method and image depth sensing apparatus | |
TWI646504B (en) | Depth sensing device and depth sensing method | |
JP2014174101A (en) | Object detection device | |
JP6390163B2 (en) | Information processing apparatus, information processing method, and program | |
US20220294990A1 (en) | Information processing device, imaging device, information processing method, and program | |
US10744404B2 (en) | Information processing system, information processing apparatus, computer-readable non-transitory storage medium having stored therein information processing program, and hand-held information processing apparatus | |
WO2014122712A1 (en) | Information acquisition device and object detection device | |
JP6352150B2 (en) | Image processing apparatus and image processing method | |
JP2014035294A (en) | Information acquisition device and object detector | |
JP2014163830A (en) | Information acquisition device and object detection device | |
JP2011041036A (en) | Image processing apparatus, image processing method, and electronic equipment | |
JP2010231536A (en) | Method of detecting optimum position for imaging subject | |
TW201827911A (en) | Image capturing device and focus method thereof |