JP2004096488A - 物体検知装置、物体検知方法および物体検知プログラム - Google Patents
物体検知装置、物体検知方法および物体検知プログラム Download PDFInfo
- Publication number
- JP2004096488A JP2004096488A JP2002255886A JP2002255886A JP2004096488A JP 2004096488 A JP2004096488 A JP 2004096488A JP 2002255886 A JP2002255886 A JP 2002255886A JP 2002255886 A JP2002255886 A JP 2002255886A JP 2004096488 A JP2004096488 A JP 2004096488A
- Authority
- JP
- Japan
- Prior art keywords
- image
- object detection
- photographing
- detection device
- exposure amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
【課題】所定の領域を監視する物体検知装置による物体の検知漏れを減らし、明暗の差が大きい物体でもその詳細を正確に認識できるようにすること。
【解決手段】露光量の異なるｎ台のカメラ２０１を用いて監視領域を撮影し、ｎ台のカメラ２０１が撮影した画像に対してステレオ画像処理をおこなって監視領域に入る物体を検出し、監視領域に入る物体を検出した場合には、露光量の異なるｎ個の画像から、それぞれ露光量の適正な画像部分を取り出してダイナミックレンジの広い画像を合成し、この合成画像を用いて物体の詳細を認識する。
【選択図】 図２
【解決手段】露光量の異なるｎ台のカメラ２０１を用いて監視領域を撮影し、ｎ台のカメラ２０１が撮影した画像に対してステレオ画像処理をおこなって監視領域に入る物体を検出し、監視領域に入る物体を検出した場合には、露光量の異なるｎ個の画像から、それぞれ露光量の適正な画像部分を取り出してダイナミックレンジの広い画像を合成し、この合成画像を用いて物体の詳細を認識する。
【選択図】 図２
Description
【０００１】
【発明の属する技術分野】
この発明は、撮影装置を用いて所定の領域を撮影し、撮影した映像を画像処理することによって該所定の領域に入る物体を検知する物体検知装置、物体検知方法および物体検知プログラムに関し、特に、物体の検知漏れを減らすとともに、物体の明暗の差が大きい場合にも、その詳細を正確に認識することができる物体検知装置、物体検知方法および物体検知プログラムに関する。
【０００２】
【従来の技術】
従来、撮影装置を用いて撮影した映像を画像処理することによって映像中の物体を検知する物体検知装置では、まず、撮影した画像に映された物体を検出し、次に、検出した物体の詳細を認識するという二段階の処理によって物体の検知をおこなっている。
【０００３】
たとえば、建物入り口付近に設置したＩＴＶカメラで侵入者を監視する物体検知装置では、まず、ＩＴＶカメラを用いて撮影した画像から監視領域に入る物体を検出し、検出した物体が人である場合には、さらに顔やネームプレート等の詳細を認識して侵入者を検知している。
【０００４】
しかし、ＩＴＶカメラを使った従来の物体検知装置では、特に雨が降った夜間などは、路面に写った車の影やヘッドライトなどを侵入者と誤検知する一方で、本来検知すべき侵入者を見逃してしまうという問題があった。
【０００５】
また、物体検知装置が監視する領域の明暗の差が大きい場合には、１台の撮影装置で様々な明るさの領域を明瞭に撮影することができないという問題があった。たとえば、侵入者の一部に影がかかると、影のある部分と影のない部分の明暗の差が大きく、侵入者の顔やネームプレートなどを明瞭に撮影することができない。これは、ＩＴＶカメラが撮影できるダイナミックレンジが狭く、明暗の差が大きい物体を撮影できないために起こるものである。
【０００６】
このような問題に対して、特開平１０−１３６２６９号公報には、撮影装置の撮像素子の偶数ラインと奇数ラインの露光時間を交互に変えることで異なる露光量の映像を生成し、それらを合成することで撮影装置のダイナミックレンジを広げる技術が開示されている。
【０００７】
【発明が解決しようとする課題】
しかしながら、この従来技術では、露光時間を変えて偶数ライン、奇数ラインの２枚の映像を交互に撮影しているため、物体が動いている場合に、物体の映像に差異が生じるという問題があった。
【０００８】
この発明は、上述した従来技術による問題点を解消するためになされたものであり、物体の検知漏れを減らすとともに、物体の明暗の差が大きい場合にも、その詳細を正確に認識することができる物体検知装置、物体検知方法および物体検知プログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、本発明は、撮影装置を用いて所定の領域を撮影し、撮影した映像を画像処理することによって該所定の領域に入る物体を検知する物体検知装置であって、露光量の異なる複数の撮影装置が前記所定の領域を撮影した複数の画像から、それぞれ露光量が適正な画像部分を取り出して合成画像を生成する画像合成手段と、前記画像合成手段により生成された合成画像を用いて前記物体を認識する物体認識手段と、を備えたことを特徴とする。
【００１０】
また、本発明は、撮影装置を用いて所定の領域を撮影し、撮影した映像を画像処理することによって該所定の領域に入る物体を検知する物体検知方法であって、露光量の異なる複数の撮影装置が前記所定の領域を撮影した複数の画像から、それぞれ露光量が適正な画像部分を取り出して合成画像を生成する画像合成工程と、前記画像合成工程により生成された合成画像を用いて前記物体を認識する物体認識工程と、を含んだことを特徴とする。
【００１１】
また、本発明は、撮影装置を用いて所定の領域を撮影し、撮影した映像を画像処理することによって該所定の領域に入る物体を検知する物体検知プログラムであって、露光量の異なる複数の撮影装置が前記所定の領域を撮影した複数の画像から、それぞれ露光量が適正な画像部分を取り出して合成画像を生成する画像合成手順と、前記画像合成手順により生成された合成画像を用いて前記物体を認識する物体認識手順と、をコンピュータで実行することを特徴とする。
【００１２】
かかる発明によれば、露光量の異なる複数の撮影装置が所定の領域を撮影した複数の画像から、それぞれ露光量が適正な画像部分を取り出して合成画像を生成し、生成した合成画像を用いて物体を認識することとしたので、物体の明暗の差が大きい場合にも、その詳細を正確に認識することができる。
【００１３】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係る物体検知装置、物体検知方法および物体検知プログラムの好適な実施の形態を詳細に説明する。
【００１４】
（実施の形態１）
まず、本実施の形態１に係る物体検知装置の概念について説明する。図１は、本実施の形態１に係る物体検知装置の概念を説明するための説明図である。なお、この物体検知装置は、建物の入り口等に設置され、建物への不審者の侵入を検知するために使われる。
【００１５】
同図に示すように、この物体検知装置では、露光量が異なる２台のカメラで監視領域を撮影し、２台のカメラが撮影した二つの画像から、それぞれ露光量が適正な画像部分を取り出して一つの全体画像を合成し、あたかもダイナミックレンジの広い一つのカメラで撮影したかのような画像を得ることとしている。
【００１６】
すなわち、２台のカメラの露光量を異なる値に設定し、明るさの異なる二つ画像を撮影する。たとえば、図１において、一方のカメラは日陰の部分が明瞭に撮影できるように露光量を設定し、他方のカメラは日向の部分が明瞭に撮影できるように露光量を設定する。
【００１７】
そして、明るさの異なる二つの画像からダイナミックレンジの広い合成画像を生成し、生成した合成画像を用いて物体の詳細を認識することとしている。なお、ここでは、２台のカメラを用いた場合について説明したが、カメラの台数を増やすことによって、よりダイナミックレンジの広い合成画像を得ることができる。
【００１８】
このように、本実施の形態１では、露光量が異なる複数のカメラで監視領域を撮影し、撮影した複数の画像から、それぞれ露光量が適正な画像部分を取りだして一つのダイナミックレンジの広い画像を合成し、この合成画像を用いて物体の詳細を認識することとしたので、監視領域の明暗の差が大きい場合にも、不審者の侵入を正しく検知することができる。
【００１９】
次に、本実施の形態１に係る物体検知装置の構成について説明する。図２は、本実施の形態１に係る物体検知装置の構成を示す機能ブロック図である。同図に示すように、この物体検知装置２００は、ｎ台のカメラ２０１と、画像取込部２０２と、物体検出部２０３と、画像合成部２０４と、詳細認識部２０５と、画像データ記憶部２０６と、設置条件記憶部２０７と、表示装置２０８と、撮像素子駆動部２０９と、制御部２１０とを有する。
【００２０】
カメラ２０１は、露光量を調節することができる撮影装置であり、光学レンズ、ＣＣＤ、ＣＭＯＳセンサなどの撮像素子と、撮像素子の露光量を制御する絞り（アイリス）と、電子式シャッタを少なくとも有する。
【００２１】
また、この物体検知装置２００では、図３に示すように、ｎ台のカメラ２０１の露光量を、１番目のカメラ２０１からｎ番目のカメラ２０１にいくほど露光量が少なくなるように、絞りあるいはシャッタースピードを調整する。すなわち、１番目のカメラ２０１からｎ番目のカメラ２０１にいくほどより明るい対象物体を撮影できるように、絞りあるいはシャッタースピードを調整する。
【００２２】
画像取込部２０２は、各カメラ２０１の出力するアナログ映像信号を増幅し、増幅したアナログ映像信号をデジタル映像信号へ変換する処理部であり、デジタル映像信号から得られる画像データを画像データ記憶部２０８に格納する。
【００２３】
物体検出部２０３は、画像データ記憶部２０８に格納された画像データを用いて、監視領域に入る物体を検出する処理部である。具体的には、ステレオ画像処理を用いてカメラ２０１から物体までの距離を算出し、算出した物体までの距離と事前に求めておいたカメラ２０１から背景までの距離とを比較することによって監視領域に入る物体を検出する。なお、ステレオ画像処理の詳細については後述する。
【００２４】
画像合成部２０４は、ｎ台のカメラ２０１が撮影したｎ個の画像から、それぞれ露光量が適正な画像部分を取りだしてダイナミックレンジの広い一つの画像を生成する処理部である。具体的には、この画像合成部２０４は、ｎ個の画像の位置ずれを補正し、補正した画像を重ね合わせ、重なりが生じた画素については、重なった各画素の輝度の平均値をその画素の輝度とすることによって合成画像を生成する。
【００２５】
このように、この画像合成部２０４が、ｎ台のカメラ２０１が所定のダイナミックレンジでそれぞれ撮影した画像から、それぞれ露光量が適正な画像部分を取り出して一つの広ダイナミックレンジの画像を合成することとしたので、物体検知装置２００は、日向部分と日陰部分が混在するような明暗の差が大きい物体でも正しく認識することができる。
【００２６】
詳細認識部２０５は、画像合成部２０４が作成した広ダイナミックレンジの画像を用いて物体の詳細を認識する処理部である。この詳細認識部２０５は、明瞭に撮影された画像であれば、人の顔やネームプレートなどを正確に認識することができる。
【００２７】
画像データ記憶部２０６は、各カメラ２０１が撮影した画像を記憶する記憶部である。また、この画像データ記憶部２０６は、画像処理途中の画像および合成画像などの画像も記憶する。
【００２８】
設置条件記憶部２０７は、各カメラ２０１と背景との距離およびこれらの距離のカメラ２０１間での差など、物体検知装置２００の設置条件に関するデータを記憶した記憶部である。なお、これらのデータは物体検出部２０３や画像合成部２０４などで使用される。
【００２９】
表示装置２０８は、カメラ２０１が撮影した映像や画像合成部２０４が合成した画像などを表示する装置である。撮像素子駆動部２０９は、カメラ２０１に同期信号を与え、撮像素子の動作を制御する処理部であり、特に撮像素子の動作時間を制御する。
【００３０】
制御部２１０は、この物体検知装置２００全体の制御を行う処理部であり、各処理部および記憶部間で必要となる画像データの受け渡しや次の処理の選択などをおこなう。
【００３１】
次に、ステレオ画像処理を用いた対象物体までの距離算出手法について説明する。図４は、ステレオ画像処理を用いた対象物体までの距離算出手法を説明するための説明図である。同図に示すように、ステレオ画像処理は、２台のカメラで同一物体を撮影し、この同一物体の２台のカメラからの見え方の違い（視差）に基づいて、カメラから対象物体までの距離を算出する手法である。
【００３２】
図４において、２台のカメラ間の距離をｂ、両方のカメラの焦点距離をｆ、２台のカメラによる視差をｕＬ−ｕＲとすると、カメラから対象物体までの距離ｈ（ｘ，ｙ）は、
ｈ（ｘ，ｙ）＝ｆｂ／（ｕＬ−ｕＲ）
となる。したがって、視差ｕＬ−ｕＲを求めることによって、カメラから対象物体までの距離を計算することができる。
【００３３】
ただし、図２に示した物体検知装置２００では、カメラ２０１ごとに露光量が異なるために、２台のカメラ２０１で撮影された二つの画像では、同一物体が別の明るさとなって撮影されている。そこで、この物体検知装置２００は、ステレオ画像処理で必要となる二画像中の同一物体を得るために、明るさの撮像範囲が隣り合う２台のカメラ２０１から得られた二つの画像のうち、露光量の少ない画像の明るさを変換する処理をおこなう。
【００３４】
具体的には、この変換は、図５に一例を示すような輝度変換曲線を用いておこなう。たとえば、同図において、露光量の少ない画像のある画素の輝度が４０である場合には、その画素の輝度は５０に変換される。
【００３５】
このように、この物体検知装置２００は、図５に示した輝度変換曲線を用いて露光量の少ない画像の輝度を調整し、この輝度を調整した画像と露光量の多い画像において同一の輝度を有する物体を、ステレオ画像処理の対象物体として選定する。
【００３６】
また、この物体検知装置２００は、ｎ台のカメラ２０１について、ダイナミックレンジが隣り合う２台のカメラ２０１のすべての対に対してステレオ画像処理をおこなう。そして、すべてのカメラ２０１の対に対してステレオ画像処理をおこなうことによって得られたｎ−１個の値の平均値を、カメラ２０１と対象物体との距離とすることとしている。
【００３７】
次に、図２に示した物体検知装置２００による物体検知処理の処理手順について説明する。図６は、図２に示した物体検知装置２００による物体検知処理の処理手順を示すフローチャートである。なお、この物体検知装置２００による物体検知処理は、一定のタイミングで繰り返し起動される。
【００３８】
同図に示すように、この物体検知処理では、まず画像取込部２０２が、ｎ台のカメラ２０１から同期のとれた画像を取り込み、画像データ記憶部２０６に格納する（ステップＳ６０１）。
【００３９】
そして、物体検出部２０３が、画像データ記憶部２０６に記憶された画像データに対してステレオ画像処理をおこない、撮影した物体とカメラ２０１との距離を算出する（ステップＳ６０２）。そして、算出した距離とあらかじめ求めておいたカメラと背景との距離を比較することによって、監視領域に入った物体があるか否かを検出する（ステップＳ６０３）。
【００４０】
そして、監視領域に入った物体がない場合には（ステップＳ６０３の否定）、そのまま処理を終了する。一方、監視領域に入った物体がある場合には（ステップＳ６０３の肯定）、画像合成部２０４が画像データ記憶部２０６に記憶された画像データを合成して広ダイナミックレンジの画像を生成する（ステップＳ６０４）。
【００４１】
そして、生成された広ダイナミックレンジの画像を用いて、詳細認識部２０５が、物体の詳細な認識をおこない（ステップＳ６０５）、認識した物体が不審者であるか否かを調べる （ステップＳ６０６）。そして、認識した物体が不審者でない場合には、処理を終了する。一方、認識した物体が不審者である場合には、不審者の侵入を監視員に通知する（ステップＳ６０７）。
【００４２】
このように、この物体検知処理では、画像合成部２０４がｎ台のカメラ２０１によって撮影された画像を用いて広ダイナミックレンジの画像を合成し、詳細認識部２０５が、この広ダイナミックレンジ画像を用いて物体の詳細な認識をおこなうこととしたので、不審者の侵入を精度よく検知することができる。
【００４３】
次に、図２に示した画像合成部２０４の処理手順について説明する。図７は、図２に示した画像合成部２０４の処理手順を示すフローチャートである。なお、この画像合成部２０４の処理は、図６に示した広ダイナミックレンジ画像生成（ステップＳ６０４）に対応する。また、以下の説明では、ｉ番目のカメラ２０１から得られた画像をｉ番目の画像と呼ぶこととする。
【００４４】
図７に示すように、この画像合成部２０４は、まず、ｉを２とし（ステップＳ７０１）、ｉ番目の画像と１番目の画像との距離の差を設置条件記憶部２０７から読み出し（ステップＳ７０２）、読み出した距離の差に基づいてｉ番目の画像をずらし、１番目の画像に重ね合わせる（ステップＳ７０３）。
【００４５】
そして、二つの画像に重なる画素がある場合には、重なった画素の輝度を加算するとともに重なりの数を記憶する（ステップＳ７０４）。そして、ｉに１を加算し（ステップＳ７０５）、ｉがｎより大きいか否かを調べ（ステップＳ７０６）、ｉがｎ以下である場合には、ステップＳ７０２に戻って、次の画像を１番目の画像に重ねる処理をおこなう。
【００４６】
一方、ｎ番目までの画像を重ねる処理が終了した場合には、重なりを有する画素に対して、加算された輝度と重なりの数からその画素の輝度の平均値を求め（ステップＳ７０７）、求めた平均値を合成画像の輝度とする。
【００４７】
上述してきたように、本実施の形態１では、ｎ台のカメラ２０１を用いて監視領域を撮影し、撮影した画像をステレオ画像処理することによって監視領域に入る物体を検出し、監視領域に入る物体を検出した場合には、露光量の異なるｎ個の画像から広ダイナミックレンジの合成画像を生成して物体の詳細を認識することとしたので、物体の検知漏れを減らすとともに、物体の明暗の差が大きい場合にも、その詳細を正確に認識することができる。
【００４８】
なお、本実施の形態１では、ｎ台のカメラ２０１の全てを用いてステレオ画像処理や画像合成処理をおこなう場合について説明したが、全てのカメラ２０１に物体が写らない場合もある。そのような場合には、それぞれのカメラ２０１が、一定時間間隔で撮影した二つの画像を比較するなどの他の手法を用いて、監視領域に入る物体を検出することができる。
【００４９】
（実施の形態２）
ところで、上記実施の形態１では、カメラ２０１の露光量を最初に設定し、その後は露光量を変更しない場合について説明をおこなった。しかしながら、監視領域の明るさは時間によって変動するため、一日の時間帯によっては、最初に設定した撮像範囲が適当でない場合が生じる。そこで、本実施の形態２では、カメラの露光量を監視領域の明るさに応じて制御しながら撮影する場合について説明する。
【００５０】
具体的には、一日のある時間帯における監視領域の一番明るい部分および一番暗い部分に着目して２台のカメラ２０１の露光量を設定し、残りのカメラ２０１の露光量は、その間の露光量を等分割するように露光量の制御を行う。また、露光量はカメラ２０１の絞り（アイリス）とシャッタ速度を用いて制御する。
【００５１】
そして、監視領域が暗くなると露光量を増やし、逆に監視領域が明るくなると露光量を減らすようにカメラ２０１を制御することで、物体の検知に適正な露光量の画像が得られるようにする。この場合、日陰部分の明るさは一日を通じて変化がないので、日陰部分を撮像範囲とするカメラ２０１はほぼ同じ露光量を保っておく。
【００５２】
図８は、本実施の形態２に係る物体検知装置の構成を示す機能ブロック図である。なお、ここでは説明の便宜上、図２に示した各部と同様な役割を果たす機能部については同一符号を付すことにしてその詳細な説明を省略する。
【００５３】
同図に示すように、この物体検知装置８００は、図２に示した物体検知装置２００の制御部２１０に代えて制御部８１０を有し、また、新たな機能部としてアイリス駆動部８０１を有する。
【００５４】
アイリス駆動部８０１は、監視領域の明るさが変化した場合にもカメラ２０１から得られる画像の輝度が所定の値になるように、ｎ台のカメラ２０１の絞り（アイリス）を開閉する制御部である。制御部８１０は、図２に示した制御部２１０と同様に物体検知装置全体の制御を行う制御部である。
【００５５】
上述してきたように、本実施の形態２では、アイリス駆動部８０１が監視領域の明るさの変化に対応してカメラ２０１の露光量を制御することとしたので、各カメラ２０１の露光量をその時点での監視領域の明るさの範囲に対応した最適な値に設定することができ、撮影に必要なカメラ２０１の数を最小限にすることができる。
【００５６】
（付記１）撮影装置を用いて所定の領域を撮影し、撮影した映像を画像処理することによって該所定の領域に入る物体を検知する物体検知装置であって、
露光量の異なる複数の撮影装置が前記所定の領域を撮影した複数の画像から、それぞれ露光量が適正な画像部分を取り出して合成画像を生成する画像合成手段と、
前記画像合成手段により生成された合成画像を用いて前記物体を認識する物体認識手段と、
を備えたことを特徴とする物体検知装置。
【００５７】
（付記２）前記所定の領域の明るさの範囲を少なくとも網羅して撮影するようにそれぞれの撮影装置の露光量を定めたことを特徴とする付記１に記載の物体検知装置。
【００５８】
（付記３）前記画像合成手段は、前記複数の撮影装置の設置位置の違いに起因する前記複数の画像の位置ずれを補正し、補正した画像を重ね合わせて前記合成画像を生成することを特徴とする付記１または２に記載の物体検知装置。
【００５９】
（付記４）前記所定の領域に入る物体と前記複数の撮影装置との距離を算出し、算出した距離に基づいて該物体を検出する物体検出手段をさらに備え、前記物体検出手段により物体が検出された場合に、前記画像合成手段は合成画像を生成することを特徴とする付記１、２または３に記載の物体検知装置。
【００６０】
（付記５）ある時点での前記所定の領域の明るさの範囲を網羅して撮影するように前記複数の撮影装置の絞りを制御し、該複数の撮影装置の露光量を適応的に変える絞り制御手段をさらに備えたことを特徴とする付記１〜４のいずれか一つに記載の物体検知装置。
【００６１】
（付記６）撮影装置を用いて所定の領域を撮影し、撮影した映像を画像処理することによって該所定の領域に入る物体を検知する物体検知方法であって、
露光量の異なる複数の撮影装置が前記所定の領域を撮影した複数の画像から、それぞれ露光量が適正な画像部分を取り出して合成画像を生成する画像合成工程と、
前記画像合成工程により生成された合成画像を用いて前記物体を認識する物体認識工程と、
を含んだことを特徴とする物体検知方法。
【００６２】
（付記７）前記所定の領域の明るさの範囲を少なくとも網羅して撮影するようにそれぞれの撮影装置の露光量を定めたことを特徴とする付記６に記載の物体検知方法。
【００６３】
（付記８）前記画像合成工程は、前記複数の撮影装置の設置位置の違いに起因する前記複数の画像の位置ずれを補正し、補正した画像を重ね合わせて前記合成画像を生成することを特徴とする付記６または７に記載の物体検知方法。
【００６４】
（付記９）前記所定の領域に入る物体と前記複数の撮影装置との距離を算出し、算出した距離に基づいて該物体を検出する物体検出工程をさらに含み、前記物体検出工程により物体が検出された場合に、前記画像合成工程は合成画像を生成することを特徴とする付記６、７または８に記載の物体検知方法。
【００６５】
（付記１０）撮影装置を用いて所定の領域を撮影し、撮影した映像を画像処理することによって該所定の領域に入る物体を検知する物体検知プログラムであって、
露光量の異なる複数の撮影装置が前記所定の領域を撮影した複数の画像から、それぞれ露光量が適正な画像部分を取り出して合成画像を生成する画像合成手順と、
前記画像合成手順により生成された合成画像を用いて前記物体を認識する物体認識手順と、
をコンピュータで実行することを特徴とする物体検知プログラム。
【００６６】
【発明の効果】
以上説明したように、本発明によれば、露光量の異なる複数の撮影装置が所定の領域を撮影した複数の画像から、それぞれ露光量が適正な画像部分を取り出して合成画像を生成し、生成した合成画像を用いて物体を認識するよう構成したので、物体の明暗の差が大きい場合にも、その詳細を正確に認識することができるという効果を奏する。
【図面の簡単な説明】
【図１】本実施の形態１に係る物体検知装置の概念を説明するための説明図である。
【図２】本実施の形態１に係る物体検知装置の構成を示す機能ブロック図である。
【図３】図２に示したｎ台のカメラの撮像範囲を説明するための説明図である。
【図４】ステレオ画像処理を用いた対象物体までの距離算出手法を説明するための説明図である。
【図５】輝度変換曲線の一例を示す図である。
【図６】図２に示した物体検知装置による物体検知処理の処理手順を示すフローチャートである。
【図７】図２に示した画像合成部の処理手順を示すフローチャートである。
【図８】本実施の形態２に係る物体検知装置の構成を示す機能ブロック図である。
【符号の説明】
２００，８００ 物体検知装置
２０１ カメラ
２０２ 画像取込部
２０３ 物体検出部
２０４ 画像合成部
２０５ 詳細認識部
２０６ 画像データ記憶部
２０７ 設置条件記憶部
２０８ 表示装置
２０９ 撮像素子駆動部
２１０，８１０ 制御部
８０１ アイリス駆動部
【発明の属する技術分野】
この発明は、撮影装置を用いて所定の領域を撮影し、撮影した映像を画像処理することによって該所定の領域に入る物体を検知する物体検知装置、物体検知方法および物体検知プログラムに関し、特に、物体の検知漏れを減らすとともに、物体の明暗の差が大きい場合にも、その詳細を正確に認識することができる物体検知装置、物体検知方法および物体検知プログラムに関する。
【０００２】
【従来の技術】
従来、撮影装置を用いて撮影した映像を画像処理することによって映像中の物体を検知する物体検知装置では、まず、撮影した画像に映された物体を検出し、次に、検出した物体の詳細を認識するという二段階の処理によって物体の検知をおこなっている。
【０００３】
たとえば、建物入り口付近に設置したＩＴＶカメラで侵入者を監視する物体検知装置では、まず、ＩＴＶカメラを用いて撮影した画像から監視領域に入る物体を検出し、検出した物体が人である場合には、さらに顔やネームプレート等の詳細を認識して侵入者を検知している。
【０００４】
しかし、ＩＴＶカメラを使った従来の物体検知装置では、特に雨が降った夜間などは、路面に写った車の影やヘッドライトなどを侵入者と誤検知する一方で、本来検知すべき侵入者を見逃してしまうという問題があった。
【０００５】
また、物体検知装置が監視する領域の明暗の差が大きい場合には、１台の撮影装置で様々な明るさの領域を明瞭に撮影することができないという問題があった。たとえば、侵入者の一部に影がかかると、影のある部分と影のない部分の明暗の差が大きく、侵入者の顔やネームプレートなどを明瞭に撮影することができない。これは、ＩＴＶカメラが撮影できるダイナミックレンジが狭く、明暗の差が大きい物体を撮影できないために起こるものである。
【０００６】
このような問題に対して、特開平１０−１３６２６９号公報には、撮影装置の撮像素子の偶数ラインと奇数ラインの露光時間を交互に変えることで異なる露光量の映像を生成し、それらを合成することで撮影装置のダイナミックレンジを広げる技術が開示されている。
【０００７】
【発明が解決しようとする課題】
しかしながら、この従来技術では、露光時間を変えて偶数ライン、奇数ラインの２枚の映像を交互に撮影しているため、物体が動いている場合に、物体の映像に差異が生じるという問題があった。
【０００８】
この発明は、上述した従来技術による問題点を解消するためになされたものであり、物体の検知漏れを減らすとともに、物体の明暗の差が大きい場合にも、その詳細を正確に認識することができる物体検知装置、物体検知方法および物体検知プログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、本発明は、撮影装置を用いて所定の領域を撮影し、撮影した映像を画像処理することによって該所定の領域に入る物体を検知する物体検知装置であって、露光量の異なる複数の撮影装置が前記所定の領域を撮影した複数の画像から、それぞれ露光量が適正な画像部分を取り出して合成画像を生成する画像合成手段と、前記画像合成手段により生成された合成画像を用いて前記物体を認識する物体認識手段と、を備えたことを特徴とする。
【００１０】
また、本発明は、撮影装置を用いて所定の領域を撮影し、撮影した映像を画像処理することによって該所定の領域に入る物体を検知する物体検知方法であって、露光量の異なる複数の撮影装置が前記所定の領域を撮影した複数の画像から、それぞれ露光量が適正な画像部分を取り出して合成画像を生成する画像合成工程と、前記画像合成工程により生成された合成画像を用いて前記物体を認識する物体認識工程と、を含んだことを特徴とする。
【００１１】
また、本発明は、撮影装置を用いて所定の領域を撮影し、撮影した映像を画像処理することによって該所定の領域に入る物体を検知する物体検知プログラムであって、露光量の異なる複数の撮影装置が前記所定の領域を撮影した複数の画像から、それぞれ露光量が適正な画像部分を取り出して合成画像を生成する画像合成手順と、前記画像合成手順により生成された合成画像を用いて前記物体を認識する物体認識手順と、をコンピュータで実行することを特徴とする。
【００１２】
かかる発明によれば、露光量の異なる複数の撮影装置が所定の領域を撮影した複数の画像から、それぞれ露光量が適正な画像部分を取り出して合成画像を生成し、生成した合成画像を用いて物体を認識することとしたので、物体の明暗の差が大きい場合にも、その詳細を正確に認識することができる。
【００１３】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係る物体検知装置、物体検知方法および物体検知プログラムの好適な実施の形態を詳細に説明する。
【００１４】
（実施の形態１）
まず、本実施の形態１に係る物体検知装置の概念について説明する。図１は、本実施の形態１に係る物体検知装置の概念を説明するための説明図である。なお、この物体検知装置は、建物の入り口等に設置され、建物への不審者の侵入を検知するために使われる。
【００１５】
同図に示すように、この物体検知装置では、露光量が異なる２台のカメラで監視領域を撮影し、２台のカメラが撮影した二つの画像から、それぞれ露光量が適正な画像部分を取り出して一つの全体画像を合成し、あたかもダイナミックレンジの広い一つのカメラで撮影したかのような画像を得ることとしている。
【００１６】
すなわち、２台のカメラの露光量を異なる値に設定し、明るさの異なる二つ画像を撮影する。たとえば、図１において、一方のカメラは日陰の部分が明瞭に撮影できるように露光量を設定し、他方のカメラは日向の部分が明瞭に撮影できるように露光量を設定する。
【００１７】
そして、明るさの異なる二つの画像からダイナミックレンジの広い合成画像を生成し、生成した合成画像を用いて物体の詳細を認識することとしている。なお、ここでは、２台のカメラを用いた場合について説明したが、カメラの台数を増やすことによって、よりダイナミックレンジの広い合成画像を得ることができる。
【００１８】
このように、本実施の形態１では、露光量が異なる複数のカメラで監視領域を撮影し、撮影した複数の画像から、それぞれ露光量が適正な画像部分を取りだして一つのダイナミックレンジの広い画像を合成し、この合成画像を用いて物体の詳細を認識することとしたので、監視領域の明暗の差が大きい場合にも、不審者の侵入を正しく検知することができる。
【００１９】
次に、本実施の形態１に係る物体検知装置の構成について説明する。図２は、本実施の形態１に係る物体検知装置の構成を示す機能ブロック図である。同図に示すように、この物体検知装置２００は、ｎ台のカメラ２０１と、画像取込部２０２と、物体検出部２０３と、画像合成部２０４と、詳細認識部２０５と、画像データ記憶部２０６と、設置条件記憶部２０７と、表示装置２０８と、撮像素子駆動部２０９と、制御部２１０とを有する。
【００２０】
カメラ２０１は、露光量を調節することができる撮影装置であり、光学レンズ、ＣＣＤ、ＣＭＯＳセンサなどの撮像素子と、撮像素子の露光量を制御する絞り（アイリス）と、電子式シャッタを少なくとも有する。
【００２１】
また、この物体検知装置２００では、図３に示すように、ｎ台のカメラ２０１の露光量を、１番目のカメラ２０１からｎ番目のカメラ２０１にいくほど露光量が少なくなるように、絞りあるいはシャッタースピードを調整する。すなわち、１番目のカメラ２０１からｎ番目のカメラ２０１にいくほどより明るい対象物体を撮影できるように、絞りあるいはシャッタースピードを調整する。
【００２２】
画像取込部２０２は、各カメラ２０１の出力するアナログ映像信号を増幅し、増幅したアナログ映像信号をデジタル映像信号へ変換する処理部であり、デジタル映像信号から得られる画像データを画像データ記憶部２０８に格納する。
【００２３】
物体検出部２０３は、画像データ記憶部２０８に格納された画像データを用いて、監視領域に入る物体を検出する処理部である。具体的には、ステレオ画像処理を用いてカメラ２０１から物体までの距離を算出し、算出した物体までの距離と事前に求めておいたカメラ２０１から背景までの距離とを比較することによって監視領域に入る物体を検出する。なお、ステレオ画像処理の詳細については後述する。
【００２４】
画像合成部２０４は、ｎ台のカメラ２０１が撮影したｎ個の画像から、それぞれ露光量が適正な画像部分を取りだしてダイナミックレンジの広い一つの画像を生成する処理部である。具体的には、この画像合成部２０４は、ｎ個の画像の位置ずれを補正し、補正した画像を重ね合わせ、重なりが生じた画素については、重なった各画素の輝度の平均値をその画素の輝度とすることによって合成画像を生成する。
【００２５】
このように、この画像合成部２０４が、ｎ台のカメラ２０１が所定のダイナミックレンジでそれぞれ撮影した画像から、それぞれ露光量が適正な画像部分を取り出して一つの広ダイナミックレンジの画像を合成することとしたので、物体検知装置２００は、日向部分と日陰部分が混在するような明暗の差が大きい物体でも正しく認識することができる。
【００２６】
詳細認識部２０５は、画像合成部２０４が作成した広ダイナミックレンジの画像を用いて物体の詳細を認識する処理部である。この詳細認識部２０５は、明瞭に撮影された画像であれば、人の顔やネームプレートなどを正確に認識することができる。
【００２７】
画像データ記憶部２０６は、各カメラ２０１が撮影した画像を記憶する記憶部である。また、この画像データ記憶部２０６は、画像処理途中の画像および合成画像などの画像も記憶する。
【００２８】
設置条件記憶部２０７は、各カメラ２０１と背景との距離およびこれらの距離のカメラ２０１間での差など、物体検知装置２００の設置条件に関するデータを記憶した記憶部である。なお、これらのデータは物体検出部２０３や画像合成部２０４などで使用される。
【００２９】
表示装置２０８は、カメラ２０１が撮影した映像や画像合成部２０４が合成した画像などを表示する装置である。撮像素子駆動部２０９は、カメラ２０１に同期信号を与え、撮像素子の動作を制御する処理部であり、特に撮像素子の動作時間を制御する。
【００３０】
制御部２１０は、この物体検知装置２００全体の制御を行う処理部であり、各処理部および記憶部間で必要となる画像データの受け渡しや次の処理の選択などをおこなう。
【００３１】
次に、ステレオ画像処理を用いた対象物体までの距離算出手法について説明する。図４は、ステレオ画像処理を用いた対象物体までの距離算出手法を説明するための説明図である。同図に示すように、ステレオ画像処理は、２台のカメラで同一物体を撮影し、この同一物体の２台のカメラからの見え方の違い（視差）に基づいて、カメラから対象物体までの距離を算出する手法である。
【００３２】
図４において、２台のカメラ間の距離をｂ、両方のカメラの焦点距離をｆ、２台のカメラによる視差をｕＬ−ｕＲとすると、カメラから対象物体までの距離ｈ（ｘ，ｙ）は、
ｈ（ｘ，ｙ）＝ｆｂ／（ｕＬ−ｕＲ）
となる。したがって、視差ｕＬ−ｕＲを求めることによって、カメラから対象物体までの距離を計算することができる。
【００３３】
ただし、図２に示した物体検知装置２００では、カメラ２０１ごとに露光量が異なるために、２台のカメラ２０１で撮影された二つの画像では、同一物体が別の明るさとなって撮影されている。そこで、この物体検知装置２００は、ステレオ画像処理で必要となる二画像中の同一物体を得るために、明るさの撮像範囲が隣り合う２台のカメラ２０１から得られた二つの画像のうち、露光量の少ない画像の明るさを変換する処理をおこなう。
【００３４】
具体的には、この変換は、図５に一例を示すような輝度変換曲線を用いておこなう。たとえば、同図において、露光量の少ない画像のある画素の輝度が４０である場合には、その画素の輝度は５０に変換される。
【００３５】
このように、この物体検知装置２００は、図５に示した輝度変換曲線を用いて露光量の少ない画像の輝度を調整し、この輝度を調整した画像と露光量の多い画像において同一の輝度を有する物体を、ステレオ画像処理の対象物体として選定する。
【００３６】
また、この物体検知装置２００は、ｎ台のカメラ２０１について、ダイナミックレンジが隣り合う２台のカメラ２０１のすべての対に対してステレオ画像処理をおこなう。そして、すべてのカメラ２０１の対に対してステレオ画像処理をおこなうことによって得られたｎ−１個の値の平均値を、カメラ２０１と対象物体との距離とすることとしている。
【００３７】
次に、図２に示した物体検知装置２００による物体検知処理の処理手順について説明する。図６は、図２に示した物体検知装置２００による物体検知処理の処理手順を示すフローチャートである。なお、この物体検知装置２００による物体検知処理は、一定のタイミングで繰り返し起動される。
【００３８】
同図に示すように、この物体検知処理では、まず画像取込部２０２が、ｎ台のカメラ２０１から同期のとれた画像を取り込み、画像データ記憶部２０６に格納する（ステップＳ６０１）。
【００３９】
そして、物体検出部２０３が、画像データ記憶部２０６に記憶された画像データに対してステレオ画像処理をおこない、撮影した物体とカメラ２０１との距離を算出する（ステップＳ６０２）。そして、算出した距離とあらかじめ求めておいたカメラと背景との距離を比較することによって、監視領域に入った物体があるか否かを検出する（ステップＳ６０３）。
【００４０】
そして、監視領域に入った物体がない場合には（ステップＳ６０３の否定）、そのまま処理を終了する。一方、監視領域に入った物体がある場合には（ステップＳ６０３の肯定）、画像合成部２０４が画像データ記憶部２０６に記憶された画像データを合成して広ダイナミックレンジの画像を生成する（ステップＳ６０４）。
【００４１】
そして、生成された広ダイナミックレンジの画像を用いて、詳細認識部２０５が、物体の詳細な認識をおこない（ステップＳ６０５）、認識した物体が不審者であるか否かを調べる （ステップＳ６０６）。そして、認識した物体が不審者でない場合には、処理を終了する。一方、認識した物体が不審者である場合には、不審者の侵入を監視員に通知する（ステップＳ６０７）。
【００４２】
このように、この物体検知処理では、画像合成部２０４がｎ台のカメラ２０１によって撮影された画像を用いて広ダイナミックレンジの画像を合成し、詳細認識部２０５が、この広ダイナミックレンジ画像を用いて物体の詳細な認識をおこなうこととしたので、不審者の侵入を精度よく検知することができる。
【００４３】
次に、図２に示した画像合成部２０４の処理手順について説明する。図７は、図２に示した画像合成部２０４の処理手順を示すフローチャートである。なお、この画像合成部２０４の処理は、図６に示した広ダイナミックレンジ画像生成（ステップＳ６０４）に対応する。また、以下の説明では、ｉ番目のカメラ２０１から得られた画像をｉ番目の画像と呼ぶこととする。
【００４４】
図７に示すように、この画像合成部２０４は、まず、ｉを２とし（ステップＳ７０１）、ｉ番目の画像と１番目の画像との距離の差を設置条件記憶部２０７から読み出し（ステップＳ７０２）、読み出した距離の差に基づいてｉ番目の画像をずらし、１番目の画像に重ね合わせる（ステップＳ７０３）。
【００４５】
そして、二つの画像に重なる画素がある場合には、重なった画素の輝度を加算するとともに重なりの数を記憶する（ステップＳ７０４）。そして、ｉに１を加算し（ステップＳ７０５）、ｉがｎより大きいか否かを調べ（ステップＳ７０６）、ｉがｎ以下である場合には、ステップＳ７０２に戻って、次の画像を１番目の画像に重ねる処理をおこなう。
【００４６】
一方、ｎ番目までの画像を重ねる処理が終了した場合には、重なりを有する画素に対して、加算された輝度と重なりの数からその画素の輝度の平均値を求め（ステップＳ７０７）、求めた平均値を合成画像の輝度とする。
【００４７】
上述してきたように、本実施の形態１では、ｎ台のカメラ２０１を用いて監視領域を撮影し、撮影した画像をステレオ画像処理することによって監視領域に入る物体を検出し、監視領域に入る物体を検出した場合には、露光量の異なるｎ個の画像から広ダイナミックレンジの合成画像を生成して物体の詳細を認識することとしたので、物体の検知漏れを減らすとともに、物体の明暗の差が大きい場合にも、その詳細を正確に認識することができる。
【００４８】
なお、本実施の形態１では、ｎ台のカメラ２０１の全てを用いてステレオ画像処理や画像合成処理をおこなう場合について説明したが、全てのカメラ２０１に物体が写らない場合もある。そのような場合には、それぞれのカメラ２０１が、一定時間間隔で撮影した二つの画像を比較するなどの他の手法を用いて、監視領域に入る物体を検出することができる。
【００４９】
（実施の形態２）
ところで、上記実施の形態１では、カメラ２０１の露光量を最初に設定し、その後は露光量を変更しない場合について説明をおこなった。しかしながら、監視領域の明るさは時間によって変動するため、一日の時間帯によっては、最初に設定した撮像範囲が適当でない場合が生じる。そこで、本実施の形態２では、カメラの露光量を監視領域の明るさに応じて制御しながら撮影する場合について説明する。
【００５０】
具体的には、一日のある時間帯における監視領域の一番明るい部分および一番暗い部分に着目して２台のカメラ２０１の露光量を設定し、残りのカメラ２０１の露光量は、その間の露光量を等分割するように露光量の制御を行う。また、露光量はカメラ２０１の絞り（アイリス）とシャッタ速度を用いて制御する。
【００５１】
そして、監視領域が暗くなると露光量を増やし、逆に監視領域が明るくなると露光量を減らすようにカメラ２０１を制御することで、物体の検知に適正な露光量の画像が得られるようにする。この場合、日陰部分の明るさは一日を通じて変化がないので、日陰部分を撮像範囲とするカメラ２０１はほぼ同じ露光量を保っておく。
【００５２】
図８は、本実施の形態２に係る物体検知装置の構成を示す機能ブロック図である。なお、ここでは説明の便宜上、図２に示した各部と同様な役割を果たす機能部については同一符号を付すことにしてその詳細な説明を省略する。
【００５３】
同図に示すように、この物体検知装置８００は、図２に示した物体検知装置２００の制御部２１０に代えて制御部８１０を有し、また、新たな機能部としてアイリス駆動部８０１を有する。
【００５４】
アイリス駆動部８０１は、監視領域の明るさが変化した場合にもカメラ２０１から得られる画像の輝度が所定の値になるように、ｎ台のカメラ２０１の絞り（アイリス）を開閉する制御部である。制御部８１０は、図２に示した制御部２１０と同様に物体検知装置全体の制御を行う制御部である。
【００５５】
上述してきたように、本実施の形態２では、アイリス駆動部８０１が監視領域の明るさの変化に対応してカメラ２０１の露光量を制御することとしたので、各カメラ２０１の露光量をその時点での監視領域の明るさの範囲に対応した最適な値に設定することができ、撮影に必要なカメラ２０１の数を最小限にすることができる。
【００５６】
（付記１）撮影装置を用いて所定の領域を撮影し、撮影した映像を画像処理することによって該所定の領域に入る物体を検知する物体検知装置であって、
露光量の異なる複数の撮影装置が前記所定の領域を撮影した複数の画像から、それぞれ露光量が適正な画像部分を取り出して合成画像を生成する画像合成手段と、
前記画像合成手段により生成された合成画像を用いて前記物体を認識する物体認識手段と、
を備えたことを特徴とする物体検知装置。
【００５７】
（付記２）前記所定の領域の明るさの範囲を少なくとも網羅して撮影するようにそれぞれの撮影装置の露光量を定めたことを特徴とする付記１に記載の物体検知装置。
【００５８】
（付記３）前記画像合成手段は、前記複数の撮影装置の設置位置の違いに起因する前記複数の画像の位置ずれを補正し、補正した画像を重ね合わせて前記合成画像を生成することを特徴とする付記１または２に記載の物体検知装置。
【００５９】
（付記４）前記所定の領域に入る物体と前記複数の撮影装置との距離を算出し、算出した距離に基づいて該物体を検出する物体検出手段をさらに備え、前記物体検出手段により物体が検出された場合に、前記画像合成手段は合成画像を生成することを特徴とする付記１、２または３に記載の物体検知装置。
【００６０】
（付記５）ある時点での前記所定の領域の明るさの範囲を網羅して撮影するように前記複数の撮影装置の絞りを制御し、該複数の撮影装置の露光量を適応的に変える絞り制御手段をさらに備えたことを特徴とする付記１〜４のいずれか一つに記載の物体検知装置。
【００６１】
（付記６）撮影装置を用いて所定の領域を撮影し、撮影した映像を画像処理することによって該所定の領域に入る物体を検知する物体検知方法であって、
露光量の異なる複数の撮影装置が前記所定の領域を撮影した複数の画像から、それぞれ露光量が適正な画像部分を取り出して合成画像を生成する画像合成工程と、
前記画像合成工程により生成された合成画像を用いて前記物体を認識する物体認識工程と、
を含んだことを特徴とする物体検知方法。
【００６２】
（付記７）前記所定の領域の明るさの範囲を少なくとも網羅して撮影するようにそれぞれの撮影装置の露光量を定めたことを特徴とする付記６に記載の物体検知方法。
【００６３】
（付記８）前記画像合成工程は、前記複数の撮影装置の設置位置の違いに起因する前記複数の画像の位置ずれを補正し、補正した画像を重ね合わせて前記合成画像を生成することを特徴とする付記６または７に記載の物体検知方法。
【００６４】
（付記９）前記所定の領域に入る物体と前記複数の撮影装置との距離を算出し、算出した距離に基づいて該物体を検出する物体検出工程をさらに含み、前記物体検出工程により物体が検出された場合に、前記画像合成工程は合成画像を生成することを特徴とする付記６、７または８に記載の物体検知方法。
【００６５】
（付記１０）撮影装置を用いて所定の領域を撮影し、撮影した映像を画像処理することによって該所定の領域に入る物体を検知する物体検知プログラムであって、
露光量の異なる複数の撮影装置が前記所定の領域を撮影した複数の画像から、それぞれ露光量が適正な画像部分を取り出して合成画像を生成する画像合成手順と、
前記画像合成手順により生成された合成画像を用いて前記物体を認識する物体認識手順と、
をコンピュータで実行することを特徴とする物体検知プログラム。
【００６６】
【発明の効果】
以上説明したように、本発明によれば、露光量の異なる複数の撮影装置が所定の領域を撮影した複数の画像から、それぞれ露光量が適正な画像部分を取り出して合成画像を生成し、生成した合成画像を用いて物体を認識するよう構成したので、物体の明暗の差が大きい場合にも、その詳細を正確に認識することができるという効果を奏する。
【図面の簡単な説明】
【図１】本実施の形態１に係る物体検知装置の概念を説明するための説明図である。
【図２】本実施の形態１に係る物体検知装置の構成を示す機能ブロック図である。
【図３】図２に示したｎ台のカメラの撮像範囲を説明するための説明図である。
【図４】ステレオ画像処理を用いた対象物体までの距離算出手法を説明するための説明図である。
【図５】輝度変換曲線の一例を示す図である。
【図６】図２に示した物体検知装置による物体検知処理の処理手順を示すフローチャートである。
【図７】図２に示した画像合成部の処理手順を示すフローチャートである。
【図８】本実施の形態２に係る物体検知装置の構成を示す機能ブロック図である。
【符号の説明】
２００，８００ 物体検知装置
２０１ カメラ
２０２ 画像取込部
２０３ 物体検出部
２０４ 画像合成部
２０５ 詳細認識部
２０６ 画像データ記憶部
２０７ 設置条件記憶部
２０８ 表示装置
２０９ 撮像素子駆動部
２１０，８１０ 制御部
８０１ アイリス駆動部
Claims (5)
- 撮影装置を用いて所定の領域を撮影し、撮影した映像を画像処理することによって該所定の領域に入る物体を検知する物体検知装置であって、
露光量の異なる複数の撮影装置が前記所定の領域を撮影した複数の画像から、それぞれ露光量が適正な画像部分を取り出して合成画像を生成する画像合成手段と、
前記画像合成手段により生成された合成画像を用いて前記物体を認識する物体認識手段と、
を備えたことを特徴とする物体検知装置。 - 前記所定の領域の明るさの範囲を少なくとも網羅して撮影するようにそれぞれの撮影装置の露光量を定めたことを特徴とする請求項１に記載の物体検知装置。
- 前記画像合成手段は、前記複数の撮影装置の設置位置の違いに起因する前記複数の画像の位置ずれを補正し、補正した画像を重ね合わせて前記合成画像を生成することを特徴とする請求項１または２に記載の物体検知装置。
- 撮影装置を用いて所定の領域を撮影し、撮影した映像を画像処理することによって該所定の領域に入る物体を検知する物体検知方法であって、
露光量の異なる複数の撮影装置が前記所定の領域を撮影した複数の画像から、それぞれ露光量が適正な画像部分を取り出して合成画像を生成する画像合成工程と、
前記画像合成工程により生成された合成画像を用いて前記物体を認識する物体認識工程と、
を含んだことを特徴とする物体検知方法。 - 撮影装置を用いて所定の領域を撮影し、撮影した映像を画像処理することによって該所定の領域に入る物体を検知する物体検知プログラムであって、
露光量の異なる複数の撮影装置が前記所定の領域を撮影した複数の画像から、それぞれ露光量が適正な画像部分を取り出して合成画像を生成する画像合成手順と、
前記画像合成手順により生成された合成画像を用いて前記物体を認識する物体認識手順と、
をコンピュータで実行することを特徴とする物体検知プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002255886A JP4009163B2 (ja) | 2002-08-30 | 2002-08-30 | 物体検知装置、物体検知方法および物体検知プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002255886A JP4009163B2 (ja) | 2002-08-30 | 2002-08-30 | 物体検知装置、物体検知方法および物体検知プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004096488A true JP2004096488A (ja) | 2004-03-25 |
| JP4009163B2 JP4009163B2 (ja) | 2007-11-14 |
Family
ID=32061265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002255886A Expired - Fee Related JP4009163B2 (ja) | 2002-08-30 | 2002-08-30 | 物体検知装置、物体検知方法および物体検知プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4009163B2 (ja) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007166443A (ja) * | 2005-12-16 | 2007-06-28 | Hitachi Ltd | 撮像装置 |
| JP2011077772A (ja) * | 2009-09-30 | 2011-04-14 | Hitachi Automotive Systems Ltd | 周囲確認支援装置 |
| WO2011049118A1 (ja) * | 2009-10-20 | 2011-04-28 | 株式会社パスコ | 路面画像撮影・編集装置及び路面画像撮影・編集プログラム |
| US20110135158A1 (en) * | 2009-12-08 | 2011-06-09 | Nishino Katsuaki | Image processing device, image processing method and program |
| WO2011078244A1 (ja) * | 2009-12-24 | 2011-06-30 | シャープ株式会社 | 多眼撮像装置および多眼撮像方法 |
| WO2011151867A1 (ja) * | 2010-05-31 | 2011-12-08 | パナソニック株式会社 | 撮像装置、撮像方法およびプログラム |
| WO2012004906A1 (ja) * | 2010-07-07 | 2012-01-12 | パナソニック株式会社 | 画像処理装置、画像処理方法およびプログラム |
| US8116535B2 (en) | 2006-07-25 | 2012-02-14 | Fujifilm Corporation | Image trimming apparatus |
| WO2012077464A1 (ja) * | 2010-12-07 | 2012-06-14 | シャープ株式会社 | 撮像装置 |
| KR101439013B1 (ko) | 2013-03-19 | 2014-09-05 | 현대자동차주식회사 | 스테레오 영상 처리 장치 및 방법 |
| JP2014203114A (ja) * | 2013-04-01 | 2014-10-27 | 株式会社デンソー | 物体認識装置 |
| WO2018235256A1 (ja) * | 2017-06-23 | 2018-12-27 | 株式会社日立製作所 | ステレオ計測装置及びシステム |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09126758A (ja) * | 1995-10-27 | 1997-05-16 | Honda Motor Co Ltd | 車両用環境認識装置 |
| JPH11201741A (ja) * | 1998-01-07 | 1999-07-30 | Omron Corp | 画像処理方法およびその装置 |
-
2002
- 2002-08-30 JP JP2002255886A patent/JP4009163B2/ja not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09126758A (ja) * | 1995-10-27 | 1997-05-16 | Honda Motor Co Ltd | 車両用環境認識装置 |
| JPH11201741A (ja) * | 1998-01-07 | 1999-07-30 | Omron Corp | 画像処理方法およびその装置 |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7590348B2 (en) | 2005-12-16 | 2009-09-15 | Hitachi, Ltd. | Photographing apparatus |
| JP2007166443A (ja) * | 2005-12-16 | 2007-06-28 | Hitachi Ltd | 撮像装置 |
| JP4706466B2 (ja) * | 2005-12-16 | 2011-06-22 | 株式会社日立製作所 | 撮像装置 |
| US8116535B2 (en) | 2006-07-25 | 2012-02-14 | Fujifilm Corporation | Image trimming apparatus |
| JP2011077772A (ja) * | 2009-09-30 | 2011-04-14 | Hitachi Automotive Systems Ltd | 周囲確認支援装置 |
| EP2312497A1 (en) | 2009-09-30 | 2011-04-20 | Hitachi Ltd. | Apparatus for vehicle surroundings monitorings |
| US8289391B2 (en) | 2009-09-30 | 2012-10-16 | Hitachi, Ltd. | Apparatus for vehicle surroundings monitoring |
| WO2011049118A1 (ja) * | 2009-10-20 | 2011-04-28 | 株式会社パスコ | 路面画像撮影・編集装置及び路面画像撮影・編集プログラム |
| JP2011090367A (ja) * | 2009-10-20 | 2011-05-06 | Pasuko:Kk | 路面画像撮影・編集装置及び路面画像撮影・編集プログラム |
| US20110135158A1 (en) * | 2009-12-08 | 2011-06-09 | Nishino Katsuaki | Image processing device, image processing method and program |
| US8630453B2 (en) * | 2009-12-08 | 2014-01-14 | Sony Corporation | Image processing device, image processing method and program |
| WO2011078244A1 (ja) * | 2009-12-24 | 2011-06-30 | シャープ株式会社 | 多眼撮像装置および多眼撮像方法 |
| JP2011151798A (ja) * | 2009-12-24 | 2011-08-04 | Sharp Corp | 多眼撮像装置および多眼撮像方法 |
| US8885067B2 (en) | 2009-12-24 | 2014-11-11 | Sharp Kabushiki Kaisha | Multocular image pickup apparatus and multocular image pickup method |
| JP2011254170A (ja) * | 2010-05-31 | 2011-12-15 | Panasonic Corp | 撮像装置および撮像方法 |
| WO2011151867A1 (ja) * | 2010-05-31 | 2011-12-08 | パナソニック株式会社 | 撮像装置、撮像方法およびプログラム |
| CN102422124A (zh) * | 2010-05-31 | 2012-04-18 | 松下电器产业株式会社 | 成像装置、成像方法及程序 |
| JP2012019311A (ja) * | 2010-07-07 | 2012-01-26 | Panasonic Corp | 画像処理装置、画像処理方法およびプログラム |
| US8502880B2 (en) | 2010-07-07 | 2013-08-06 | Panasonic Corporation | Image processing apparatus, image processing method, and program |
| WO2012004906A1 (ja) * | 2010-07-07 | 2012-01-12 | パナソニック株式会社 | 画像処理装置、画像処理方法およびプログラム |
| JP2012124622A (ja) * | 2010-12-07 | 2012-06-28 | Sharp Corp | 撮像装置 |
| WO2012077464A1 (ja) * | 2010-12-07 | 2012-06-14 | シャープ株式会社 | 撮像装置 |
| KR101439013B1 (ko) | 2013-03-19 | 2014-09-05 | 현대자동차주식회사 | 스테레오 영상 처리 장치 및 방법 |
| US9635340B2 (en) | 2013-03-19 | 2017-04-25 | Hyundai Motor Company | Stereo image processing apparatus and method thereof |
| JP2014203114A (ja) * | 2013-04-01 | 2014-10-27 | 株式会社デンソー | 物体認識装置 |
| WO2018235256A1 (ja) * | 2017-06-23 | 2018-12-27 | 株式会社日立製作所 | ステレオ計測装置及びシステム |
| JPWO2018235256A1 (ja) * | 2017-06-23 | 2020-05-21 | 株式会社日立製作所 | ステレオ計測装置及びシステム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4009163B2 (ja) | 2007-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5367640B2 (ja) | 撮像装置および撮像方法 | |
| US7995852B2 (en) | Imaging device and imaging method | |
| US8345919B2 (en) | Motion detecting device, motion detecting method, imaging device, and monitoring system | |
| US8135270B2 (en) | Imaging device and imaging method | |
| JP6319340B2 (ja) | 動画撮像装置 | |
| US8497932B2 (en) | Photographing apparatus and method having at least two photographing devices and exposure synchronization | |
| JP2006005608A (ja) | 撮像装置 | |
| KR20090071471A (ko) | 촬상 장치 및 그 셔터 구동 모드 선택 방법 | |
| JP2013165485A (ja) | 画像処理装置、撮像装置およびコンピュータブログラム | |
| US20110012991A1 (en) | Moving image recording method and apparatus, and moving image coding method and moving image coder | |
| WO2013058085A1 (ja) | ステレオ撮像装置 | |
| JP4009163B2 (ja) | 物体検知装置、物体検知方法および物体検知プログラム | |
| JP2013165483A (ja) | 画像処理装置、撮像装置、およびコンピュータブログラム | |
| JP2009010616A (ja) | 撮像装置および画像出力制御方法 | |
| US8947556B2 (en) | Image pickup apparatus, control method therefor, and storage medium storing control program therefor | |
| JP2005236662A (ja) | 撮像方法、撮像装置及び撮像システム | |
| JP5189913B2 (ja) | 画像処理装置 | |
| JP4898151B2 (ja) | 撮像装置及び撮像方法 | |
| JP4871664B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
| JP2022083147A (ja) | 撮像装置、撮像方法、プログラムおよび記録媒体 | |
| JP2005122016A (ja) | オートフォーカスカメラ | |
| JP2010278614A (ja) | 画像監視記録装置 | |
| JP2011059977A (ja) | 撮像装置 | |
| JP2008283477A (ja) | 画像処理装置及び画像処理方法 | |
| KR100734847B1 (ko) | 느린 셔터 속도에서 선명한 영상 검출 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041214 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060807 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060815 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061016 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070612 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070730 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070828 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070831 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100907 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100907 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110907 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120907 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120907 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130907 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |