JP2016189504A - 形状認識装置及び形状認識方法 - Google Patents

Abstract

【課題】カメラにより撮像した低コントラストの画像から、対象物の形状を精度良く認識する。
【解決手段】画像処理装置３０は、カメラ１０の画像信号と距離センサー２０の画像データとを併用して処理して、対象物１の形状を認識する。境界検出部３３は、距離センサー２０の画像において、対象物１が存在する画素及び当該画素に隣接する画素を抽出し、カメラ１０の画像において、抽出した距離センサー２０の画像の画素に対応する位置にある画素を抽出し、抽出した画素毎にコントラストの傾きを算出し、所定値より大きなコントラストの傾きを有する画素であって、かつ、周囲の画素も所定値より大きなコントラストの傾きを有する画素を、対象物１と背景との境界として検出する。
【選択図】図１

Description

本発明は、カメラにより撮像した画像から、対象物の形状を認識する形状認識装置及び形状認識方法に関する。

一般に、カメラを用いた監視システム等では、カメラにより撮像した画像から、対象物と背景とを分離することが行われている。例えば、特許文献１には、移動物体と背景とから構成されている動画像から移動物体を取り除き、背景画像を自動生成する方法及び装置が開示されている。

特開平７−２８４０８６号公報

カメラにより撮像した画像から対象物と背景とを分離するためには、対象物と背景との境界を検出して、対象物の形状を認識する必要がある。しかしながら、カメラの画像信号は、解像度の高い高精細な画像を得られる半面、コントラストが低いと、対象物の部分と背景の部分とで出力差が小さく、対象物と背景との境界を正確に検出することが困難であった。

一方、近年、複数の画素を有し、画素毎に対象物又は背景までの距離を検出し、検出した距離に応じた画像データを出力する距離センサーが開発されている。距離センサーの画像データは、対象物又は背景までの距離を示しているため、対象物と背景との分離が容易である。しかしながら、カメラの画像と同程度の解像度で高精細な画像を得るには、装置が大変高価になるという問題があった。

本発明の課題は、カメラにより撮像した低コントラストの画像から、対象物の形状を精度良く認識することである。

本発明の形状認識装置は、対象物及びその背景の画像を、複数の画素で撮像して、画像信号を出力するカメラと、対象物又は背景までの距離を、カメラの解像度より低い解像度の複数の画素で検出して、検出した距離に応じた画像データを出力する距離センサーと、カメラの画像信号と距離センサーの画像データとを併用して処理して、対象物の形状を認識する画像処理装置とを備え、画像処理装置は、距離センサーの画像において、対象物が存在する画素及び当該画素に隣接する画素を抽出し、カメラの画像において、抽出した距離センサーの画像の画素に対応する位置にある画素を抽出し、抽出した画素毎にコントラストの傾きを算出し、所定値より大きなコントラストの傾きを有する画素であって、かつ、周囲の画素も所定値より大きなコントラストの傾きを有する画素を、対象物と背景との境界として検出する境界検出部を有するものである。

また、本発明の形状認識方法は、対象物及びその背景の画像を、カメラにより複数の画素で撮像して、画像信号を出力し、対象物又は背景までの距離を、距離センサーによりカメラの解像度より低い解像度の複数の画素で検出して、検出した距離に応じた画像データを出力し、カメラの画像信号と距離センサーの画像データとを併用して処理し、距離センサーの画像において、対象物が存在する画素及び当該画素に隣接する画素を抽出し、カメラの画像において、抽出した距離センサーの画像の画素に対応する位置にある画素を抽出し、抽出した画素毎にコントラストの傾きを算出し、所定値より大きなコントラストの傾きを有する画素であって、かつ、周囲の画素も所定値より大きなコントラストの傾きを有する画素を、対象物と背景との境界として検出して、対象物の形状を認識するものである。

距離センサーの画像において、対象物が存在する画素及び当該画素に隣接する画素を抽出する。距離センサーの画像データは、対象物又は背景までの距離を示しているため、対象物の部分と背景の部分とで出力差が大きく、対象物が存在する画素を容易に抽出することができる。次に、カメラの画像において、抽出した距離センサーの画像の画素に対応する位置にある画素を抽出する。距離センサーの画像において、対象物が存在する画素だけでなく、当該画素に隣接する画素も抽出するので、抽出した距離センサーの画像の画素に対応する位置にあるカメラの画像の画素の中には、対象物が存在する画素が必ず含まれる。

そして、カメラの画像において、抽出した画素毎にコントラストの傾きを算出し、所定値より大きなコントラストの傾きを有する画素であって、かつ、周囲の画素も所定値より大きなコントラストの傾きを有する画素を、対象物と背景との境界として検出する。抽出した画素の中の背景の部分に、ノイズとして対象物の輪郭と同程度のコントラストの傾きを有する画素があっても、所定値より大きなコントラストの傾きを有する連続した画素のみが、対象物と背景との境界として検出される。従って、カメラにより撮像した低コントラストの画像から、対象物の形状が精度良く認識される。

さらに、本発明の形状認識装置は、画像処理装置が、カメラの画像と距離センサーの画像とを、各画像内の対象物の位置が一致する様に合成する画像合成部と、画像合成部により合成された画像において、カメラの画像の各画素を、距離センサーの画像の各画素に対応させて区分する画素区分部とを有するものである。

また、本発明の形状認識方法は、距離センサーの画像において、対象物が存在する画素及び当該画素に隣接する画素を抽出する前に、カメラの画像と距離センサーの画像とを、各画像内の対象物の位置が一致する様に合成し、合成した画像において、カメラの画像の各画素を、距離センサーの画像の各画素に対応させて区分するものである。

事前に、カメラの画像と距離センサーの画像とを、各画像内の対象物の位置が一致する様に合成し、合成した画像において、カメラの画像の各画素を、距離センサーの画像の各画素に対応させて区分するので、距離センサーの画像において、対象物が存在する画素及び当該画素に隣接する画素を抽出した後、カメラの画像において、抽出した距離センサーの画像の画素に対応する位置にある画素を容易に抽出することができる。

本発明によれば、カメラの画像信号と距離センサーの画像データとを併用して処理し、距離センサーの画像において、対象物が存在する画素及び当該画素に隣接する画素を抽出し、カメラの画像において、抽出した距離センサーの画像の画素に対応する位置にある画素を抽出し、抽出した画素毎にコントラストの傾きを算出し、所定値より大きなコントラストの傾きを有する画素であって、かつ、周囲の画素も所定値より大きなコントラストの傾きを有する画素を、対象物と背景との境界として検出することにより、カメラにより撮像した低コントラストの画像から、対象物の形状を精度良く認識することができる。

さらに、事前に、カメラの画像と距離センサーの画像とを、各画像内の対象物の位置が一致する様に合成し、合成した画像において、カメラの画像の各画素を、距離センサーの画像の各画素に対応させて区分することにより、距離センサーの画像において、対象物が存在する画素及び当該画素に隣接する画素を抽出した後、カメラの画像において、抽出した距離センサーの画像の画素に対応する位置にある画素を容易に抽出することができる。

本発明の一実施の形態による形状認識装置の概略構成を示す図である。 画像処理装置の処理を示すフローチャートである。 図３（ａ）はカメラの画像の一部の一例を示す図、図３（ｂ）は距離センサーの画像の一部の一例を示す図、図３（ｃ）はステップ３０１で合成された画像の一例を示す図である。 ステップ３０２で区分されたカメラの画像の画素の一例を示す図である。 ステップ３０３で抽出された距離センサーの画像の画素の一例を示す図である。 ステップ３０４で抽出されたカメラの画像の画素の一例を示す図である。 ステップ３０５で算出されたコントラストの傾きの一例を示す図である。 検出された対象物と背景との境界を示す図である。

図１は、本発明の一実施の形態による形状認識装置の概略構成を示す図である。形状認識装置１００は、カメラ１０、距離センサー２０、画像処理装置３０、及び境界情報記憶装置４０を含んで構成されている。カメラ１０は、ＣＣＤカメラやＣＭＯＳカメラ等からなり、例えば数万個〜数百万個程度の複数の画素を有し、対象物及びその背景の画像を複数の画素で撮像して、画像信号を出力する。距離センサー２０は、カメラ１０の解像度よりも低い解像度の複数の画素を有し、対象物又は背景までの距離を画素毎に検出して、検出した距離に応じた画像データを出力する。カメラ１０と距離センサー２０とは、隣接して設置され、同一の対象物及びその背景を、同じ距離だけ離れた位置から撮像する。

カメラ１０の画像信号、及び距離センサー２０の画像データは、画像処理装置３０へ入力される。画像処理装置３０は、カメラ１０の画像信号と、距離センサー２０の画像データと併用して処理して、対象物の形状を認識する。画像処理装置３０は、画像合成部３１、画素区分部３２、及び境界検出部３３を含んで構成されている。

図２は、画像処理装置の処理を示すフローチャートである。まず、画像処理装置３０の画像合成部３１は、カメラ１０の画像と距離センサー２０の画像とを合成する（ステップ３０１）。図３（ａ）はカメラの画像の一部の一例を示す図、図３（ｂ）は距離センサーの画像の一部の一例を示す図、図３（ｃ）はステップ３０１で合成された画像の一例を示す図である。

図３（ａ）に示すカメラ１０の画像１１では、薄い灰色の小さな四角形の一つ一つが、画素１２を表している。破線で示す対象物１の部分の画素と同程度のコントラストを有する画素以外の画素は、図示が省略されている。本例では、破線で示す対象物１の部分の画像と、背景の部分の画像とのコントラストの差が小さくなっている。

図３（ｂ）に示す距離センサー２０の画像２１では、白色の四角形の一つ一つが、画素２２を表している。破線で示す対象物１の部分の画素以外の背景の部分の画素は、図示が省略されている。距離センサー２０の画像２１の画素２２は、カメラ１０の画像１１の画素１２よりも、寸法が大きく、画素数が少ない。本例では、対象物又は背景までの距離が近い程、その部分の画素の色が明るく表示されている。そして、距離センサー２０の画像２１では、カメラ１０の画像１１よりも、破線で示す対象物１の部分の画像と、背景の部分の画像とのコントラストの差が大きくなっている。

画像合成部３１は、隣接して設置されたカメラ１０と距離センサー２０との設置間隔に基づき、カメラ１０の画像１１と距離センサー２０の画像２１とを、図３（ｃ）に示す様に、各画像内の対象物１の位置が一致する様に合成する。

図２において、次に、画像処理装置３０の画素区分部３２は、画像合成部３１により合成された画像において、カメラ１０の画像１１の各画素１２を、距離センサー２０の画像２１の各画素２２に対応させて区分する（ステップ３０２）。図４は、ステップ３０２で区分されたカメラの画像の画素の一例を示す図である。図４において、例えば、符号ａ〜ｌを付したカメラ１０の画像１１の画素１２が、距離センサー２０の画像２１の画素２２ａに対応させて区分された画素である。

図２において、次に、画像処理装置３０の境界検出部３３は、距離センサー２０の画像２１において、対象物１が存在する画素及び当該画素に隣接する画素を抽出する（ステップ３０３）。距離センサー２０の画像データは、対象物１又は背景までの距離を示しているため、対象物１の部分と背景の部分とで出力差が大きく、対象物１が存在する画素を容易に抽出することができる。図５は、ステップ３０３で抽出された距離センサーの画像の画素の一例を示す図である。

図２において、次に、境界検出部３３は、カメラ１０の画像１１において、ステップ３０２で区分された画素に基づき、ステップ３０３で抽出した距離センサー２０の画像２１の画素に対応する位置にある画素を抽出する（ステップ３０４）。ステップ３０３で、距離センサー２０の画像２１において、対象物１が存在する画素だけでなく、当該画素に隣接する画素も抽出するので、抽出した距離センサー２０の画像２１の画素に対応する位置にあるカメラ１０の画像１１の画素の中には、対象物１が存在する画素が必ず含まれる。図６は、ステップ３０４で抽出されたカメラの画像の画素の一例を示す図である。

図２において、次に、境界検出部３３は、カメラ１０の画像１１において、ステップ３０４で抽出した画素毎にコントラストの傾きを算出する（ステップ３０５）。ここで、コントラストの傾きとは、上下又は左右に隣接する画素とのコントラストの差を示している。図７は、ステップ３０５で算出されたコントラストの傾きの一例を示す図である。図７では、コントラストの傾きの大きさを、十字状の図形の大きさで表している。

図２において、次に、境界検出部３３は、ステップ３０５での算出結果から、所定値、例えば、背景と対象物１のコントラストが２より大きなコントラストの傾きを有する画素を抽出する（ステップ３０６）。続いて、境界検出部３３は、ステップ３０６で抽出した画素の周囲の画素も、所定値より大きなコントラストの傾きを有するか否かを判断する（ステップ３０７）。そして、境界検出部３３は、周囲の画素も所定値より大きなコントラストの傾きを有するとき、ステップ３０６で抽出した画素を、対象物１と背景との境界として検出して、図１の境界情報記憶装置４０に記憶する（ステップ３０８）。図８は、検出された対象物と背景との境界を示す図である。

所定値より大きなコントラストの傾きを有する画素であって、かつ、周囲の画素も所定値より大きなコントラストの傾きを有する画素を、対象物１と背景との境界として検出するので、例えば、図７において、抽出した画素の中の背景の部分に、ノイズとして対象物１の輪郭と同程度のコントラストの傾きを有する画素１２ａがあっても、所定値より大きなコントラストの傾きを有する連続した画素のみが、対象物１と背景との境界として検出される。従って、カメラ１０により撮像した低コントラストの画像１１から、対象物１の形状が精度良く認識される。

以上説明した実施の形態によれば、カメラ１０の画像信号と距離センサー２０の画像データとを併用して処理し、距離センサー２０の画像２１において、対象物１が存在する画素及び当該画素に隣接する画素を抽出し、カメラ１０の画像１１において、抽出した距離センサー２０の画像２１の画素に対応する位置にある画素を抽出し、抽出した画素毎にコントラストの傾きを算出し、所定値より大きなコントラストの傾きを有する画素であって、かつ、周囲の画素も所定値より大きなコントラストの傾きを有する画素を、対象物１と背景との境界として検出することにより、カメラ１０により撮像した低コントラストの画像１１から、対象物の形状を精度良く認識することができる。

さらに、事前に、カメラ１０の画像１１と距離センサー２０の画像２１とを、各画像内の対象物１の位置が一致する様に合成し、合成した画像において、カメラ１０の画像１１の各画素を、距離センサー２０の画像２１の各画素に対応させて区分することにより、距離センサー２０の画像２１において、対象物１が存在する画素及び当該画素に隣接する画素を抽出した後、カメラ１０の画像１１において、抽出した距離センサー２０の画像２１の画素に対応する位置にある画素を容易に抽出することができる。

本発明は、監視システムに限らず、カメラにより撮像した画像を用いる種々の装置に適用することができる。

１ 対象物
１００ 形状認識装置
１０ カメラ
１１ カメラの画像
１２ 画素
２０ 距離センサー
２１ 距離センサーの画像
２２ 画素
３０ 画像処理装置
３１ 画像合成部
３２ 画素区分部
３３ 境界検出部
４０ 境界情報記憶装置

Claims (4)

1. 対象物及びその背景の画像を、複数の画素で撮像して、画像信号を出力するカメラと、
   前記対象物又は前記背景までの距離を、前記カメラの解像度より低い解像度の複数の画素で検出して、検出した距離に応じた画像データを出力する距離センサーと、
   前記カメラの前記画像信号と前記距離センサーの前記画像データとを併用して処理して、前記対象物の形状を認識する画像処理装置とを備え、
   前記画像処理装置は、前記距離センサーの画像において、前記対象物が存在する画素及び当該画素に隣接する画素を抽出し、前記カメラの画像において、抽出した前記距離センサーの画像の画素に対応する位置にある画素を抽出し、抽出した画素毎にコントラストの傾きを算出し、所定値より大きなコントラストの傾きを有する画素であって、かつ、周囲の画素も所定値より大きなコントラストの傾きを有する画素を、前記対象物と前記背景との境界として検出する境界検出部を有することを特徴とする形状認識装置。
2. 前記画像処理装置は、
   前記カメラの画像と前記距離センサーの画像とを、各画像内の前記対象物の位置が一致する様に合成する画像合成部と、
   前記画像合成部により合成された画像において、前記カメラの画像の各画素を、前記距離センサーの画像の各画素に対応させて区分する画素区分部とを有することを特徴とする請求項１に記載の形状認識装置。
3. 対象物及びその背景の画像を、カメラにより複数の画素で撮像して、画像信号を出力し、
   前記対象物又は前記背景までの距離を、距離センサーにより前記カメラの解像度より低い解像度の複数の画素で検出して、検出した距離に応じた画像データを出力し、
   前記カメラの前記画像信号と前記距離センサーの前記画像データとを併用して処理し、
   前記距離センサーの画像において、前記対象物が存在する画素及び当該画素に隣接する画素を抽出し、
   前記カメラの画像において、抽出した前記距離センサーの画像の画素に対応する位置にある画素を抽出し、抽出した画素毎にコントラストの傾きを算出し、所定値より大きなコントラストの傾きを有する画素であって、かつ、周囲の画素も所定値より大きなコントラストの傾きを有する画素を、前記対象物と前記背景との境界として検出して、前記対象物の形状を認識することを特徴とする形状認識方法。
4. 前記距離センサーの画像において、前記対象物が存在する画素及び当該画素に隣接する画素を抽出する前に、
   前記カメラの画像と前記距離センサーの画像とを、各画像内の前記対象物の位置が一致する様に合成し、
   合成した画像において、前記カメラの画像の各画素を、前記距離センサーの画像の各画素に対応させて区分することを特徴とする請求項３に記載の形状認識方法。

Images