JP2008243184A - 濃淡画像の輪郭補正処理方法及びその装置 - Google Patents

Abstract

【課題】濃淡画像と距離画像を利用して物体認識用途に好適な輪郭補正処理後の濃淡画像を得る。
【解決手段】濃淡画像１００から抽出した濃淡輪郭画像１０４と距離画像１０２から抽出した距離輪郭画像１０６の双方の輪郭が一致した濃淡画像１００の輪郭に対して輪郭補正処理を行い輪郭補正処理後の濃淡画像を生成するようにしているので、被写体の境界を際だたせる（強調する）ことが可能であり、被写体の境界に通常の輪郭補正処理とは異なる輪郭補正処理を行うことができる。
【選択図】図６

Description

この発明は、濃淡画像の輪郭補正処理方法及びその装置に関し、一層詳細には、撮像装置により得られた同一の被写体に対する濃淡画像を距離画像の情報により補正する濃淡画像の輪郭補正処理方法及びその装置に関する。

従来から、被写体に対してデジタルカメラあるいはビデオカメラ等の撮像装置により撮像されることで生成される、階調値が画素値とされる濃淡画像が一般的に知られている。

近時、対象空間を撮像し、撮像素子から対象空間に存在する対象物（被写体）までの距離値が画素値とされる距離画像を生成する距離画像撮像装置が提案されている（特許文献１、特許文献２）。

特開２００６−１５３７７３号公報（図１１） 特開２００６−４６９５９号公報

そして、同一の被写体に対して濃淡画像と距離画像を得、距離画像の情報により、例えば、撮像素子から２ｍ以内に存在する濃淡画像を切り出した濃淡画像を生成するようにした濃淡画像の補正処理等が実験的に行われている。

このように濃淡画像を距離画像の情報により補正処理（加工処理）することで、高度防犯センサ、次世代入退出システム用センサ、ロボットの視覚センサ、ＦＡ用各種センサ等への応用が期待されている。

距離画像の輪郭を抽出する技術が上記の特許文献１に記載されている。この技術は、対象物としての移動体とその背景を複数回撮像して距離画像を得、対象物の距離画像の周囲にオーバーシュートが発生することを考慮し、このオーバーシュート付き距離画像を平滑化し、この平滑化距離画像と前記オーバーシュート付き距離画像との差分画像を輪郭として抽出する技術である。

また、上記の特許文献２には、強度が周期的に変化する強度変調光を対象空間に照射する発光源と、受光光量に応じた電気出力を発生する複数個の感光部が配列され対象空間を撮像する光検出素子と、発光源から対象空間に照射された光が対象空間内の対象物で反射され前記各感光部で受光されるまでの強度変調光の位相差を対象物までの距離に換算することにより画素値が距離値である距離画像と、各感光部の受光光量である濃淡値を画素値とする濃淡画像と、を同じ感光部の受光光量からそれぞれ生成する画像生成部と、を備える撮像装置が開示されている。そして、さらに、輪郭抽出部が、濃淡画像を微分した濃淡微分画像において濃淡微分値が極大になる領域と、距離画像を微分した距離微分画像において距離微分値が極大になる領域との両方を対象物の輪郭として抽出することが開示されている。

この発明は、以上説明したような課題、技術を考慮してなされたものであって、撮像装置により得られた同一の被写体に対する濃淡画像を距離画像の情報により好適に補正することを可能とする濃淡画像の輪郭補正処理方法及びその装置を提供することを目的とする。

この項では、理解の容易化のために添付図面中の一部符号を付けて説明する。したがって、この項に記載した内容がその符号を付けたものに限定して解釈されるものではない。

この発明に係る濃淡画像の輪郭補正処理方法は、コンピュータにより行う画像処理方法において、以下の特徴［１］〜［４］を有する。

［１］同一の被写体（１２）に対して、各画素が距離値を含む距離画像（１０２）の輪郭を抽出した距離輪郭画像（１０６）と、各画素が階調値を含む濃淡画像（１００）の輪郭を抽出した濃淡輪郭画像（１０４）とを生成する過程（Ｓ２）と、前記濃淡輪郭画像の輪郭の一部を含む領域（１０８ａ，１０８ｂ）に座標位置が対応する前記距離輪郭画像上の領域での輪郭の有無を判断する過程（Ｓ３）と、輪郭が有ると判断した場合には、前記濃淡画像の輪郭に対して輪郭補正処理を行う過程（Ｓ４）と、を備えることを特徴とする。

この発明によれば、濃淡輪郭画像と距離輪郭画像の双方の輪郭が一致した濃淡画像の輪郭に対して輪郭補正処理を行うようにしているので、被写体の境界を際だたせる（強調する）ことが可能であり、このように、被写体の境界に通常の輪郭補正処理とは異なる輪郭補正処理を行うことができる。したがって、例えば、物体認識用途に適用して好適である。

［２］同一の被写体（１２ａ）に対して、各画素が距離値を含む距離画像（２１８）と、各画素が階調値を含む濃淡画像（２１４）とを取り込む過程（Ｓ１１，Ｓ２１）と、前記濃淡画像の輪郭を抽出した濃淡輪郭画像（２１６）を生成する過程（Ｓ１２，Ｓ２２）と、前記濃淡輪郭画像の輪郭の一部を含む領域（２２６ａ〜２２６ｄ）に座標位置が対応する前記距離画像上の領域（２３０ａ〜２３０ｄ）での微分値（ｄｉ）又は距離値差（Δｄ）を計算する過程（Ｓ１３，Ｓ２４）と、計算した前記距離画像上の領域での前記微分値又は前記距離値差に応じて、前記濃淡画像の輪郭に対して輪郭補正処理を行う過程（Ｓ１４，Ｓ２５）と、を備えることを特徴とする。

この発明によれば、距離画像上の領域での微分値又は距離値差に応じて濃淡画像の輪郭に対して輪郭補正処理を行うようにしているので、例えば物体の境界に適当な情報を付加することができる。また、連続的な情報を与えることができる。したがって、例えば物体認識用途に適用して好適である。

［３］上記特徴［２］を備える発明において、前記の、前記濃淡輪郭画像の輪郭の一部を含む領域に座標位置が対応する前記距離画像上の領域での微分値又は前記距離画像上の領域での距離値差を計算する過程（Ｓ１３）では、さらに、前記濃淡輪郭画像の輪郭の一部を含む領域に座標位置が対応する前記濃淡画像（２１４）上の領域での微分値（ｄｊ）又は階調値差（Δｇ）を計算し（Ｓ２３）、前記の、計算した前記距離画像上の領域での前記微分値又は距離値差に応じて、前記濃淡画像の輪郭に対して輪郭補正処理を行う過程（Ｓ１４）では、計算した前記距離画像上の領域での前記微分値（Ｓ２４）又は前記距離値差と、計算した前記濃淡画像上の領域での前記微分値（Ｓ２３）又は前記階調値差とを利用して、前記濃淡画像の輪郭に対して輪郭補正処理を行う（Ｓ２５）ことを特徴とする。

この発明によれば、前記距離画像上の領域での微分値又は距離値差、及び前記濃淡画像の領域での微分値又は該領域での階調値差により、前記濃淡画像の輪郭に対して輪郭補正処理を行うようにしているので、例えば物体の境界情報を濃淡画像の輪郭に自然な感じで付加することができる。また、濃淡画像の情報を残しているので、自然な立体感を表すことができる。

［４］上記の特徴［１］〜［３］のいずれかを備える発明において、前記濃淡画像の前記輪郭に対しての前記輪郭補正処理は、前記輪郭を形成する画素の階調値又は色を変化させることを特徴とする。

この発明によれば、用途等に応じて適切な輪郭補正処理を行うことができる。

［５］上記の特徴［１］〜［４］を構成する各過程をコンピュータにより読み出して実行するプログラムとして利用できる。

［６］上記の特徴［１］〜［４］を構成する各過程をコンピュータにより読み出して実行するプログラムを格納した記録媒体として利用できる。

さらに、上記特徴［１］〜［４］を備える方法発明を、物の発明として実現することができる。

さらに、この発明に係る濃淡画像の輪郭補正処理方法は、コンピュータにより行う画像処理方法において、同一の被写体に対して、各画素が距離値を含む距離画像の輪郭を抽出した距離輪郭画像と、各画素が階調値を含む濃淡画像の輪郭を抽出した濃淡輪郭画像とを生成する過程（Ｓ２）と、前記濃淡画像の輪郭に対応する前記距離画像の輪郭が存在するかどうかを判断する過程（Ｓ３）と、輪郭が有ると判断した場合には、前記濃淡画像の輪郭に対して輪郭補正処理を行う過程（Ｓ４）と、を備えることを特徴とする。

さらにまた、この発明に係る濃淡画像の輪郭補正装置は、同一の被写体に対して、各画素が距離値を含む距離画像の輪郭を抽出した距離輪郭画像と、各画素が階調値を含む濃淡画像の輪郭を抽出した濃淡輪郭画像とを生成する輪郭画像生成部（５０）と、前記濃淡画像の輪郭に対応する前記距離画像の輪郭が存在するかどうかを判断する輪郭有無判断部（５６）と、輪郭が有ると判断した場合には、前記濃淡画像の輪郭に対して輪郭補正処理を行う輪郭補正処理部（６２）と、を備えることを特徴とする。

この発明によれば、撮像装置により得られた同一の被写体に対する濃淡画像の輪郭等を距離画像の輪郭情報により好適に補正することができる。

以下、この発明の実施形態について図面を参照して説明する。

図２は、この発明の一実施形態に係る濃淡画像の輪郭補正処理方法が適用された距離画像・濃淡画像撮像システム１０のハードウエア構成を示すブロック図である。

図１は、図２に示した距離画像・濃淡画像撮像システム１０の主要部の機能ブロック図である。

図１において、距離画像・濃淡画像撮像システム１０は、基本的に、被写体１２（図２参照）の距離画像を撮像する距離画像撮像部１４ａ及び濃淡画像を撮影する濃淡画像撮像部１４ｂとして機能する撮像部１４と、撮像部１４で得られた撮像信号から距離画像と濃淡画像を生成する画像生成部１６と、画像生成部１６で生成された濃淡画像に対し、距離画像と濃淡画像の属性に基づき輪郭補正処理等の各種画像処理を行う画像処理部１８と、画像処理部１８を含む制御・処理部２０（図２参照）で生成された画像を記録する記録部２２と、その画像を表示する表示部２４と、その画像を外部に送信する送信部２６とを備える。なお、図１に示す画像生成部１６は、図２に示す画像生成・処理部１５の一部の機能を示している。

画像生成・処理部１５は、たとえばマイクロコンピュータにより構成される。マイクロコンピュータは、計算機であり、ＣＰＵ（中央処理装置）、メモリであるＲＯＭ（ＥＥＰＲＯＭも含む。）、ＲＡＭ（ランダムアクセスメモリ）、その他、Ａ／Ｄ変換器、Ｄ／Ａ変換器等の入出力装置、計時手段としてのタイマ等を有しており、ＣＰＵがＲＯＭに記録されているプログラムを読み出し実行することで制御・処理部２０、画像処理部１８、距離算出処理部４４、画像取込・タイミング発生部４０、並びに図１に示した画像生成部１６等の各種機能実現部して機能する。

図２に示すように、撮像部１４は、レンズ３１と、赤外線通過フィルタ３２と、インターライン型のＣＣＤセンサ３４と、赤外光照射部３６とから構成され、赤外線通過フィルタ３２がレンズ３１とＣＣＤセンサ３４との間の光軸上に配置されているとき、距離画像撮像部１４ａとして機能し、赤外線通過フィルタ３２が光軸上から退避され２点鎖線で示す位置にあるとき濃淡画像撮像部１４ｂとして機能する。赤外光照射部３６は、サイン波（正弦波）生成部としても機能し、赤外光を所定波長の周波数のサイン波で輝度変調して被写体１２に照射する。

画像生成・処理部１５は、制御・処理部２０の他、ＣＤＳ回路(Correlated Double Sampling Circuit)やＡ／Ｄ変換器を有する画像取込・タイミング発生部４０（画像取込部とタイミング発生部）と、画像フレームを２フレーム分記録するフレームメモリ４２と、タイミング制御・時間計測機能も有し画像取込・タイミング発生部４０と同期制御される距離算出処理部４４とを備える。制御・処理部２０は、画像処理部１８の他、カメラ制御部及びメモリ制御部としての機能を有する。

図２に示す距離画像・濃淡画像撮像システム１０において、濃淡画像は、ビデオカメラと同様に３０ｆｐｓ（フレーム／秒）毎に得られる。距離画像は、上記した特開２００６−１５３７７３号公報、特開２００６−４６９５９号公報にも記載されているように、赤外光照射部３６から照射され被写体１２から反射してくる正弦波変調赤外光の到達時間から距離を求めるＴＯＦ(Time of flight)方式を採用している。

なお、図１、図２に示す距離画像・濃淡画像撮像システム１０において、濃淡画像と距離画像を生成する際に、ＣＣＤセンサ３４から得られる撮像信号の複数のフレームから距離演算を行うシステムでもよく、ＣＣＤセンサ３４にＲ／Ｇ／Ｂ画素の他に距離画像専用の画素を配列しこの画素から距離演算を行うシステムとしてもよい。

また、図３の他の実施形態にかかる距離画像・濃淡画像撮像システム１０の機能ブロック図に示すように、撮像部１４を、レンズ３１とＣＣＤセンサ３４とからなる距離画像撮像部１４ａと、レンズ３１と赤外光照射部３６と赤外線通過フィルタ３２とＣＣＤセンサ３４とからなる濃淡画像撮像部１４ｂとの２つの撮像部に分けた構成とすることもできる。

図１に示すように、画像生成部１６は、距離画像生成部４６と濃淡画像生成部４８とから構成される。距離画像生成部４６は、背景を含む被写体１２に対する各画素が距離値を含む距離画像を生成して出力する。濃淡画像生成部４８は、背景を含む被写体１２に対する各画素値が階調値を含む濃淡画像を生成して出力する。

画像処理部１８は、距離画像生成部４６から取り込んだ距離画像の輪郭を抽出した距離輪郭画像を生成して出力する距離輪郭画像生成部５２と、濃淡画像生成部４８から取り込んだ濃淡画像の輪郭を抽出した濃淡輪郭画像を生成して出力する濃淡輪郭画像生成部５４とからなる輪郭画像生成部５０を備える。

画像処理部１８は、さらに、輪郭画像生成部５０により生成された距離輪郭画像と濃淡輪郭画像に基づいて詳細を後述する処理を行う輪郭有無判断部５６と、濃淡輪郭画像生成部５４により生成された濃淡輪郭画像を参照して距離画像の微分値を計算する距離画像微分値計算部５８ａと距離画像の距離値差を計算する距離画像距離値差計算部５８ｂと、濃淡輪郭画像生成部５４により生成された濃淡輪郭画像を参照して濃淡画像の微分値を計算する濃淡画像微分値計算部６０ａと、濃淡画像の階調値差を計算する濃淡画像階調値差計算部６０ｂとを備える。

ここで、距離画像微分値計算部５８ａと距離画像距離値差計算部５８ｂとで、距離画像微分値・距離値差計算部５８が構成され、濃淡画像微分値計算部６０ａと濃淡画像階調値差計算部６０ｂとで濃淡画像微分値・階調値差計算部６０が構成される。

さらに、画像処理部１８は、輪郭有無判断部５６、距離画像微分値・距離値差計算部５８及び濃淡画像微分値・階調値差計算部６０の処理結果に基づいて、濃淡画像生成部４８から取り込んだ濃淡画像の輪郭を補正する輪郭補正処理部６２を備える。

この発明の一実施形態が適用された距離画像・濃淡画像撮像システム１０は、基本的には以上のように構成され、かつ動作するものであり、次に画像処理部１８による動作についてフローチャートを参照して説明する。画像処理部１８の（ＣＰＵ）は、フローチャートによるプログラムを読み出して実行する。

第１実施例（輪郭補正処理の有無を距離画像の輪郭の有無により決定する。）
図４は、第１実施例に係るフローチャートである。

ステップＳ１において、距離輪郭画像生成部５２及び濃淡輪郭画像生成部５４は、それぞれ同一の被写体１２に対する各画素が距離値を含む距離画像を距離画像撮像部１４ａ及び距離画像生成部４６を通じて取得するとともに、各画素が階調値を含む濃淡画像を濃淡画像撮像部１４ｂ及び濃淡画像生成部４８を通じて取得する。

ここで、濃淡画像とは、カラー画像、白黒画像、輝度画像など、一般的にデジタルカメラなどの撮像装置によって得られる画像全般を指す。濃淡画像の各画素は階調値を有する。また、距離画像とは、ＴＯＦなどの距離計測方法によって得られる距離の２次元分布画像を表す。距離画像の各画素は距離値を有する。

ここでは、図５に示すように、撮像部１４（距離画像撮像部１４ａと濃淡画像撮像部１４ｂ）により、この撮像部１４に正対し、正面に星形の模様が黄色で描かれた緑色の直方体の箱を被写体１２として濃淡画像と距離画像を撮像する。被写体１２の背景は白とする。

図６Ａは、濃淡画像１００を示している。図６Ｃは、距離画像１０２を示している。距離画像１０２には、星形の模様には距離差がないことを原因として濃淡画像１００上に現れている星形の模様が存在しない点に留意する。なお、距離画像１０２には、距離値に応じた色を付けているが、ここでは、星形の模様が描かれた面の距離値には赤色が付けられている。背景の距離値には、白色を付けている。

次いでステップＳ２において、濃淡輪郭画像生成部５４は、濃淡画像１００から輪郭を抽出して図６Ｂに示す濃淡輪郭画像１０４を生成する。輪郭を抽出する方法は、対象画素と周辺領域との階調値差（画素値差）、例えば輝度差、微分値などを算出し、閾値を超えた値を輪郭として抽出することが一般的である。図６Ｂの濃淡輪郭画像１０４においては、図６Ａの濃淡画像１００から前記直方体の箱の周囲を表す矩形と星形が輪郭として抽出される。

また、ステップＳ２において、距離輪郭画像生成部５２は、距離画像１０２から輪郭を抽出して図６Ｄに示す距離輪郭画像１０６を生成する。輪郭を抽出する方法は、対象画素と周辺領域との距離値差（画素値差）、微分値などを算出し、閾値を超えた値を輪郭として抽出することが一般的である。図６Ｄの距離輪郭画像１０６においては、図６Ｃの距離画像１０２から前記直方体の箱の周囲と背景との間の距離値差に基づく矩形が輪郭として抽出される。

次いで、ステップＳ３において、輪郭有無判断部５６は、濃淡輪郭画像１０４の輪郭の一部を含む領域である輪郭含領域（以下、輪郭領域という。）１０８ａ、１０８ｂ等に座標位置が対応する距離輪郭画像１０６上の領域１１０ａ、１１０ｂでの輪郭の有無を判断する。図６Ｂ、図６Ｄから分かるように、濃淡輪郭画像１０４の輪郭領域１０８ａに対応する距離輪郭画像１０６上の領域１１０ａには輪郭はなく、濃淡輪郭画像１０４の輪郭領域１０８ｂに対応する距離輪郭画像１０６上の領域１１０ｂには輪郭があると判断される。以下、濃淡輪郭画像１０４の全ての輪郭領域（大きさを任意に選択可能な微小領域）について対応する距離輪郭画像１０６上の領域での輪郭の有無を判断する（確認する）。

次に、ステップＳ３の判断結果に応じて、輪郭補正処理部６２は、濃淡画像１００に対する輪郭補正処理を行う。

ここでの輪郭補正処理は、濃淡輪郭画像１０４の輪郭領域１０８ｂに対応する距離輪郭画像１０６上の領域１１０ｂに輪郭があるので、ステップＳ３の判断が肯定的となり、ステップＳ４において、輪郭補正処理部６２は、濃淡画像１００の輪郭を強調する処理（処理Ａとする。）を行う。その一方、濃淡輪郭画像１０４の輪郭領域１０８ａに対応する距離輪郭画像１０６上の領域１１０ａには輪郭がないので、ステップＳ３の判断が否定的となり、ここでは輪郭について何も補正しない処理（処理Ｂとする。）を行う。

図７Ａは、処理Ａによる輪郭補正処理後の濃淡画像１００Ａを示している。濃淡画像１００Ａでは、元の濃淡画像１００に対して矩形の輪郭１１４が太く強調され、星形の輪郭１１６がそのままにされていることが分かる。この輪郭補正処理を施した濃淡画像１００Ａにより物体の境界を強調した情報を提供できる。

また、処理Ａとして、すなわち、濃淡輪郭画像１０４の輪郭領域１０８ｂに対応する距離輪郭画像１０６上の領域１１０ｂに輪郭がある場合、図７Ｂの輪郭補正処理後の濃淡画像１００Ｂに示すように、輪郭１１４を他の色にすることもできる。例えば、この濃淡画像１００Ｂにおいて、星形と矩形は、それぞれ元の黄色、緑色であるが、矩形の輪郭は、目立つ赤色としている。

このように第１実施例によれば、濃淡画像１００（図６Ａ）から抽出した濃淡輪郭画像１０４（図６Ｂ）と、距離画像１０２（図６Ｃ）から抽出した距離輪郭画像１０６（図６Ｄ）の双方の輪郭が一致した濃淡画像１００の輪郭１１４（図７Ａ、図７Ｂ参照）に対して輪郭補正処理を行い輪郭補正処理後の濃淡画像１００Ａ、１００Ｂを生成するようにしているので、濃淡画像１００Ａ、１００Ｂ上で被写体１２（図５参照）の境界を際だたせる（強調する）ことが可能であり、被写体１２の境界に通常の輪郭補正処理とは異なる輪郭補正処理を行うことができる。したがって、例えば、物体認識用途に適用して好適である。

第２実施例｛輪郭補正処理の程度（度合い）を距離画像の微分値又は距離値差の関数等とする。｝
図８は、第２実施例に係るフローチャートである。この第２実施例では、図９に示すように、正面に黄色の星形の模様が描かれた緑色の直方体の箱２１２とより遠方に置かれた小さめの緑色の直方体の箱２１３を、撮像部１４に正対する被写体１２ａとしている。

まず、ステップＳ１１において、ステップＳ１と同様に、被写体１２ａに対する濃淡画像を濃淡画像撮像部１４ｂ及び濃淡画像生成部４８を通じて取得するとともに、被写体１２ａに対する距離画像を距離画像撮像部１４ａ及び距離画像生成部４６を通じて取得する。

図１０Ａは、取得した濃淡画像２１４を示している。図１０Ｃは、取得した距離画像２１８を示している。距離画像２１８においては、距離に応じて表示色を異なる色としている。箱２２０を赤、箱２２４をオレンジ、背景を白としている。

次いで、ステップＳ１２において、濃淡輪郭画像生成部５４により濃淡画像２１４の輪郭を抽出する。図１０Ｂは、抽出された濃淡輪郭画像２１６を示している。図１０Ｂの濃淡輪郭画像２１６においては、図１０Ａの濃淡画像２１４から大きな矩形と、星形と、小さな矩形とが輪郭として抽出されていることが分かる。

次いで、ステップＳ１３において、距離画像微分値計算部５８ａで、濃淡輪郭画像２１６の輪郭の一部を含む領域である輪郭領域２２６ａ、２２６ｂ、２２６ｃ、２２６ｄ等に座標位置が対応する距離画像２１８上の領域の微分値ｄｉ（ｄｉ＝距離値差／位置差＝Δｄ／Δｐ、例えば、距離値差Δｄは隣接する画素が有する距離値の差、位置差Δｐは隣接する画素の画素位置座標値の差とする。）を計算する。ここで、位置差Δｐは、任意に選択可能な微小値である。

図１０Ｄは、距離画像２１８の微分値（距離画像微分値）ｄｉを輪郭の太さで表した距離微分画像２３２を示している。

図１０Ｂ、図１０Ｄにおいて、輪郭領域２２６ｂに対応する位置ｘ２の領域２３０ｂでの距離画像微分値ｄ２はｄ２＝０、輪郭領域２２６ｃに対応する位置ｘ３の領域２３０ｃでの距離画像微分値ｄ３は、輪郭領域２２６ａ、２２６ｄに対応する位置ｘ１、ｘ４での距離画像微分値ｄ１、ｄ４より小さい値になっていることが分かる。実際上、領域２３０ａでの距離画像微分値ｄ１は、領域２３０ｄでの距離画像微分値ｄ４より背景との距離差が大きいので（図９参照）僅かに大きい（ｄ１＞ｄ４＞ｄ３＞ｄ２）。

以下、濃淡輪郭画像２１６の全ての輪郭領域（輪郭含領域）について座標位置が対応する距離画像２１８上の領域での距離画像微分値ｄｉを計算する。

次いで、ステップＳ１４において、輪郭補正処理部６２は、濃淡画像２１４（図１０Ａ参照）に対して、ステップＳ１３で算出された距離画像２１８に対する距離画像微分値ｄｉに応じた輪郭補正処理を行う。

この場合、輪郭補正処理部６２で行われる輪郭補正処理としては、例として２つの場合が考えられる。

１つは、距離画像微分値ｄｉの算出結果によって、結果を選ぶという処理である。例えば、図１１に示すような距離画像微分値・色相選択テーブル２３８を利用し、距離画像微分値ｄｉによって、濃淡画像２１４の輪郭の色相を色相Ａ〜Ｄから選択する輪郭補正処理とする。

もう１つは、距離画像微分値ｄｉの算出結果を関数式に代入して計算を行い、計算結果を濃淡画像２１４に反映させる輪郭補正処理とする。

図１２は、図１０Ａに示した濃淡画像２１４に対して、距離画像微分値ｄｉの計算結果を反映した輪郭補正処理後の濃淡画像２１４Ａの例を示している。この例では、濃淡画像２１４の輪郭について、距離画像２１８に対する距離画像微分値ｄｉの大きさに応じて輪郭を強調し（距離画像微分値ｄｉがｄ３を上回る値である場合には太くし）、距離画像微分値ｄｉがある値以下の値（ここでは、距離画像微分値ｄｉがｄ３を下回る値）の場合にはそのままにするという処理にしている。これを、式であらわすと、濃淡画像２１４の各画素について下記のようになる。
処理後濃淡画像の輪郭＝処理前濃淡画像の輪郭＋定数×距離画像微分値

図１３は、距離画像微分値ｄｉの計算結果を濃淡画像２１４に反映させる別の例での輪郭補正処理後の濃淡画像２１４Ｂを示している。

この図１３例の輪郭補正処理後の濃淡画像２１４Ｂでは、距離画像２１８に対する距離画像微分値ｄｉに応じて濃淡画像２１４の輪郭の色を変化させるという処理を行っている。式で表すと、下記のようになる。
処理後濃淡画像の輪郭の色相＝定数×距離画像微分値

距離画像微分値ｄｉが大きい輪郭（ここでは最も外側の輪郭）は赤、距離画像微分値ｄｉが小さい輪郭（大きな矩形と小さな矩形が接している部分）は黄、距離画像微分値ｄｉがゼロ値の輪郭（星形）はもとのままとしている。

これらの処理によって、物体の境界を滑らかに強調した情報をユーザに提示することができる。処理の関数式については、上の２つの例に限らない。

なお、上例では、距離画像微分値ｄｉによる処理例を示したが、濃淡輪郭画像２１６の輪郭の一部を含む領域である輪郭領域（輪郭含領域）２２６ａ、２２６ｂ、２２６ｃ、２２６ｄ等に座標位置が対応する距離画像２１８上の領域の距離値差Δｄを、距離画像距離値差計算部５８ｂにより計算することで同様の輪郭補正処理を行うことができる。

このように第２実施例によれば、濃淡輪郭画像２１６の輪郭領域（輪郭の一部を含む領域）２２６ａ〜２２６ｄ等に座標位置が対応する距離画像２１８上の領域（距離微分画像２３２で説明した領域２３０ａ〜２３０ｄ等と同一位置の領域）での輪郭を微分した距離画像微分値ｄｉ又は前記距離画像２１８上の領域での輪郭を構成する画素の距離値差Δｄを計算し、計算した前記距離画像微分値ｄｉ又は前記距離値差Δｄに応じて、濃淡画像２１４の輪郭に対して輪郭補正処理を行うようにしているので、例えば物体の境界に適当な情報を付加することができる。また、連続的な情報を与えることができる。したがって、例えば物体認識用途に適用して好適である。

第３実施例｛輪郭処理の程度（度合い）を距離画像と濃淡画像の微分値又は差（距離値差又は階調値差）の関数等とする。｝
図１４は、第３実施例に係るフローチャートである。第２実施例と異なる点は、濃淡画像２１４（図１０Ａ）の輪郭補正処理に距離画像２１８（図１０Ｃ）に対する距離画像微分値ｄｉだけでなく、濃淡画像２１４に対する濃淡画像微分値ｄｊも反映させたことである。

ステップＳ２１、ステップＳ２２、及びステップＳ２４の処理は、上述したステップＳ１１、ステップＳ１２、及びステップＳ１３の処理と同一である。

ステップＳ２３では、濃淡画像微分値計算部６０ａにより、図１０Ｂの濃淡輪郭画像２１６の輪郭の一部を含む領域である輪郭領域２２６ａ〜２２６ｄ等に対応する濃淡画像２１４上の領域に対する濃淡画像微分値ｄｊ（ｄｊ＝階調値差／位置差＝Δｇ／Δｐ、例えば、階調値差Δｇは、濃淡画像２１４を構成する画素中、隣接する画素の階調値の差であり、位置差Δｐは、隣接する画素の画素位置差とする。）を計算する。

図１５Ａ〜図１５Ｅは、濃淡画像２１４（濃淡輪郭画像２１６）の輪郭領域２２６ａ〜２２６ｄ等に対応する濃淡画像２１４上の領域に対する濃淡画像微分値ｄｊと、濃淡画像２１４（濃淡輪郭画像２１６）の輪郭領域２２６ａ〜２２６ｄ等に対応する距離画像２１８上の領域の距離画像微分値ｄｉ等の説明図である。

図１５Ａは、濃淡画像２１４と濃淡輪郭画像２１６と距離画像２１８を合わせたような模式的な合成画像２５０を示している。

図１５Ｂは、ステップＳ２３の処理により生成された、合成画像２５０の一点鎖線２５２の位置上における濃淡画像２１４に対する濃淡画像微分値ｄｊを示している。ここでは、一点鎖線２５２が黄色の星形と交わる位置ｘ２、ｘ３で濃淡画像微分値ｄｊが最も大きく、被写体１２の緑色の箱の最も外側の輪郭と背景との間で交わる位置ｘ１、ｘ５で次に濃淡画像微分値ｄｊが大きく、緑の箱同士が交わる位置ｘ４で濃淡画像微分値ｄｊが最も小さくなるものとしている。その他の位置（隣接する画素の階調値差がゼロ値の位置）での濃淡画像微分値ｄｊはゼロ値である。

図１５Ｃは、ステップＳ２４の距離画像微分値計算部５８ａによる処理により生成された、合成画像２５０の一点鎖線２５２の位置上における距離画像２１８に対する距離画像微分値ｄｉを示している。上述したように、背景と接する位置ｘ１、ｘ５での距離画像微分値ｄｉが最も大きく、次に、箱同士が接する位置ｘ４での距離画像微分値ｄｉが大きい。その他の位置（隣接する画素の距離値差がゼロ値の位置）での距離画像２１８の微分値ｄｉはゼロ値である。

次いで、ステップＳ２５において、ステップＳ２３とステップＳ２４で算出された濃淡画像２１４に対する濃淡画像微分値ｄｊ及び距離画像２１８に対する距離画像微分値ｄｉを用いて濃淡画像２１４の輪郭領域に対する輪郭補正処理を行う。

この輪郭補正処理としては、大きく２つが考えられる。

１つは、算出結果によって、結果を選ぶという処理である。この例を図１６に示す。この図１６例の輪郭補正処理では、距離画像微分値ｄｉと濃淡画像微分値ｄｊによって、濃淡画像２１４中の輪郭強調度Ａ〜Ｉを選択する処理としている。この図１６例の輪郭補正処理は、輪郭強調度Ａ〜Ｉを、それぞれ、色相Ａ´〜Ｉ´と置き換えてもよい。

もう１つは、算出結果を関数式に代入して計算を行い、計算結果を濃淡画像２１４の輪郭に反映させるという処理である。下記の例１、例２による関数式を利用して処理を行うことができる。
例１： 処理後濃淡画像の輪郭＝処理前濃淡画像の輪郭＋定数×（定数×距離画像の微分値×濃淡画像微分値）^1/2
例２： 処理後濃淡画像の輪郭＝処理前濃淡画像の輪郭＋定数×（定数×距離画像の微分値×濃淡画像微分値）÷２

例１、例２の関数式によれば、濃淡画像２１４に対する濃淡画像微分値ｄｊと距離画像２１８に対する距離画像微分値ｄｉを概ね平均化した微分値（図１５Ｄ参照）｛平均値＝（ｄｊ＋ｄｉ）／２｝で、濃淡画像２１４の輪郭を処理することになる。

これにより、この第３実施例では、第２実施例に比較して、濃淡画像２１４の境界をより強調しながらも実際の見た目に近い輪郭補正処理を行うことができる。

上記した第３実施例の説明では、濃淡画像２１４と距離画像２１８の両方の微分値ｄｉ、ｄｊによる輪郭補正処理を示したが、濃淡画像２１４と距離画像２１８の両方の差（階調値差と距離値差）を用いる輪郭補正処理、あるいは片方が差（距離値差又は階調値差）でもう一方が微分値（濃淡画像微分値ｄｊ又は距離画像微分値ｄｉ）を用いる輪郭補正処理とすることもできる。

この場合、濃淡画像階調値差計算部６０ｂで、図１０Ｂの濃淡輪郭画像２１６の輪郭の一部を含む領域である輪郭領域（輪郭含領域）２２６ａ、２２６ｂ、２２６ｃ、２２６ｄ等に対応する濃淡画像２１４上の領域の階調値差Δｇ（例えば、隣接する画素の階調値の差）を計算する。

このように第３実施例によれば、同一の被写体１２ａに対して各画素が距離値を含む距離画像２１８と、各画素が階調値を含む濃淡画像２１４とを取り込み、さらに、濃淡画像２１４の輪郭を抽出した濃淡輪郭画像２１６を生成する。次いで、濃淡画像２１４の輪郭の一部を含む領域（輪郭領域２２６ａ〜２２６ｄ等）での濃淡画像微分値ｄｊ又は階調値差Δｇを計算するとともに、濃淡輪郭画像２１６の輪郭の一部を含む領域に対応する距離画像２１８上の領域での距離画像微分値ｄｉ又は前記領域での距離値差Δｄを計算している。さらに、計算した濃淡画像２１４上の前記濃淡画像微分値ｄｊ又は前記階調差Δｇ、及び計算した距離画像２１８上の前記距離画像微分値ｄｉ又は距離値差Δｄを利用して、濃淡画像２１４の輪郭に対して輪郭補正処理を行うようにしているので、例えば物体の境界情報を濃淡画像２１４の輪郭に自然な感じで付加することができる。また、濃淡画像２１４の情報を残しているので、自然な立体感を表すことができるという効果が達成される。なお、同一の被写体の概念には、被写体群が含まれる。ここで、被写体群を１つの被写体にみなすとは、例えば、図９例では、２つの箱２１２、２１３が組み合わさって一つの被写体１２ａが構成されているが、離れた位置にある２つの箱を視線方向（撮像部１４の光軸方向）に重なるように見た場合、これら２つの箱を１つの被写体とみなすことができる。

上記した第１〜第３実施例を利用することにより、濃淡画像１００、２１４に対し用途等に応じて適切な輪郭補正処理を行うことができる。

また、上記のフローチャートによる処理は、コンピュータにより読み出して実行するプログラムとして利用できる。

さらに、このプログラムを格納した記録媒体として利用できる。

なお、この発明は、上述の実施形態に限らず、この明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。

この発明の一実施形態に係る濃淡画像の輪郭補正処理方法が適用された距離画像・濃淡画像撮像システムの主要部の機能ブロック図である。 この発明の一実施形態に係る濃淡画像の輪郭補正処理方法が適用された距離画像・濃淡画像撮像システムのハードウエア構成を示すブロック図である。 他の実施形態に係る距離画像・濃淡画像撮像システムのハードウエア構成を示すブロック図である。 第１実施例の動作説明に供されるフローチャートである。 第１実施例の被写体の例を示す説明図である。 図６Ａは濃淡画像の説明図、図６Ｂは濃淡輪郭画像の説明図、図６Ｃは距離画像の説明図、図６Ｄは距離輪郭画像の説明図である。 図７Ａは、第１実施例に係る一例の輪郭補正処理後の濃淡画像の説明図、図７Ｂは、他の例の輪郭補正処理後の濃淡画像の説明図である。 第２実施例の動作説明に供されるフローチャートである。 第２実施例の被写体の例を示す説明図である。 図１０Ａは濃淡画像の説明図、図１０Ｂは濃淡輪郭画像の説明図、図１０Ｃは距離画像の説明図、図１０Ｄは距離微分画像の説明図である。 微分値色相選択テーブルの説明図である。 第２実施例に係る一例の輪郭補正処理後の濃淡画像の説明図である。 第２実施例に係る他の例の輪郭補正処理後の濃淡画像の説明図である。 第３実施例の動作説明に供されるフローチャートである。 図１５Ａは、濃淡画像と濃淡輪郭画像と距離画像を合わせて描いた模式図、図１５Ｂは濃淡画像の微分値を示す説明図、図１５Ｃは距離画像の微分値を示す説明図、図１５Ｄは両微分値の処理例の説明図、図１５Ｅは位置を示す説明図である。 距離微分値と濃淡微分値による輪郭補正処理の説明図である。

符号の説明

１０…距離画像・濃淡画像撮像システム １２、１２ａ…被写体
１４…撮像部 １４ａ…距離画像撮像部
１４ｂ…濃淡画像撮像部 １５…画像生成・処理部
１６…画像生成部 １８…画像処理部
２０…制御・処理部 ３１…レンズ
３２…赤外線通過フィルタ ３４…ＣＣＤセンサ
３６…赤外光照射部 ４４…距離算出処理部
４６…距離画像生成部 ４８…濃淡画像生成部
５０…輪郭画像生成部 ５２…距離輪郭画像生成部
５４…濃淡輪郭画像生成部 ５６…輪郭有無判断部
５８…微分値・距離値差計算部
６０…微分値・画素値（距離値と階調値）差計算部
６２…輪郭補正処理部 １００、２１４…濃淡画像
１０２、２１８…距離画像 １０４、２１６…濃淡輪郭画像
１０６…距離輪郭画像
１０８ａ、１０８ｂ、２２６ａ、２２６ｂ…輪郭領域

Claims (10)

1. コンピュータにより行う画像処理方法において、
   同一の被写体に対して、各画素が距離値を含む距離画像の輪郭を抽出した距離輪郭画像と、各画素が階調値を含む濃淡画像の輪郭を抽出した濃淡輪郭画像とを生成する過程と、
   前記濃淡輪郭画像の輪郭の一部を含む領域に座標位置が対応する前記距離輪郭画像上の領域での輪郭の有無を判断する過程と、
   輪郭が有ると判断した場合には、前記濃淡画像の輪郭に対して輪郭補正処理を行う過程と、
   を備えることを特徴とする濃淡画像の輪郭補正処理方法。
2. コンピュータにより行う画像処理方法において、
   同一の被写体に対して、各画素が距離値を含む距離画像と、各画素が階調値を含む濃淡画像とを取り込む過程と、
   前記濃淡画像の輪郭を抽出した濃淡輪郭画像を生成する過程と、
   前記濃淡輪郭画像の輪郭の一部を含む領域に座標位置が対応する前記距離画像上の領域での微分値又は距離値差を計算する過程と、
   計算した前記距離画像上の領域での前記微分値又は前記距離値差に応じて、前記濃淡画像の輪郭に対して輪郭補正処理を行う過程と、
   を備えることを特徴とする濃淡画像の輪郭補正処理方法。
3. 請求項２記載の濃淡画像の輪郭補正処理方法において、
   前記の、前記濃淡輪郭画像の輪郭の一部を含む領域に座標位置が対応する前記距離画像上の領域での微分値又は前記距離画像上の領域での距離値差を計算する過程では、
   さらに、前記濃淡輪郭画像の輪郭の一部を含む領域に座標位置が対応する前記濃淡画像上の領域での微分値又は階調値差を計算し、
   前記の、計算した前記距離画像上の領域での前記微分値又は距離値差に応じて、前記濃淡画像の輪郭に対して輪郭補正処理を行う過程では、
   計算した前記距離画像上の領域での前記微分値又は前記距離値差と、計算した前記濃淡画像上の領域での前記微分値又は前記階調値差とを利用して、前記濃淡画像の輪郭に対して輪郭補正処理を行う
   ことを特徴とする濃淡画像の輪郭補正処理方法。
4. 請求項１〜３のいずれか１項に記載の濃淡画像の輪郭補正処理方法において、
   前記濃淡画像の前記輪郭に対しての前記輪郭補正処理は、
   前記輪郭を形成する画素の階調値又は色を変化させる
   ことを特徴とする濃淡画像の輪郭補正処理方法。
5. 請求項１〜４のいずれか１項に記載の濃淡画像の輪郭補正処理方法を構成する各過程をコンピュータにより読み出して実行するプログラム。
6. 請求項５記載のプログラムを格納した記録媒体。
7. 同一の被写体に対して、各画素が距離値を含む距離画像の輪郭を抽出した距離輪郭画像と、各画素が階調値を含む濃淡画像の輪郭を抽出した濃淡輪郭画像とを生成する輪郭画像生成部と、
   前記濃淡輪郭画像の輪郭の一部を含む領域に座標位置が対応する前記距離輪郭画像上の領域での輪郭の有無を判断する輪郭有無判断部と、
   輪郭が有ると判断した場合には、前記濃淡画像の輪郭に対して輪郭補正処理を行う輪郭補正処理部と、
   を備えることを特徴とする濃淡画像の輪郭補正処理装置。
8. 同一の被写体に対して、各画素が距離値を含む距離画像と、各画素が階調値を含む濃淡画像とを取り込む画像取込部と、
   前記濃淡画像の輪郭を抽出した濃淡輪郭画像を生成する濃淡輪郭画像生成部と、
   前記濃淡輪郭画像の輪郭の一部を含む領域に座標位置が対応する前記距離画像上の領域での微分値又は距離値差を計算する距離画像微分値・距離値差計算部と、
   計算した前記距離画像上の領域での前記微分値又は前記距離値差に応じて、前記濃淡画像の輪郭に対して輪郭補正処理を行う輪郭補正処理部と、
   を備えることを特徴とする濃淡画像の輪郭補正処理装置。
9. 請求項８記載の濃淡画像の輪郭補正処理装置において、
   さらに、前記濃淡輪郭画像の輪郭の一部を含む領域に座標位置が対応する前記濃淡画像上の領域での微分値又は階調値差を計算する濃淡画像微分値・階調値差計算部とを備え、
   前記輪郭補正処理部は、計算した前記距離画像上の領域での前記微分値又は前記距離値差と、計算した前記濃淡画像上の領域での前記微分値又は前記階調値差とに応じて、前記濃淡画像の輪郭に対して輪郭補正処理を行う
   ことを特徴とする濃淡画像の輪郭補正処理装置。
10. 請求項７〜９のいずれか１項に記載の濃淡画像の輪郭補正処理装置において、
    前記輪郭補正処理部による前記濃淡画像の前記輪郭に対しての前記輪郭補正処理は、
    前記輪郭を形成する画素の階調値又は色を変化させる
    ことを特徴とする濃淡画像の輪郭補正処理装置。

Images