JP2002117390A - 画像処理装置 - Google Patents
画像処理装置Info
- Publication number
- JP2002117390A JP2002117390A JP2000306357A JP2000306357A JP2002117390A JP 2002117390 A JP2002117390 A JP 2002117390A JP 2000306357 A JP2000306357 A JP 2000306357A JP 2000306357 A JP2000306357 A JP 2000306357A JP 2002117390 A JP2002117390 A JP 2002117390A
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- dimensional
- contour
- initial value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】対象物の輪郭を求めるにあたって正確な初期値
を与えることができる画像処理装置を提供する。 【解決手段】対象物を撮影して２次元距離画像を取り込
む第二の撮像素子１０２と、対象物を撮影して２次元輝
度画像を取り込む第一の撮像素子１０１と、距離画像の
距離情報を用いて距離画像から抽出した対象物に対応す
る部分に、所定の余裕幅を付加した画像を初期値とし
て、輝度画像上で対象物の輪郭を求めるＳｎａｋｅｓ１
０８とを有する。
を与えることができる画像処理装置を提供する。 【解決手段】対象物を撮影して２次元距離画像を取り込
む第二の撮像素子１０２と、対象物を撮影して２次元輝
度画像を取り込む第一の撮像素子１０１と、距離画像の
距離情報を用いて距離画像から抽出した対象物に対応す
る部分に、所定の余裕幅を付加した画像を初期値とし
て、輝度画像上で対象物の輪郭を求めるＳｎａｋｅｓ１
０８とを有する。
Description
【０００１】
【発明の属する技術分野】本発明は画像処理装置に関す
るものである。
るものである。
【０００２】
【従来の技術】シーン（背景あるいは地）の中の対象物
（図形）を弁別する、あるいはセグメンテーションする
ことは人間にとっては容易な作業だが、これをマシーン
で自動的に行わせることは困難である。人間の視覚系で
は、入力された刺激に対する意味的な情報処理は行なわ
れず、図、地の分離を行った後に図領域の意味情報、物
理情報をとっているのではないかという推測に基づいて
画像領域の色及びコントラストを特長量として図領域を
抽出する提案がなされている。また撮像手段の他に距離
画像を取得できる手段を具備している場合には、距離画
像を用いて図、地の分離を行うことも行なわれている。
（図形）を弁別する、あるいはセグメンテーションする
ことは人間にとっては容易な作業だが、これをマシーン
で自動的に行わせることは困難である。人間の視覚系で
は、入力された刺激に対する意味的な情報処理は行なわ
れず、図、地の分離を行った後に図領域の意味情報、物
理情報をとっているのではないかという推測に基づいて
画像領域の色及びコントラストを特長量として図領域を
抽出する提案がなされている。また撮像手段の他に距離
画像を取得できる手段を具備している場合には、距離画
像を用いて図、地の分離を行うことも行なわれている。
【０００３】言い方を変えると、抽出された図形の縁あ
るいは境界線をどう定めるかが課題で、この手段の一つ
にＳｎａｋｅｓと呼ばれるソフトウェアがある。Ｓｎａ
ｋｅｓは米国特許第６０７８６８８号公報のカラム１、
第４０−４１行において引用されている。これは、画像
の輪郭の滑らかさあるいは形状を表す内部エネルギと画
像濃度の勾配を表わす外部エネルギとの線型和で表わさ
れるエネルギ関数の極小値を求める問題と解釈されてい
る。
るいは境界線をどう定めるかが課題で、この手段の一つ
にＳｎａｋｅｓと呼ばれるソフトウェアがある。Ｓｎａ
ｋｅｓは米国特許第６０７８６８８号公報のカラム１、
第４０−４１行において引用されている。これは、画像
の輪郭の滑らかさあるいは形状を表す内部エネルギと画
像濃度の勾配を表わす外部エネルギとの線型和で表わさ
れるエネルギ関数の極小値を求める問題と解釈されてい
る。
【０００４】
【数１】
【０００５】ここにｖ（ｓ）は画像の輪郭線、Ｅint は
輪郭の内部エネルギで、形状に関するエネルギともいわ
れる。Ｅimage は画像エネルギで輪郭上の画素における
画像濃度の一次微分の和が大きいほど値が小さくなる。
ｗimage は重み付係数を表わす。
輪郭の内部エネルギで、形状に関するエネルギともいわ
れる。Ｅimage は画像エネルギで輪郭上の画素における
画像濃度の一次微分の和が大きいほど値が小さくなる。
ｗimage は重み付係数を表わす。
【０００６】また、米国特許６，０７８，６８８号で
は、イメージセグメンテーションにおいて、
は、イメージセグメンテーションにおいて、
【０００７】
【数２】
【０００８】を評価関数として選んでいる。ここにｃｏ
ｓｔ（Ｐ）は輪郭として指定した経路の長さを表わし、
画像濃度の勾配の関数となっている。ｗｅｉｇｈｔ
（Ｐ）は指定した経路で囲まれた面積に相当する。この
比ζを極小にするように経路を選ぶ。
ｓｔ（Ｐ）は輪郭として指定した経路の長さを表わし、
画像濃度の勾配の関数となっている。ｗｅｉｇｈｔ
（Ｐ）は指定した経路で囲まれた面積に相当する。この
比ζを極小にするように経路を選ぶ。
【０００９】図、地の分離や、抽出された図形の縁の処
理は、対象物をマシーンが認識し、あるいはこれを人間
に提示してインタラクティブに評価を行わせる場合、さ
らにマシーン単独で弁別・認識し、あらかじめ定められ
た基準と比較して自動的に判断を行わせる場合などのニ
ーズに答えようとするときに重要である。
理は、対象物をマシーンが認識し、あるいはこれを人間
に提示してインタラクティブに評価を行わせる場合、さ
らにマシーン単独で弁別・認識し、あらかじめ定められ
た基準と比較して自動的に判断を行わせる場合などのニ
ーズに答えようとするときに重要である。
【００１０】たとえばセキュリティ用の監視カメラで
は、パッシブＩＲ（赤外線）センサや対向型赤外センサ
が用いられているが、点による監視から面による監視に
移行しつつある。課題としては、たとえば人（侵入者）
とねずみの弁別が上げられるが、検出物の大きさを判別
するには画像以外に距離情報を利用することが有効で、
画像の高速処理のため一次元画像センサをステレオで用
いることが試みられている。
は、パッシブＩＲ（赤外線）センサや対向型赤外センサ
が用いられているが、点による監視から面による監視に
移行しつつある。課題としては、たとえば人（侵入者）
とねずみの弁別が上げられるが、検出物の大きさを判別
するには画像以外に距離情報を利用することが有効で、
画像の高速処理のため一次元画像センサをステレオで用
いることが試みられている。
【００１１】あるいはまた、車の衝突時にエアバッグを
膨らませて生命の防護をはかることが行なわれている
が、この時たとえば助手席に取付けられたエアバッグを
開くべきか否かが問題で、助手席に荷物が置かれている
場合には開く必要がなく、開いてしまうとこれを除去し
新たに設置する費用がかかるため、荷物か人間（生体）
かの弁別が必要で、更には子供か大人か、どの位置にい
るかといった判断が、エアバッグの膨張時の危険性を回
避するために求められ、これに応じてエアバッグを開く
タイミングを制御することも検討されている。このため
座席に埋め込まれたウエイトセンサや点測距センサなど
が用いられている。
膨らませて生命の防護をはかることが行なわれている
が、この時たとえば助手席に取付けられたエアバッグを
開くべきか否かが問題で、助手席に荷物が置かれている
場合には開く必要がなく、開いてしまうとこれを除去し
新たに設置する費用がかかるため、荷物か人間（生体）
かの弁別が必要で、更には子供か大人か、どの位置にい
るかといった判断が、エアバッグの膨張時の危険性を回
避するために求められ、これに応じてエアバッグを開く
タイミングを制御することも検討されている。このため
座席に埋め込まれたウエイトセンサや点測距センサなど
が用いられている。
【００１２】
【発明が解決しようとする課題】画像領域の色およびコ
ントラストを特長量として図領域を抽出する方式は、自
動化に向けての新しい試みだが、ソフトウェア処理によ
り抽出する他の方式と同様に、対象物によりうまく処理
される場合と困難な場合とがある。
ントラストを特長量として図領域を抽出する方式は、自
動化に向けての新しい試みだが、ソフトウェア処理によ
り抽出する他の方式と同様に、対象物によりうまく処理
される場合と困難な場合とがある。
【００１３】上記したＳｎａｋｅｓは、評価関数である
エネルギ関数の最小値ではなく、与えられた初期値の近
傍にある極小値を求めることから、できるだけ正確な初
期値を必要とする。いいかえると、ユーザが介在してイ
ンタラクティブに初期輪郭をたとえばマウスなどのＧＵ
Ｉを用いて与えるのが本来の使い方である。これをマシ
ーンに行わせるためにソフトウェア処理により初期輪郭
を与えることも試みられているが、対象物により困難な
場合も多い。またＳｎａｋｅｓはもともと動画像に適し
ている。これは移動前の画像を初期値として利用できる
ことにあるが、この場合も最初の画像については、初期
値を与えることが必要である。
エネルギ関数の最小値ではなく、与えられた初期値の近
傍にある極小値を求めることから、できるだけ正確な初
期値を必要とする。いいかえると、ユーザが介在してイ
ンタラクティブに初期輪郭をたとえばマウスなどのＧＵ
Ｉを用いて与えるのが本来の使い方である。これをマシ
ーンに行わせるためにソフトウェア処理により初期輪郭
を与えることも試みられているが、対象物により困難な
場合も多い。またＳｎａｋｅｓはもともと動画像に適し
ている。これは移動前の画像を初期値として利用できる
ことにあるが、この場合も最初の画像については、初期
値を与えることが必要である。
【００１４】米国特許６，０７８，６８８号では、自動
化の方向を更に進めたものだが、適当な初期輪郭を与え
ないと処理時間を短縮できないことは上記と同様であ
る。
化の方向を更に進めたものだが、適当な初期輪郭を与え
ないと処理時間を短縮できないことは上記と同様であ
る。
【００１５】セキュリティ用の監視カメラでは、移動す
る対象物の弁別、特にその大きさを判別することが求め
られる。このためには、一次元ではなく、二次元の画像
を用いてリアルタイムに判断し、その結果を管理人に提
供することが求められる。このためには、判断した結果
とともに、それに到った対象物の抽出結果を鮮明な画像
として提供することが求められる。
る対象物の弁別、特にその大きさを判別することが求め
られる。このためには、一次元ではなく、二次元の画像
を用いてリアルタイムに判断し、その結果を管理人に提
供することが求められる。このためには、判断した結果
とともに、それに到った対象物の抽出結果を鮮明な画像
として提供することが求められる。
【００１６】車の助手席に取付けられたエアバッグの始
動の判断では、ウエイトセンサや点測距センサなどの間
接的センサあるいはそれらの組み合わせでは誤動作の危
険が回避できず、エアバッグの信頼性に見合った確度が
得られていない。
動の判断では、ウエイトセンサや点測距センサなどの間
接的センサあるいはそれらの組み合わせでは誤動作の危
険が回避できず、エアバッグの信頼性に見合った確度が
得られていない。
【００１７】本発明はこのような課題に着目してなされ
たものであり、その目的とするところは、対象物の輪郭
を求めるにあたって正確な初期値を与えることができる
画像処理装置を提供することにある。
たものであり、その目的とするところは、対象物の輪郭
を求めるにあたって正確な初期値を与えることができる
画像処理装置を提供することにある。
【００１８】
【課題を解決するための手段】上記の目的を達成するた
めに、第１の発明は画像処理装置であって、対象物を撮
影して２次元距離画像を取り込む手段と、対象物を撮影
して２次元輝度画像を取り込む手段と、上記距離画像の
距離情報を用いて上記距離画像から抽出した上記対象物
に対応する部分に、所定の余裕幅を付加した画像を初期
値として、上記輝度画像上で上記対象物の輪郭を求める
手段とを有する。
めに、第１の発明は画像処理装置であって、対象物を撮
影して２次元距離画像を取り込む手段と、対象物を撮影
して２次元輝度画像を取り込む手段と、上記距離画像の
距離情報を用いて上記距離画像から抽出した上記対象物
に対応する部分に、所定の余裕幅を付加した画像を初期
値として、上記輝度画像上で上記対象物の輪郭を求める
手段とを有する。
【００１９】また、第２の発明は、第１の発明に係る画
像処理装置において、上記距離画像は、アクティブな照
明手段を具備した感度変調機能素子又は、ステレオ撮像
素子を用いて得られる。
像処理装置において、上記距離画像は、アクティブな照
明手段を具備した感度変調機能素子又は、ステレオ撮像
素子を用いて得られる。
【００２０】また、第３の発明は、第１又は第２の発明
に係る画像処理装置において、上記求めた対象物の輪郭
の閉曲線内の面積と、上記距離画像における対象物の距
離情報から、対象物の大きさを弁別する手段をさらに有
する。
に係る画像処理装置において、上記求めた対象物の輪郭
の閉曲線内の面積と、上記距離画像における対象物の距
離情報から、対象物の大きさを弁別する手段をさらに有
する。
【００２１】また、第４の発明は、第１、第２又は第３
の発明に係る画像処理装置において、上記対象物の輪郭
を求める手段は、ソフトウェアとしてＳｎａｋｅｓを用
いる。
の発明に係る画像処理装置において、上記対象物の輪郭
を求める手段は、ソフトウェアとしてＳｎａｋｅｓを用
いる。
【００２２】また、第５の発明は、第１，第２，第３ま
たは第４の発明に係る画像処理装置において、セキュリ
ティ監視または、車のエアバック指導装置に用いられ
る。
たは第４の発明に係る画像処理装置において、セキュリ
ティ監視または、車のエアバック指導装置に用いられ
る。
【００２３】また、第６の発明は、画像処理装置であっ
て、対象物を撮影して２次元距離画像を取り込むステッ
プと、対象物を撮影して２次元輝度画像を取り込むステ
ップと、上記距離画像の距離情報を用いて上記距離画像
から抽出した上記対象物に対応する部分に、所定の余裕
幅を付加した画像を初期値として、上記輝度画像上で上
記対象物の輪郭を求めるステップとを有する。
て、対象物を撮影して２次元距離画像を取り込むステッ
プと、対象物を撮影して２次元輝度画像を取り込むステ
ップと、上記距離画像の距離情報を用いて上記距離画像
から抽出した上記対象物に対応する部分に、所定の余裕
幅を付加した画像を初期値として、上記輝度画像上で上
記対象物の輪郭を求めるステップとを有する。
【００２４】
【発明の実施の形態】まず本実施形態の概略を説明す
る。本実施形態では、対象物である被写体の輝度情報
（濃淡画像）、距離情報（距離画像）をリアルタイムに
取得し、取得された濃淡画像、距離画像を用いて目的と
する被写体を抽出（セグメンテーション）し、これを認
識し、あるいは伝送するなどの画像処理を行わせること
を想定している。
る。本実施形態では、対象物である被写体の輝度情報
（濃淡画像）、距離情報（距離画像）をリアルタイムに
取得し、取得された濃淡画像、距離画像を用いて目的と
する被写体を抽出（セグメンテーション）し、これを認
識し、あるいは伝送するなどの画像処理を行わせること
を想定している。
【００２５】対象物の輪郭を求めるためのソフトウェア
としてＳｎａｋｅｓを用い、当該Ｓｎａｋｅｓに与える
初期値として二次元距離画像を用いる。具体的な二次元
距離画像の取得手段としては、アクティブな照明手段を
具備したイメージインテンシファイア管、マイクロチャ
ンネルプレートなどの電子管を用いたゲート変調機能が
利用される。あるいは同じくアクティブな照明手段を具
備し、固体撮像素子に感度変調機能をもたせた二次元感
度変調素子が用いられる。この例としては、R.Miyagawa
等：“CCD-Based Range-Finding Sensor”IEEE Transac
tions on Electron Devices vol.44,No.10,1997 pp1648
-1652あるいは米国特許５７５４２８０号などに記載の
感度変調撮像素子があげられる。
としてＳｎａｋｅｓを用い、当該Ｓｎａｋｅｓに与える
初期値として二次元距離画像を用いる。具体的な二次元
距離画像の取得手段としては、アクティブな照明手段を
具備したイメージインテンシファイア管、マイクロチャ
ンネルプレートなどの電子管を用いたゲート変調機能が
利用される。あるいは同じくアクティブな照明手段を具
備し、固体撮像素子に感度変調機能をもたせた二次元感
度変調素子が用いられる。この例としては、R.Miyagawa
等：“CCD-Based Range-Finding Sensor”IEEE Transac
tions on Electron Devices vol.44,No.10,1997 pp1648
-1652あるいは米国特許５７５４２８０号などに記載の
感度変調撮像素子があげられる。
【００２６】これらは、ワンショットでリアルタイムに
二次元の距離画像を取得することができる。二次元距離
画像は、距離の範囲をあらかじめ設定しておくことによ
り比較的容易に対象物を大まかに背景から抽出すること
が可能である。Ｓｎａｋｅｓの場合は、与えられた初期
値から収縮する方向に境界線が移動し、初期値近傍の極
小値に到って停止する。
二次元の距離画像を取得することができる。二次元距離
画像は、距離の範囲をあらかじめ設定しておくことによ
り比較的容易に対象物を大まかに背景から抽出すること
が可能である。Ｓｎａｋｅｓの場合は、与えられた初期
値から収縮する方向に境界線が移動し、初期値近傍の極
小値に到って停止する。
【００２７】このため本実施形態では、得られた二次元
距離画像に一定の余裕幅を外側に設けてこれをＳｎａｋ
ｅｓの初期値とする。前記二次元距離画像取得手段と同
軸あるいはこれと既知の位置関係にある撮像素子により
得られた濃淡（輝度）画像に対して、Ｓｎａｋｅｓを働
かせる。
距離画像に一定の余裕幅を外側に設けてこれをＳｎａｋ
ｅｓの初期値とする。前記二次元距離画像取得手段と同
軸あるいはこれと既知の位置関係にある撮像素子により
得られた濃淡（輝度）画像に対して、Ｓｎａｋｅｓを働
かせる。
【００２８】該濃淡画像は、前記二次元距離画像に比較
して高画質、高精細であり、画像の濃淡が明瞭なことか
ら、Ｓｎａｋｅｓを働かせるには好適である。また前記
二次元距離画像は余裕幅の範囲で該濃淡画像にもっとも
近い画像であり、初期値として好適である。
して高画質、高精細であり、画像の濃淡が明瞭なことか
ら、Ｓｎａｋｅｓを働かせるには好適である。また前記
二次元距離画像は余裕幅の範囲で該濃淡画像にもっとも
近い画像であり、初期値として好適である。
【００２９】Ｓｎａｋｅｓの閉曲線で囲まれた面積と前
記二次元距離画像から得られる距離情報とから、対象物
の大きさを判別することができる。上記のねずみか大人
かの弁別は容易である。また極小値における内部エネル
ギ値は、円で最小で、これから枝葉がでるとそれに応じ
てエネルギが増える。あるいは対象物が移動とともにそ
の姿勢を変化させると、内部エネルギ値が時間的に変化
する。これらと前述のＳｎａｋｅｓの閉曲線で囲まれた
面積と前記距離情報とを加味して、例えば助手席に荷物
があるのか、子供か大人か、その位置（たとえば座席に
対しての位置）を判別することができる。
記二次元距離画像から得られる距離情報とから、対象物
の大きさを判別することができる。上記のねずみか大人
かの弁別は容易である。また極小値における内部エネル
ギ値は、円で最小で、これから枝葉がでるとそれに応じ
てエネルギが増える。あるいは対象物が移動とともにそ
の姿勢を変化させると、内部エネルギ値が時間的に変化
する。これらと前述のＳｎａｋｅｓの閉曲線で囲まれた
面積と前記距離情報とを加味して、例えば助手席に荷物
があるのか、子供か大人か、その位置（たとえば座席に
対しての位置）を判別することができる。
【００３０】（第一実施形態）以下、図面を参照して本
実施形態を詳細に説明する。図１は本発明の第一実施形
態の構成を示す図である。図１において、第一の撮像素
子１０１は二次元輝度画像を撮影する素子である。第二
の撮像素子１０２は二次元距離画像を撮像するアクティ
ブな素子であり、不図示のアクティブな照明系を具備す
る。第二の撮像素子１０２は第一の撮像素子１０１と、
たとえば鏡１０３，１０４を介して同軸に配置されてい
る。
実施形態を詳細に説明する。図１は本発明の第一実施形
態の構成を示す図である。図１において、第一の撮像素
子１０１は二次元輝度画像を撮影する素子である。第二
の撮像素子１０２は二次元距離画像を撮像するアクティ
ブな素子であり、不図示のアクティブな照明系を具備す
る。第二の撮像素子１０２は第一の撮像素子１０１と、
たとえば鏡１０３，１０４を介して同軸に配置されてい
る。
【００３１】さらにＳｎａｋｅｓの初期値生成部１０
６、Ｓｎａｋｅｓ１０８、処理部１２０、判別器１０
９、表示器１１０が配置されている。上記した処理部１
２０は、対象物に対応した閉曲線の面積値を格納する第
一のメモリ１２１と、該閉曲線の内部エネルギ値を格納
する、複数個からなる第二のメモリ１２２とを内部に備
えている。
６、Ｓｎａｋｅｓ１０８、処理部１２０、判別器１０
９、表示器１１０が配置されている。上記した処理部１
２０は、対象物に対応した閉曲線の面積値を格納する第
一のメモリ１２１と、該閉曲線の内部エネルギ値を格納
する、複数個からなる第二のメモリ１２２とを内部に備
えている。
【００３２】また、図２において、符号２０１は対象物
であり、符号２０２は背景を模式的に表わしたものであ
る。
であり、符号２０２は背景を模式的に表わしたものであ
る。
【００３３】次に上記した構成の動作を図４を参照して
説明する。同軸に配置された、あるいは位置関係が校正
された第一の撮像素子１０１および第二の撮像素子１０
２により図２に表わされたシーン（対象物２０１、背景
２０２）を撮像してそれぞれ輝度画像、距離画像を得る
（ステップＳ１）。次に対象物２０１の距離画像をＳｎ
ａｋｅｓの初期値生成部１０６に供給し、該距離画像に
あらかじめ所定の余裕幅を持たせた画像をＳｎａｋｅｓ
の初期値とする（ステップＳ２）。
説明する。同軸に配置された、あるいは位置関係が校正
された第一の撮像素子１０１および第二の撮像素子１０
２により図２に表わされたシーン（対象物２０１、背景
２０２）を撮像してそれぞれ輝度画像、距離画像を得る
（ステップＳ１）。次に対象物２０１の距離画像をＳｎ
ａｋｅｓの初期値生成部１０６に供給し、該距離画像に
あらかじめ所定の余裕幅を持たせた画像をＳｎａｋｅｓ
の初期値とする（ステップＳ２）。
【００３４】次にこの初期値と第一の撮像素子１０１か
ら得られる輝度画像とをＳｎａｋｅｓ１０８に供給し、
該輝度画像を対象として輪郭線の極小値を求め、図２の
対象物２０１の輪郭に対応した閉曲線を得る（ステップ
Ｓ３）。次に該閉曲線により切り取られた対象物２０１
の輝度画像を不図示の画像メモリに格納するとともに、
前記閉曲線から処理部１２０により閉曲線の面積値を求
める（ステップＳ４）。これを第一のメモリ１２１に格
納し、該閉曲線の内部エネルギ値を第二のメモリ１２２
に格納する（ステップＳ５）。第二のメモリ１２２は少
なくとも二個以上の格納場所を有し、時系列的にサンプ
リングされた内部エネルギ値を複数個格納することがで
きる。
ら得られる輝度画像とをＳｎａｋｅｓ１０８に供給し、
該輝度画像を対象として輪郭線の極小値を求め、図２の
対象物２０１の輪郭に対応した閉曲線を得る（ステップ
Ｓ３）。次に該閉曲線により切り取られた対象物２０１
の輝度画像を不図示の画像メモリに格納するとともに、
前記閉曲線から処理部１２０により閉曲線の面積値を求
める（ステップＳ４）。これを第一のメモリ１２１に格
納し、該閉曲線の内部エネルギ値を第二のメモリ１２２
に格納する（ステップＳ５）。第二のメモリ１２２は少
なくとも二個以上の格納場所を有し、時系列的にサンプ
リングされた内部エネルギ値を複数個格納することがで
きる。
【００３５】判別器１０９は、第一メモリ１２１に格納
された閉曲線の面積値、第二のメモリ１１２に格納され
た内部エネルギ値、及び初期値生成部１０６から供給さ
れる対象物２０１の距離情報から、対象物２０１の大き
さおよび位置、移動の有無についての判別を行なってそ
の結果を表示器１１０に表示する（ステップＳ６）。
された閉曲線の面積値、第二のメモリ１１２に格納され
た内部エネルギ値、及び初期値生成部１０６から供給さ
れる対象物２０１の距離情報から、対象物２０１の大き
さおよび位置、移動の有無についての判別を行なってそ
の結果を表示器１１０に表示する（ステップＳ６）。
【００３６】たとえば前述のセキュリティ用の監視カメ
ラでは、対象物２０１の距離情報と閉曲線の面積値とか
ら侵入者がねずみか人かの弁別をし、ねずみであっても
監視カメラが作動しまう誤動作を防止する。表示器１１
０にはこれらの判別結果とともに、その根拠となるデー
タを、Ｓｎａｋｅｓにより輪郭が定められた対象物２０
１の輝度画像とともに表示し、管理人への情報とする。
ラでは、対象物２０１の距離情報と閉曲線の面積値とか
ら侵入者がねずみか人かの弁別をし、ねずみであっても
監視カメラが作動しまう誤動作を防止する。表示器１１
０にはこれらの判別結果とともに、その根拠となるデー
タを、Ｓｎａｋｅｓにより輪郭が定められた対象物２０
１の輝度画像とともに表示し、管理人への情報とする。
【００３７】また車の助手席に取付けられたエアバッグ
の始動の判断では、対象物２０１の位置によりその始動
時の爆発的膨張のため、防護の手段が凶器となる場合も
あり、特に子供の場合にはその危険性が大きいといわれ
る。
の始動の判断では、対象物２０１の位置によりその始動
時の爆発的膨張のため、防護の手段が凶器となる場合も
あり、特に子供の場合にはその危険性が大きいといわれ
る。
【００３８】このためセキュリティ用監視カメラと同様
にして対象物の大きさを判断するとともに、これと第二
のメモリ１２２に記憶された内部エネルギ値の時系列デ
ータを併用して固定した荷物か姿勢を変える人かの判断
を行う。これとともに、大人か子供かの判断をし、子供
の場合にはその位置あるいは姿勢の検出を行い、エアバ
ッグの装置からの距離が所定の値と比較して小さい場合
には、始動のタイミングをずらし危険性を軽減する処置
を行う。
にして対象物の大きさを判断するとともに、これと第二
のメモリ１２２に記憶された内部エネルギ値の時系列デ
ータを併用して固定した荷物か姿勢を変える人かの判断
を行う。これとともに、大人か子供かの判断をし、子供
の場合にはその位置あるいは姿勢の検出を行い、エアバ
ッグの装置からの距離が所定の値と比較して小さい場合
には、始動のタイミングをずらし危険性を軽減する処置
を行う。
【００３９】第一実施形態によれば、輝度画像を取得す
る第一の撮像素子１０１と同軸に配置されたアクティブ
な第二の撮像素子１０２により距離画像を直接取得する
ことから、いわゆる誤対応やオクルージョンの懸念なし
に正確な初期値をＳｎａｋｅｓ１０８に提供することが
できる。
る第一の撮像素子１０１と同軸に配置されたアクティブ
な第二の撮像素子１０２により距離画像を直接取得する
ことから、いわゆる誤対応やオクルージョンの懸念なし
に正確な初期値をＳｎａｋｅｓ１０８に提供することが
できる。
【００４０】（第二実施形態）本発明の第二実施形態に
ついて図３を用いて説明する。図３において、符号３０
１，３０２はステレオの二つの撮像素子を表わす。これ
には、積極的に照明（例えば赤外線）するアクティブ方
式と自然光を用いるパッシブ方式とが含まれる。その他
の構成は基本的に図１と同様である。
ついて図３を用いて説明する。図３において、符号３０
１，３０２はステレオの二つの撮像素子を表わす。これ
には、積極的に照明（例えば赤外線）するアクティブ方
式と自然光を用いるパッシブ方式とが含まれる。その他
の構成は基本的に図１と同様である。
【００４１】次に第二実施形態の動作を説明する。ここ
では図１と異なる部分のみの説明を行なう。ステレオを
構成する二つの撮像素子３０１，３０２の視差から得ら
れる距離画像をＳｎａｋｅｓの初期値生成部１０６に供
給する。また、ここではＳｎａｋｅｓ１０８に供給する
輝度画像として、２つの撮像素子３０１，３０２のう
ち、撮像素子３０２の出力を用いる。その他の動作は第
一の実施形態と同じである。
では図１と異なる部分のみの説明を行なう。ステレオを
構成する二つの撮像素子３０１，３０２の視差から得ら
れる距離画像をＳｎａｋｅｓの初期値生成部１０６に供
給する。また、ここではＳｎａｋｅｓ１０８に供給する
輝度画像として、２つの撮像素子３０１，３０２のう
ち、撮像素子３０２の出力を用いる。その他の動作は第
一の実施形態と同じである。
【００４２】本実施形態の特長は、第一の実施形態にみ
られるアクティブな距離画像と比較して高精細、高画質
な視差画像が利用できることにある。また、自然光を用
いるパッシブ方式では広範囲の視野をカバーできる利点
がある。
られるアクティブな距離画像と比較して高精細、高画質
な視差画像が利用できることにある。また、自然光を用
いるパッシブ方式では広範囲の視野をカバーできる利点
がある。
【００４３】上記実施形態には種々の変更が可能であ
る。たとえば輪郭を求めるソフトとしてＳｎａｋｅｓを
例にとり説明したが、初期値を必要とする他のソフトに
も適用可能である。またセキュリティ用の監視カメラに
おいて、侵入者の弁別を例に説明したが、これは駐車場
における車と人の管理に適用する場合など同様な弁別を
必要とする用途に適用可能である。またエアバッグの始
動装置につき、助手席に設置した場合を例にとり説明し
たが、その他の座席あるいはドライバ席についても適用
が可能である。
る。たとえば輪郭を求めるソフトとしてＳｎａｋｅｓを
例にとり説明したが、初期値を必要とする他のソフトに
も適用可能である。またセキュリティ用の監視カメラに
おいて、侵入者の弁別を例に説明したが、これは駐車場
における車と人の管理に適用する場合など同様な弁別を
必要とする用途に適用可能である。またエアバッグの始
動装置につき、助手席に設置した場合を例にとり説明し
たが、その他の座席あるいはドライバ席についても適用
が可能である。
【００４４】
【発明の効果】本発明によれば、対象物の輪郭を求める
にあたって正確な初期値を与えることができる画像処理
装置を提供することが可能になる。
にあたって正確な初期値を与えることができる画像処理
装置を提供することが可能になる。
【図１】本発明の第一実施形態の構成を示す図である。
【図２】撮影すべき対象物を示す図である。
【図３】本発明の第二実施形態の構成を示す図である。
【図４】本発明の第一実施形態の動作を説明するための
フローチャートである。
フローチャートである。
１０１ 第一の撮像素子 １０２ 第二の撮像素子 １０３ 鏡 １０４ 鏡 １０６ 初期値生成部 １０８ Ｓｎａｋｅｓ １０９ 判別器 １１０ 表示器 １２０ 処理部 １２１ 第一のメモリ １２２ 第二のメモリ ２０１ 対象物 ２０２ 背景 ３０１ 撮像素子 ３０２ 撮像素子
Claims (6)
- 【請求項１】 対象物を撮影して２次元距離画像を取り
込む手段と、 対象物を撮影して２次元輝度画像を取り込む手段と、 上記距離画像の距離情報を用いて上記距離画像から抽出
した上記対象物に対応する部分に、所定の余裕幅を付加
した画像を初期値として、上記輝度画像上で上記対象物
の輪郭を求める手段とを有することを特徴とする画像処
理装置。 - 【請求項２】 上記距離画像は、アクティブな照明手段
を具備した感度変調機能素子又は、ステレオ撮像素子を
用いて得られることを特徴とする請求項１記載の画像処
理装置。 - 【請求項３】 上記求めた対象物の輪郭の閉曲線内の面
積と、上記距離画像における対象物の距離情報から、対
象物の大きさを弁別する手段をさらに有することを特徴
とする請求項１または２記載の画像処理装置。 - 【請求項４】 上記対象物の輪郭を求める手段は、ソフ
トウェアとしてＳｎａｋｅｓを用いることを特徴とする
請求項１，２または３に記載の画像処理装置。 - 【請求項５】 セキュリティ監視または、車のエアバッ
ク始動装置に用いられることを特徴とする請求項１，
２，３または４記載の画像処理装置。 - 【請求項６】 対象物を撮影して２次元距離画像を取り
込むステップと、 対象物を撮影して２次元輝度画像を取り込むステップ
と、 上記距離画像の距離情報を用いて上記距離画像から抽出
した上記対象物に対応する部分に、所定の余裕幅を付加
した画像を初期値として、上記輝度画像上で上記対象物
の輪郭を求めるステップとを有することを特徴とする画
像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000306357A JP2002117390A (ja) | 2000-10-05 | 2000-10-05 | 画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000306357A JP2002117390A (ja) | 2000-10-05 | 2000-10-05 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002117390A true JP2002117390A (ja) | 2002-04-19 |
| JP2002117390A5 JP2002117390A5 (ja) | 2007-11-29 |
Family
ID=18787063
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000306357A Pending JP2002117390A (ja) | 2000-10-05 | 2000-10-05 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002117390A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004302905A (ja) * | 2003-03-31 | 2004-10-28 | Honda Motor Co Ltd | 移動体の検出装置 |
| JP2006153771A (ja) * | 2004-11-30 | 2006-06-15 | Matsushita Electric Works Ltd | 計測装置 |
| JP2006323652A (ja) * | 2005-05-19 | 2006-11-30 | Atsumi Electric Co Ltd | 防犯センサ |
| JP2006323651A (ja) * | 2005-05-19 | 2006-11-30 | Atsumi Electric Co Ltd | 防犯センサ |
| JP2012037391A (ja) * | 2010-08-06 | 2012-02-23 | Canon Inc | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム |
| JP2012093295A (ja) * | 2010-10-28 | 2012-05-17 | Shigenori Tanaka | 対象領域抽出装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05157518A (ja) * | 1991-12-09 | 1993-06-22 | Toyota Central Res & Dev Lab Inc | 物体認識装置 |
| JPH08189809A (ja) * | 1995-01-09 | 1996-07-23 | Matsushita Electric Ind Co Ltd | 画像中の対象物抽出装置 |
| JP2001111882A (ja) * | 1999-10-04 | 2001-04-20 | Canon Inc | 被写体検出装置、画像処理装置、画像処理システム、被写体検出方法、画像処理方法、及び記憶媒体 |
-
2000
- 2000-10-05 JP JP2000306357A patent/JP2002117390A/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05157518A (ja) * | 1991-12-09 | 1993-06-22 | Toyota Central Res & Dev Lab Inc | 物体認識装置 |
| JPH08189809A (ja) * | 1995-01-09 | 1996-07-23 | Matsushita Electric Ind Co Ltd | 画像中の対象物抽出装置 |
| JP2001111882A (ja) * | 1999-10-04 | 2001-04-20 | Canon Inc | 被写体検出装置、画像処理装置、画像処理システム、被写体検出方法、画像処理方法、及び記憶媒体 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004302905A (ja) * | 2003-03-31 | 2004-10-28 | Honda Motor Co Ltd | 移動体の検出装置 |
| JP2006153771A (ja) * | 2004-11-30 | 2006-06-15 | Matsushita Electric Works Ltd | 計測装置 |
| JP4645177B2 (ja) * | 2004-11-30 | 2011-03-09 | パナソニック電工株式会社 | 計測装置 |
| JP2006323652A (ja) * | 2005-05-19 | 2006-11-30 | Atsumi Electric Co Ltd | 防犯センサ |
| JP2006323651A (ja) * | 2005-05-19 | 2006-11-30 | Atsumi Electric Co Ltd | 防犯センサ |
| JP2012037391A (ja) * | 2010-08-06 | 2012-02-23 | Canon Inc | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム |
| JP2012093295A (ja) * | 2010-10-28 | 2012-05-17 | Shigenori Tanaka | 対象領域抽出装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7574021B2 (en) | Iris recognition for a secure facility | |
| US7079669B2 (en) | Image processing device and elevator mounting it thereon | |
| US20050084179A1 (en) | Method and apparatus for performing iris recognition from an image | |
| Xu et al. | Human detection using depth and gray images | |
| BR112021003084A2 (pt) | aparelho, sistema e programa de formação de imagem, e, método de formação de imagem executado por um processador. | |
| EP1553516B1 (en) | Pedestrian extracting apparatus | |
| DE60106134T2 (de) | Gesichtsaufnahmesensor zur Personenerkennung, -identifizierung und -beobachtung für Airbagsteuerung | |
| US8055016B2 (en) | Apparatus and method for normalizing face image used for detecting drowsy driving | |
| US20030169906A1 (en) | Method and apparatus for recognizing objects | |
| JP5127531B2 (ja) | 画像監視装置 | |
| JP5001930B2 (ja) | 動作認識装置及び方法 | |
| HUT76950A (hu) | Eljárás és berendezés automatikus, beavatkozásmentes írisz felismeréshez | |
| EP1703480B1 (en) | System and method to determine awareness | |
| JP2020052647A (ja) | 物体検出装置、物体検出方法、物体検出用コンピュータプログラム及び車両制御システム | |
| KR102441974B1 (ko) | Tof 카메라를 이용한 주차 관리장치 및 관리방법 | |
| JP2010191793A (ja) | 警告表示装置及び警告表示方法 | |
| JP2004533964A (ja) | 車両ドアの開放状態の光学的識別方法および装置 | |
| JP4397415B2 (ja) | 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム | |
| JP2002117390A (ja) | 画像処理装置 | |
| JP4476546B2 (ja) | 画像処理装置及びそれを搭載したエレベータ | |
| KR20210152741A (ko) | 첨단 운전자 지원 장치 및 이의 객체를 검출하는 방법 | |
| US20230206643A1 (en) | Occlusion detection and object coordinate correction for estimating the position of an object | |
| Krotosky et al. | Real-time stereo-based head detection using size, shape and disparity constraints | |
| KR101886416B1 (ko) | 차량 도어 제어 시스템 및 방법 | |
| JP2005140754A (ja) | 人物検知方法、監視システム、およびコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071005 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071016 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100823 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100831 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110104 |