JP2019179286A - 処理装置、及びプログラム - Google Patents
処理装置、及びプログラム Download PDFInfo
- Publication number
- JP2019179286A JP2019179286A JP2018066465A JP2018066465A JP2019179286A JP 2019179286 A JP2019179286 A JP 2019179286A JP 2018066465 A JP2018066465 A JP 2018066465A JP 2018066465 A JP2018066465 A JP 2018066465A JP 2019179286 A JP2019179286 A JP 2019179286A
- Authority
- JP
- Japan
- Prior art keywords
- head
- occupant
- vehicle
- pixel group
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
[2]前記制御部は、前記距離画像を構成する画素群を、3次元空間に対応する複数の領域に分割し、その分割された領域の中で、規定範囲内の距離を示す距離情報を有する画素が最も多い領域を、前記高尤度領域とする、上記[1]に記載の処理装置であってもよい。
[3]また、前記制御部は、前記車両座標系における特定の座標軸に沿って前記距離画像を構成する画素群を分割する、上記[2]に記載の処理装置であってもよい。
[4]また、前記制御部は、前記高尤度領域の中から、乗員の頭頂部を特定する頭頂部特定処理と、頭頂部を基点とした頭部のモデルとして予め規定された頭部モデルを、前記頭頂部特定処理で特定された乗員の頭頂部に対し適合させることで、前記乗員の頭部領域を特定する頭部特定処理とを前記特定処理として実行する、上記[1]から[3]のいずれか1に記載の処理装置であってもよい。
[5]また、前記制御部は、前記頭頂部特定処理において、前記高尤度領域の中で、前記車両の車室内空間における座標系において車高方向に沿って最も高い部分を頭頂部として特定する、上記[4]に記載の処理装置であってもよい。
[6]また、前記制御部は、前記頭部特定処理において、前記頭部領域の重心位置を頭部の位置として検出する、上記[4]又は[5]に記載の処理装置であってもよい。
[7]また、前記制御部は、特定された前記乗員の頭部の確からしさを確認する検証処理を実行する、上記[1]から[6]のいずれか1に記載の処理装置であってもよい。
[8]また、前記制御部は、前記車両の車室内空間における座標系において、前記特定された頭頂部に対して下方に存在する画素群を乗員の胴体部分として検出すると、特定された乗員の頭部が確からしいものとすることを、前記検証処理として実行する、上記[7]に記載の処理装置であってもよい。
[9]また、前記制御部は、前記乗員の胴体部分を非検出であると、特定された乗員の頭部が不確かなものとして、前記特定処理を再度実行することを、前記検証処理として実行する、上記[7]又は[8]に記載の処理装置であってもよい。
[10]また、前記制御部は、前記頭部特定処理で特定した乗員の頭部を基点として胴体の領域を示す胴体推定領域において、規定範囲の距離を示す距離情報を有した規定数の画素が検出されると、当該胴体推定領域を前記乗員の胴体部分として検出する、上記[8]又は[9]に記載の処理装置であってもよい。
[11]上記目的を達成するため、車両の乗員を含む撮像領域を撮像対象とした距離画像であって、前記撮像対象までの距離情報を各画素に割り当てた距離画像を取得する取得ステップと、前記距離画像を構成する画素群であって、前記車両の車室内空間における座標系と前記距離画像における座標系との対応関係に従って抽出され、前記乗員の頭部が存在する可能性の高い画素群である高尤度領域に対して、前記乗員の頭部を特定する特定処理を実行する制御ステップと、をコンピュータに実行させるためのプログラムを提供する。
[12]前記制御ステップは、前記距離画像を構成する画素群を、3次元空間に対応する複数の領域に分割し、その分割された領域の中で、規定範囲内の距離を示す距離情報を有する画素が最も多い領域を、前記高尤度領域とする、上記[11]に記載のプログラムであってもよい。
[13]また、前記制御ステップは、前記車両座標系における特定の座標軸に沿って前記距離画像を構成する画素群を分割する、上記[12]に記載のプログラムであってもよい。
[14]また、前記制御ステップは、前記高尤度領域の中から、乗員の頭頂部を特定する頭頂部特定処理と、頭頂部を基点とした頭部のモデルとして予め規定された頭部モデルを、前記頭頂部特定処理で特定された乗員の頭頂部に対し適合させることで、前記乗員の頭部領域を特定する頭部特定処理とを前記特定処理として実行する、上記[11]から[13]のいずれか1に記載のプログラムであってもよい。
[15]また、前記制御ステップは、前記頭頂部特定処理において、前記高尤度領域の中で、前記車両の車室内空間における座標系において車高方向に沿って最も高い部分を頭頂部として特定する、上記[14]に記載のプログラムであってもよい。
[16]また、前記制御ステップは、前記頭部特定処理において、前記頭部領域の重心位置を頭部の位置として検出する、上記[14]又は[15]に記載のプログラムであってもよい。
[17]また、前記制御ステップは、特定された前記乗員の頭部の確からしさを確認する検証処理を実行する、上記[11]から[16]のいずれか1に記載のプログラムであってもよい。
[18]また、前記制御ステップは、前記車両の車室内空間における座標系において、前記特定された頭頂部に対して下方に存在する画素群を乗員の胴体部分として検出すると、特定された乗員の頭部が確からしいものとすることを、前記検証処理として実行する、上記[17]に記載のプログラムであってもよい。
[19]また、前記制御ステップは、前記乗員の胴体部分を非検出であると、特定された乗員の頭部が不確かなものとして、前記特定処理を再度実行することを、前記検証処理として実行する、上記[17]又は[18]に記載のプログラムであってもよい。
[20]また、前記制御ステップは、前記頭部特定処理で特定した乗員の頭部を基点として胴体の領域を示す胴体推定領域において、規定範囲の距離を示す距離情報を有した規定数の画素が検出されると、当該胴体推定領域を前記乗員の胴体部分として検出する、上記[18]又は[19]に記載のプログラムであってもよい。
本発明の実施の形態に係る処理装置1は、車両の乗員を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を各画素に割り当てた距離画像を取得する取得部としてのTOFカメラ10と、距離画像を構成する画素群であって、車両8の車室内空間における座標系と前離画像における座標系との対応関係に従って抽出され、乗員5の頭部50が存在する可能性の高い画素群である高尤度領域に対して、乗員5の頭部を特定する特定処理を実行する制御部20と、を有して構成されている。
取得部としては撮像対象の3次元認識が可能なものであれば使用可能であるが、本実施の形態では、取得部としてTOF(Time Of Flight)カメラ10を使用する。TOFカメラ10は、光源の光が測定対象物に当たって戻るまでの時間を画素毎に検出し、奥行き方向の距離に相当する位置情報を含む立体的な画像を撮影できる。TOFカメラ10は、赤外光等を発光後、その光が物体に反射して戻ってきた反射光を受光し、発光から受光までの時間を測定して、画素ごとに撮像対象物までの距離を検出する。
距離画像における座標値u,vと、座標(u,v)における画素値d(u,v)は、以下の式を用いて3次元空間上の点(x,y,z)に変換することで、図1に示すカメラ座標系(x,y,z)における3次元画素群を作成することができる。
カメラ座標系(x,y,z)は、検出対象であるドライバ(例えば腰骨の位置)を原点とする車両座標系(w,l,h)に変換することができる。変換方法は、一般的な座標回転変換、平行移動変換、スケール変換の組み合わせである。変換後の座標軸は、ドライバ右方向をw軸、前方をl軸(エル軸)、上方をh軸とし、原点はドライバの腰骨位置とする。
制御部20は、座標変換、頭頂部特定処理、頭部特定処理等を行なうための、例えばマイクロコンピュータを備えている。制御部20は、図1に示すように、TOFカメラ10と接続されている。制御部20は、記憶されたプログラムに従って、取得したデータに演算、加工などを行うCPU(Central Processing Unit)21、半導体メモリであるRAM(Random Access Memory)22及びROM(Read Only Memory)23などを備えている。
図2で示す本発明の実施の形態に係る処理装置1の動作を示すフローチャートに基づいて、説明する。制御部20は、フローチャートに従って以下の演算、処理を実行する。
取得部としてのTOFカメラ10は、車両8の乗員5を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を各画素に割り当てた距離画像を取得する。この距離画像は、所定の時間間隔で撮像されたフレームの1フレームとして取得することができる。取得された距離画像は、以下の処理における入力(3次元画素群)として機能する。距離画像は、上記説明したカメラ座標系、車両座標系へ変換される。これにより、図3(a)に示すように、検出エリアに含まれる3次元画素群201を抽出できる。以下の処理においては、車両座標系(w,l,h)の3次元画素群で演算、処理等が実行される。
制御部20は、頭頂部の抽出として、まず、図3(b)に示すように、検出エリア内の画素群202を抽出する。検出エリアを定義し、その空間に含まれる画素群を抽出することで、領域を絞り込む。検出エリアは、着座時に頭部50が存在すると考えられる、車室内上方の空間とする。例えば、ドライバ腰骨位置203を原点とし、−510<w<360、−280<l<700、430<h<750の範囲である。単位はmmである(以下、同じ)。
制御部20は、頭頂部が含まれる領域を抽出するために、Step2で抽出した画素群の領域204(図6(a))をl軸方向から見た時、最も画素群密度が高くなる領域は高尤度領域として頭頂部が含まれていると考えられる。ここでは、頭部モデル定義の横幅Dをもとにw軸の方向に分割し(図6(b))、wh平面上で最も画素群が多い領域205を抽出する(図6(c))。
制御部20は、頭頂部位置を算出する、頭頂部特定処理を実行する。Step3で抽出した画素群のうち、図7に示すように、h軸、すなわち、車両の車室内空間における座標系において車高方向において最も高い部分が頭頂部60であると考えられる。なお、h方向において抽出した画素群205(図6(c))の大きい値の何点かの平均により、頭頂部60を抽出してもよい。抽出された頭頂部60の座標を、(wt,lt,ht)とする。
制御部20は、頭部領域を抽出する。頭頂部の抽出処理で抽出した頭頂部60および頭部モデル定義(図5)から頭部50を抽出する。頭頂部60の座標(wt,lt,ht)を基準とし、図8(a)〜(d)のように画素群を抽出することで、頭部領域206を得る。頭部領域206は、wt−w1<w<wt+w1、lt−l1<l<lt+l1、ht−h1<h<htの範囲である。頭部モデル定義例(図5)を適合させると、w1=176/2、l1=176/2、h1=146である。なお、h1は、TOFカメラの特性による頭髪部分の情報欠落を想定し、頭部モデル定義の高さHから60だけマイナスして、h1=206−60=146としている。
制御部20は、頭部位置を算出する、頭部特定処理を実行する。Step5で抽出した領域206の頭部位置C(wc,lc,hc)を頭部50とする。すなわち、図9で示すように、上記のw、l、hの範囲で規定される領域に含まれる頭部領域206の画素群の中心、あるいは重心を求めることにより、頭部位置Cとすることができる。
制御部20は、図10に示すように、頭部50(wc,lc,hc)の下方の胴体推定領域100に含まれる画素群をカウントする。車両の車室内空間における座標系において、頭部50の下方には胴体部分70が含まれるので、画素群をカウントすることにより、抽出された頭部50が正しいかどうかを検証することができる。胴体推定領域は胴体部分が含まれる程度の大きさとする。例えば、図11のように、産業技術総合研究所が公開している人体寸法データベース等をもとに胴体推定領域を決めることができる。
制御部20は、画素群密度が閾値以上かどうかを判断する。胴体推定領域において、規定範囲の距離を示す距離情報を有した規定数の画素が検出されると、胴体推定領域を乗員の胴体部分として検出する。Step7でカウントした画素群が閾値以上の場合、(wc,lc,hc)を頭部として確定する(Step8:Yes)。Step7でカウントした画素群が閾値未満の場合は、Step9へ進む(Step8:No)。このStep8の判断により、図12(a)に示すような手80を頭部50に誤検出することを抑制でき、図12(b)に示すように、手80と頭部50を区別できる。
制御部20は、Step5で抽出した頭部領域を除外して、再度Step1へ戻って処理を再度実行する。
コンピュータに、処理装置1で示した、車両の乗員を含む撮像領域を撮像対象とした距離画像であって、前記撮像対象までの距離情報を各画素に割り当てた距離画像を取得する取得ステップと、前記距離画像を構成する画素群であって、前記車両の車室内空間における座標系と前記距離画像における座標系との対応関係に従って抽出され、前記乗員の頭部が存在する可能性の高い画素群である高尤度領域に対して、前記乗員の頭部を特定する特定処理を実行する制御ステップとを、コンピュータに実行させるためのプログラムも、本発明の実施の形態の一つである。
本発明の実施の形態によれば、以下のような効果を有する。
(1)本発明の実施の形態に係る処理装置は、車両の乗員を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を各画素に割り当てた距離画像を取得する取得部としてのTOFカメラ10と、距離画像を構成する画素群であって、車両8の車室内空間における座標系と前離画像における座標系との対応関係に従って抽出され、乗員5の頭部50が存在する可能性の高い画素群である高尤度領域に対して、乗員5の頭部を特定する特定処理を実行する制御部20と、を有して構成されている。これにより、3次元情報を活用することで、顔を撮影する方向に関わらず頭部位置を検出することができる。また、3次元画素群を用いた絞込み処理を繰り返しており、少ない処理量で簡易に頭部位置を検出することができる。
(2)検出した頭部位置の下方の領域に3次元画素群が存在するかを検証する。頭部の下には胴体部分が存在することを特徴と捉えることで、頭部とそれ以外の物体を区別することができ、頭部とそれ以外の物体の区別が簡易な方法で実現可能となる。これにより、TOFカメラを用いた頭部検出における誤検出抑制、誤検出防止が可能となる。
(3)以上により、乗員の頭部を検出する技術において、計算コストを低減する処理装置、及びプログラムを提供することが可能になる。
Claims (20)
- 車両の乗員を含む撮像領域を撮像対象とした距離画像であって、前記撮像対象までの距離情報を各画素に割り当てた距離画像を取得する取得部と、
前記距離画像を構成する画素群であって、前記車両の車室内空間における座標系と前記距離画像における座標系との対応関係に従って抽出され、前記乗員の頭部が存在する可能性の高い画素群である高尤度領域に対して、前記乗員の頭部を特定する特定処理を実行する制御部と、
を有する処理装置。 - 前記制御部は、前記距離画像を構成する画素群を、3次元空間に対応する複数の領域に分割し、その分割された領域の中で、規定範囲内の距離を示す距離情報を有する画素が最も多い領域を、前記高尤度領域とする、請求項1に記載の処理装置。
- 前記制御部は、前記車両座標系における特定の座標軸に沿って前記距離画像を構成する画素群を分割する、請求項2に記載の処理装置。
- 前記制御部は、前記高尤度領域の中から、乗員の頭頂部を特定する頭頂部特定処理と、頭頂部を基点とした頭部のモデルとして予め規定された頭部モデルを、前記頭頂部特定処理で特定された乗員の頭頂部に対し適合させることで、前記乗員の頭部領域を特定する頭部特定処理とを前記特定処理として実行する、請求項1から3のいずれか1項に記載の処理装置。
- 前記制御部は、前記頭頂部特定処理において、前記高尤度領域の中で、前記車両の車室内空間における座標系において車高方向に沿って最も高い部分を頭頂部として特定する、請求項4に記載の処理装置。
- 前記制御部は、前記頭部特定処理において、前記頭部領域の重心位置を頭部の位置として検出する、請求項4又は5に記載の処理装置。
- 前記制御部は、特定された前記乗員の頭部の確からしさを確認する検証処理を実行する、請求項1から6のいずれか1項に記載の処理装置。
- 前記制御部は、前記車両の車室内空間における座標系において、前記特定された頭頂部に対して下方に存在する画素群を乗員の胴体部分として検出すると、特定された乗員の頭部が確からしいものとすることを、前記検証処理として実行する、請求項7に記載の処理装置。
- 前記制御部は、前記乗員の胴体部分を非検出であると、特定された乗員の頭部が不確かなものとして、前記特定処理を再度実行することを、前記検証処理として実行する、請求項7又は8に記載の処理装置。
- 前記制御部は、前記頭部特定処理で特定した乗員の頭部を基点として胴体の領域を示す胴体推定領域において、規定範囲の距離を示す距離情報を有した規定数の画素が検出されると、当該胴体推定領域を前記乗員の胴体部分として検出する、請求項8または9に記載の処理装置。
- 車両の乗員を含む撮像領域を撮像対象とした距離画像であって、前記撮像対象までの距離情報を各画素に割り当てた距離画像を取得する取得ステップと、
前記距離画像を構成する画素群であって、前記車両の車室内空間における座標系と前記距離画像における座標系との対応関係に従って抽出され、前記乗員の頭部が存在する可能性の高い画素群である高尤度領域に対して、前記乗員の頭部を特定する特定処理を実行する制御ステップと、
をコンピュータに実行させるためのプログラム。 - 前記制御ステップは、前記距離画像を構成する画素群を、3次元空間に対応する複数の領域に分割し、その分割された領域の中で、規定範囲内の距離を示す距離情報を有する画素が最も多い領域を、前記高尤度領域とする、請求項11に記載のプログラム。
- 前記制御ステップは、前記車両座標系における特定の座標軸に沿って前記距離画像を構成する画素群を分割する、請求項12に記載のプログラム。
- 前記制御ステップは、前記高尤度領域の中から、乗員の頭頂部を特定する頭頂部特定処理と、頭頂部を基点とした頭部のモデルとして予め規定された頭部モデルを、前記頭頂部特定処理で特定された乗員の頭頂部に対し適合させることで、前記乗員の頭部領域を特定する頭部特定処理とを前記特定処理として実行する、請求項11から13のいずれか1項に記載のプログラム。
- 前記制御ステップは、前記頭頂部特定処理において、前記高尤度領域の中で、前記車両の車室内空間における座標系において車高方向に沿って最も高い部分を頭頂部として特定する、請求項14に記載のプログラム。
- 前記制御ステップは、前記頭部特定処理において、前記頭部領域の重心位置を頭部の位置として検出する、請求項14又は15に記載のプログラム。
- 前記制御ステップは、特定された前記乗員の頭部の確からしさを確認する検証処理を実行する、請求項11から16までのいずれか1項に記載のプログラム。
- 前記制御ステップは、前記車両の車室内空間における座標系において、前記特定された頭頂部に対して下方に存在する画素群を乗員の胴体部分として検出すると、特定された乗員の頭部が確からしいものとすることを、前記検証処理として実行する、請求項17に記載のプログラム。
- 前記制御ステップは、前記乗員の胴体部分を非検出であると、特定された乗員の頭部が不確かなものとして、前記特定処理を再度実行することを、前記検証処理として実行する、請求項17又は18に記載のプログラム。
- 前記制御ステップは、前記頭部特定処理で特定した乗員の頭部を基点として胴体の領域を示す胴体推定領域において、規定範囲の距離を示す距離情報を有した規定数の画素が検出されると、当該胴体推定領域を前記乗員の胴体部分として検出する、請求項18または19に記載のプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018066465A JP7053340B2 (ja) | 2018-03-30 | 2018-03-30 | 処理装置、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018066465A JP7053340B2 (ja) | 2018-03-30 | 2018-03-30 | 処理装置、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019179286A true JP2019179286A (ja) | 2019-10-17 |
JP7053340B2 JP7053340B2 (ja) | 2022-04-12 |
Family
ID=68278628
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018066465A Active JP7053340B2 (ja) | 2018-03-30 | 2018-03-30 | 処理装置、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7053340B2 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012128592A (ja) * | 2010-12-14 | 2012-07-05 | Honda Motor Co Ltd | 乗員頭部検知装置 |
-
2018
- 2018-03-30 JP JP2018066465A patent/JP7053340B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012128592A (ja) * | 2010-12-14 | 2012-07-05 | Honda Motor Co Ltd | 乗員頭部検知装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7053340B2 (ja) | 2022-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109541583B (zh) | 一种前车距离检测方法及系统 | |
KR101283262B1 (ko) | 영상 처리 방법 및 장치 | |
JP6328327B2 (ja) | 画像処理装置及び画像処理方法 | |
JP4943034B2 (ja) | ステレオ画像処理装置 | |
JP2007527569A (ja) | 立体視に基づく差し迫った衝突の検知 | |
KR101789071B1 (ko) | 깊이 영상의 특징 추출 방법 및 장치 | |
JP6782433B2 (ja) | 画像認識装置 | |
JP6021689B2 (ja) | 車両諸元計測処理装置、車両諸元計測方法及びプログラム | |
CN110225238B (zh) | 场景重建系统、方法以及非暂态电脑可读取媒介质 | |
JP5737399B2 (ja) | 赤目判定装置 | |
JP2012059030A (ja) | 距離画像カメラを用いた人体識別方法および人体識別装置 | |
JP2018156408A (ja) | 画像認識撮像装置 | |
CN118379800B (zh) | 遮挡条件下的人体跌倒检测方法、装置、设备及存储介质 | |
EP3082069A1 (en) | Stereoscopic object detection device and stereoscopic object detection method | |
JP2019179289A (ja) | 処理装置、及びプログラム | |
JP2019179287A (ja) | 処理装置、及びプログラム | |
JP7053340B2 (ja) | 処理装置、及びプログラム | |
JP7117878B2 (ja) | 処理装置、及びプログラム | |
US20090304263A1 (en) | Method for classifying an object using a stereo camera | |
JP7053342B2 (ja) | 処理装置、及びプログラム | |
JP7240193B2 (ja) | 顔方向判別装置、コンピュータプログラム、および記憶媒体 | |
JP7079187B2 (ja) | 乗員判別装置、コンピュータプログラム、および記憶媒体 | |
KR101706674B1 (ko) | 원거리 가시광선 영상과 열 영상에 기반한 성별 인식 방법 및 장치 | |
JP7195963B2 (ja) | 頭部判別装置、コンピュータプログラム、および記憶媒体 | |
JP7079188B2 (ja) | 乗員判別装置、コンピュータプログラム、および記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20180427 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180501 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220121 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220315 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220331 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7053340 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |