JP2022018231A - 映像処理装置および映像処理方法 - Google Patents

映像処理装置および映像処理方法 Download PDF

Info

Publication number
JP2022018231A
JP2022018231A JP2020121188A JP2020121188A JP2022018231A JP 2022018231 A JP2022018231 A JP 2022018231A JP 2020121188 A JP2020121188 A JP 2020121188A JP 2020121188 A JP2020121188 A JP 2020121188A JP 2022018231 A JP2022018231 A JP 2022018231A
Authority
JP
Japan
Prior art keywords
face
image
orientation
unit
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020121188A
Other languages
English (en)
Inventor
久 小磯
Hisashi Koiso
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2020121188A priority Critical patent/JP2022018231A/ja
Priority to PCT/JP2020/047730 priority patent/WO2022014068A1/ja
Publication of JP2022018231A publication Critical patent/JP2022018231A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Abstract

【課題】撮影される被撮像体の顔の正面方向を補正することができる映像処理装置および映像処理方法を提供する。【解決手段】映像処理装置100は、映像取得部31、向き検出部33および補正処理部34を備える。映像取得部31は、被撮像体の顔を含む映像を取得する。向き検出部33は、映像取得部31によって取得された映像に基づいて顔の向きを検出する。補正処理部34は、被撮像体の顔の向きにおける正面方向を補正する。補正処理部34は、向き検出部33によって複数回検出した顔の向きの分布に基づいた顔の向きの中心を被撮像体の顔の向きにおける正面方向として補正する。【選択図】図1

Description

本発明は、映像処理装置および映像処理方法に関する。
例えば車両に搭載されるドライバーモニター等の映像処理装置では、車室内を撮影して運転者を含む映像を記憶装置に記憶する。映像処理装置で撮影された車室内の映像は、例えば運転者の顔が向いている方向などの運転状況や、車室内における搭乗者の行動を確認することなどに用いられる。
例えば特許文献1には、自動車のドライバの顔を撮影するカメラと、このカメラより得られた顔画像を処理する画像処理装置にて構成され、装置の起動時に於いて、このカメラにより得られたドライバの正面顔を基にしてドライバの様々な顔の向きに対応した顔モデル群を生成し、この生成を完了した以降は、ドライバの顔画像を循環的に入力し、顔モデル群の内、最も良く一致する顔モデルを選択する事によりドライバの顔の向きを検出する。
特開2003-308533号公報
特許文献1に記載の従来のドライバの顔画像処理装置は、運転者の顔の向きを時々刻々に検出するが、運転者が運転中によそ見をしているかどうかなどの判定を行うには不十分である。例えば、車両の運転席における運転者の顔の標準的な位置を定め、映像処理装置によって撮影される画角内における顔の標準的な位置からの正面方向を決定し、当該正面方向に対して顔の向きがずれていると、よそ見をしているなどと判定することもできる。
しかしながら、運転者の個人差によって、実際には顔の位置は前後左右、上下に顔の標準的な位置からずれており、また、運転者の嗜好性に応じて車線内の中央から右寄り或いは左寄りの方向を向いて運転することなどもある。この場合、運転者は、映像処理装置側で予め決定された顔の標準的な位置からの正面方向とは異なる方向を向いていると判定されてしまう。
さらに、映像処理装置がバックミラーに配置されている場合に、バックミラーが左右方向に調整されると、映像処理装置によって撮影している方向が変化する。上記のように、映像処理装置側で顔の標準的な位置からの正面方向が予め決定されていると、バックミラーの調整によって、当該正面方向がずれてしまうということもある。
本発明は、斯かる事情に鑑みてなされたものであり、その目的とするところは、撮影される被撮像体の顔の正面方向を補正することができる映像処理装置および映像処理方法を提供することにある。
本発明のある態様は、被撮像体の顔を含む映像を取得する映像取得部と、前記映像取得部によって取得された前記映像に基づいて顔の向きを検出する向き検出部と、前記被撮像体の顔の向きにおける正面方向を補正する補正処理部と、を備える映像処理装置において、前記補正処理部は、前記向き検出部によって複数回検出した顔の向きの分布に基づいた顔の向きの中心を前記被撮像体の顔の向きにおける正面方向として補正する。
また本発明の別の態様は映像処理装置における映像処理方法である。この映像処理方法は、被撮像体の顔を含む映像を取得する映像取得ステップと、前記映像取得ステップによって取得された前記映像に基づいて顔の向きを検出する向き検出ステップと、前記被撮像体の顔の向きにおける正面方向を補正する補正処理ステップと、を備え、前記補正処理ステップは、前記向き検出ステップによって複数回検出した顔の向きの分布に基づいた顔の向きの中心を前記被撮像体の顔の向きにおける正面方向として補正する。
本発明によれば、撮影される被撮像体の顔の正面方向を補正することができる。
実施形態に係る映像処理装置の構成を示すブロック図である。 顔の向きについて説明するための模式図である。 向き検出部によって検出した顔の向きの分布の一例を表わすグラフである。 映像取得部によって取得した映像の一例を表す模式図である。 映像処理装置における正面方向の補正処理の手順を示すフローチャートである。
以下、本発明を好適な実施の形態をもとに図1から図5を参照しながら説明する。各図面に示される同一または同等の構成要素、部材には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において実施の形態を説明する上で重要ではない部材の一部は省略して表示する。
(実施形態)
図1は、実施形態に係る映像処理装置100の構成を示すブロック図である。映像処理装置100は、例えばドライバーモニターであり、車両に搭載され、車両の車室内の乗員を時間的に連続して撮影する。映像処理装置100は撮影した映像を記録するようにしてもよいし、記録せずに破棄してもよい。映像処理装置100は、例えば車両のフロントガラスの下方におけるダッシュボード上や、バックミラーなどに配置される。映像処理装置100は、例えば車両に搭乗している運転者を被撮像体として含む映像を撮影し、撮影された被撮像体の顔全体、または目などの顔の部位を画像認識する。
映像処理装置100は、画像認識した運転者(被撮像体)の顔の向きを検出し、所定期間に亘って顔の向きのデータを取得し、顔の向きの分布を求める。映像処理装置100は、例えば運転者の顔の向きの分布に基づいて顔の向きの中心を求め、当該中心を運転者の顔の向きの正面方向とする補正を行う。
ここで、被撮像体である運転者の顔は、安全運転のため車両の前方を向いているが、上述のように個人差等によって個々の運転者の顔が向いている方向の中心は異なっている。運転者の顔が向いている方向の中心は、いわば顔の向きの基準方向というべきであるが、本明細書では、便宜的に正面方向と呼ぶこととする。即ち、「運転者の顔の向き」、「被撮像体の顔の向き」は、時々刻々と変化する、まさに顔の向きを言い、映像処理装置100で撮影したある瞬間の映像内において例えば助手席側を向いた場合には、その向きを言う。
これに対して「顔の向きの正面方向」(あるいは単に「正面方向」)は、映像処理装置100で撮影した映像内において、運転者または被撮像体の顔が主として向いている方向(上述の基準方向)を言い、時々刻々と動く顔の向きの分布から求められる中心を言う。尚、「顔の向きの正面方向」は「顔の向きの基準方向」或いは「顔の向きの主方向」などの用語で表現されてもよい。
映像処理装置100は、例えば、車両が走行している状態であることを検出して、運転者の顔の向きの正面方向を補正する。さらに、映像処理装置100は、正面方向の補正を実行する旨を運転者に向けて報知し、運転者自らが正面方向を向いている状態で、運転者の顔の向きの正面方向を補正するようにしてもよい。映像処理装置100における運転者の顔の向きの正面方向に対する補正は、顔の向きの正面方向をキャリブレーション(校正)することを意味しており、このようなキャリブレーションの実行によって、映像中の運転者の顔の向きを正しく分析することが可能になる。
本実施形態では、映像処理装置100によって撮影された運転者の顔の向きに基づく機能に関して記載を省略するが、映像処理装置100において、運転者の顔の向きに関するデータの出力機能や、よそ見を検出して報知する警告機能などを有していてもよい。また、映像処理装置100は、運転者の顔の向きが正面方向に対してどれだけずれているかを分布などに基づいて統計的に処理し、運転者の顔の向きを診断し評価する機能を有していてもよい。
映像処理装置100は、撮像部10、記録部20、映像処理部30、外部入力部40および外部出力部41等を備える。撮像部10は、例えばCCD等の検出器を有するカメラであり、車両に搭乗している例えば運転者を被撮像体として含む車室内の映像を撮影する。撮像部10は、時間的に連続して映像を取得し、後述する映像取得部31へ送出する。
記録部20は、例えばSDカードやUSBメモリ等の着脱可能な媒体や、ハードディスクなどであり、映像取得部31で取得された映像を記録し、削除することができるものとする。以下、記録部20が設けられた構成について説明するが、映像処理装置100が映像を記録する部分を持たない場合には記録部20は設けなくてもよい。記録部20は、映像処理装置100に着脱可能に構成されていてもよく、この場合、映像処理装置100から取り外し、別のPC等で映像を再生等することができる。
外部入力部40は、車両の速度情報および位置情報等を外部装置から取得する。また外部入力部40は、車両に搭載された加速度センサやジャイロ等により計測されたデータを外部装置から取得するようにしてもよい。外部出力部41は、映像処理部30によって処理された映像情報、および運転者の顔の向きに関するデータ等を外部装置へ出力する。尚、映像処理装置100によって検出された運転者の顔の向きに関するデータや、顔の向きの正面方向に関する補正データは、記録部20に記録された後、外部出力部41から出力されるようにしてもよい。また、映像処理装置100は、外部入力部40によって取得した速度情報および位置情報等を映像に付加して記録部20へ記録し、外部出力部41から出力するようにしてもよい。
映像処理部30は、映像取得部31、映像認識部32、向き検出部33、補正処理部34および走行判定部35を有する。映像処理部30は、例えばCPUなどによって構成され、コンピュータプログラムに従って動作することによって、上述の各部による処理を実行する。記憶部30aは、RAM(Random Access Memory)、フラッシュメモリ、ハードディスク記憶装置等のデータ記憶装置によって構成されており、映像処理部30で実行するコンピュータプログラム等を記憶する。また記憶部30aは、撮影された映像から被撮像体の顔や目等を認識するための認識用辞書などを記憶している。
映像取得部31は、撮像部10において撮影された映像を取得してデータ圧縮等の処理を行い、記録部20に出力する。尚、映像取得部31は、撮像部10を含んで構成されていてもよい。
映像認識部32は、記憶部30aに記憶された認識用辞書や学習型の演算モデルなどに基づいて、映像取得部31から入力された映像から被撮像体の顔や目などの顔の部位を認識する。記憶部30aに記憶した認識用辞書には、顔や目等の形状データ等が含まれており、映像認識部32は、映像に表われている形状パターンを抽出し、認識用辞書に含まれる形状データと照合することによって顔や目等を認識する。映像認識部32は、様々な分野において開発されてきた公知の画像認識処理の手法を用いて、映像から顔や目等を認識することができ、例えばニューラルネットワークによる学習型の演算モデルによって顔や目等を認識する手法などを用いてもよい。
向き検出部33は、映像認識部32によって認識された顔や顔の各部位のデータに基づいて、被撮像体の顔の向きを検出する。図2は顔の向きについて説明するための模式図である。図2には、例えば運転者の顔を車両の前側から見た状態が表されており、車両の前方向をX軸方向、車両の左方向をY軸方向、車両の上方向をZ軸方向としている。また、X軸回りの回転をロール、Y軸回りの回転をピッチ、Z軸回りの回転をヨーとする。
被撮像体の顔の向きは、ピッチングおよびヨーイングによって変化する。即ち、顔の向きについてピッチングを検出することによって、被撮像体が上下方向に顔の向きを変化させたことがわかる。また、顔の向きについてヨーイングを検出することによって、被撮像体が左右方向に顔の向きを変化させたことがわかる。
向き検出部33は、例えば図2に示す左右の目を結ぶ線L1の上下への動きによってピッチ角を検出する。また、向き検出部33は、鼻の中心線L2や、左右の目尻の位置P1およびP2などの動きによってヨー角を検出する。向き検出部33は、これらの部位のほか、眉、鼻、口等の顔の各部位の移動に基づいて顔のピッチ角およびヨー角を検出することができる。尚、向き検出部33は、顔の向きの検出に関して様々な技術分野において開発されてきた公知の技術を用いることができる。
補正処理部34は、向き検出部33によって検出された被撮像体の顔の向きの分布に基づいて被撮像体の顔の向きの正面方向を補正する。図3は、向き検出部33によって検出した顔の向きの分布の一例を表わすグラフである。図3では、横軸にヨー角、縦軸にピッチ角をとり、向き検出部33によって検出された顔の向きのピッチ角およびヨー角を濃淡によりプロットするいわゆるヒートマップで表している。即ち、所定期間内に検出される顔の向きのピッチ角およびヨー角のデータについて、各ピッチ角およびヨー角ごとに検出された回数を積算し、積算された回数が低い場合には黒く、積算された回数が高い場合には白く表される。尚、所定期間は、例えば数秒~数分程度とするが任意の時間長の期間に設定してもよい。検出に用いるヒートマップは、映像処理装置100の調整モードや運転者による一時的な動作確認などの目的で、リアルタイム或いは非リアルタイムに外部出力部41を通して映像情報として出力してもよいし、データとして記録部20に記録してもよい。
補正処理部34は、図3によって表される顔の向きのピッチ角およびヨー角の分布の中心を求めて、顔の向きの正面方向とする補正を行う。分布の中心については、平均値、中央値、或いは最頻値など統計学的手法を用いて求めることができる。例えば図3に示すように、補正処理部34は、星印の位置を分布の中心として求め、星印の方向を被撮像体の顔の向きの正面方向として補正する。
走行判定部35は、映像処理装置100自身が搭載された車両が走行しているか否かを判定する。走行判定部35は、外部入力部40によって取得した速度情報や位置情報に基づいて車両が走行しているか否かを判定してもよいし、映像取得部31によって取得した映像に基づいて車両が走行しているか否かを判定するようにしてもよい。
走行判定部35は、映像に基づいて車両が走行しているかを判定する場合には、撮影した映像中の窓の部分における風景の流れによって判定を実行する。図4は映像取得部31によって取得した映像の一例を表す模式図である。図4に示す映像中にはリアウインドウA、並びに運転席および助手席のウインドウBが映っており、走行判定部35は、各ウインドウ内の映像のフレーム間差分等によって風景の流れを検出する。走行判定部35は、各ウインドウ内の風景が流れている場合に車両が走行していると判定し、各ウインドウ内の風景が流れていない場合には車両が走行していないと判定する。
運転者は、車両が走行している場合に、車両前方に顔を向けて安全確認をしつつ運転している。そこで、映像処理部30は、走行判定部35によって車両が走行していると判定された場合に、向き検出部33によって顔の向きを検出し、補正処理部34によって顔の向きの正面方向を求めて補正を実行するようにするとよい。
また映像処理部30は、走行判定部35による判定に関わらず、向き検出部33によって顔の向きを検出し、補正処理部34によって顔の向きの正面方向を求めて補正を実行するようにしてもよい。走行前の車両停止状態では運転者は車内の様子を確認するなど運転前の動作によって顔の向きが変化することが予想されるが、映像処理部30は運転開始前の運転者の顔の挙動を検出することになる。また、映像処理部30は、運転者に対して正面方向を向くように指示を音声等により報知し、車両が走行していない状態で運転者の顔の向きの正面方向を補正するようにしてもよい。
次に映像処理装置100の動作について、顔の向きの正面方向の補正処理に基づいて説明する。図5は、映像処理装置100における正面方向の補正処理の手順を示すフローチャートである。映像処理装置100の走行判定部35は、車両が走行しているか否かを判定する(S1)。走行判定部35は、上述のように映像取得部31で取得した映像からウインドウ部分における風景が流れているかをフレーム間差分等により検出することによって、車両が走行しているか否かを判定する。また走行判定部35は、外部入力部40で取得した速度情報や位置情報に基づいて車両が走行しているか否かを判定してもよい。
ステップS1において、車両が走行していないと判定した場合(S1:NO)、ステップS1の判定を繰り返し、車両が走行していると判定した場合(S1:YES)、向き検出部33は、被撮像体の顔の向きを検出する(S2)。向き検出部33は、被撮像体の顔の向きを検出して補正処理部34へ出力する。補正処理部34は、向き検出部33から入力された被撮像体の顔の向きを所定期間に亘って蓄積し、顔の向きの分布データを取得する(S3)。
補正処理部34は、顔の向きの分布データに基づいて、顔の向きの分布の中心を算出し、算出した中心を正面方向とする補正を行い(S4)、処理を終了する。分布の中心は、平均値、中央値、或いは最頻値などとする。
映像処理装置100は、被撮像体の顔を含む映像を取得し、顔の向きを検出しており、所定期間内で検出した顔の向きの分布から分布の中心を求め、求めた中心を顔の向きの正面方向として補正することができる。映像処理装置100は、顔の向きの正面方向を補正することによって、正面方向に対して運転者がよそ見をしている場合に報知して警告する機能などに応用することができる。また、映像処理装置100は、運転者の顔の向きが正面方向に対してどれだけずれているかを分布などに基づいて統計的に処理する外部装置に、顔の向きの分析や評価の精度を良くするための情報を提供することができる。
映像処理装置100は、車両が走行していると判定されたときに顔の向きの正面方向を補正することによって、走行していない場合に比べて高い確率で運転者が正面方向に顔を向けているので、正面方向の補正をより正確に行うことができる。映像処理装置100は、車両が走行していないときに顔の向きの正面方向を補正する場合、運転者が正面方向を向いている確率は低くなるが、運転前にどのような動作をしているかを把握するための情報を提供することができる。また、映像処理装置100は、車両が走行していないときに、正面方向を向くように指示を報知し、運転者の顔の向きの正面方向を補正するようにしてもよい。
また映像処理装置100は、車両が走行しているか否かを映像取得部31によって取得した映像に映ったウインドウ内の風景の流れに基づいて判断することで、外部からの速度情報や位置情報に依存せずに、顔の向きの正面方向を補正することができる。
映像処理装置100は、所定期間内で検出した顔の向きの分布から分布の中心を求めている。例えば正面方向から大きくずれた方向を向いている点が図3に示した分布に現れた場合、分布の中心は、正面方向から大きくずれた点の影響を受けて本来の正面方向からずれてしまう可能性もある。補正処理部34は、ピッチ角およびヨー角の閾値を定めて正面方向から大きくずれた点を除外するようにしてもよい。また補正処理部34は、頻度の閾値を定め、低頻度で現れる点を除去するようにしてもよい。
映像処理装置100は、被撮像体の顔の向きの正面方向について初期値を設定していてもよい。正面方向の初期値は、例えば基準とする背丈および座高の人が基準とするシート位置に着座して正面を向いたときに撮影される映像内における顔の向きのピッチ角およびヨー角を初期値に定める。基準とする背丈や座高は、例えば成人の身長や座高の平均値などを参考とするが、必ずしも厳密な値である必要はない。また基準とするシート位置は、例えば上下方向のストロークの中央位置などとする。また、映像処理装置100がバックミラーに取り付けられている場合には、バックミラーが基準位置にあることを想定する。バックミラーの基準位置は、例えばバックミラーの左右調整角度範囲における中央位置などとするが、必ずしも厳密な値である必要はない。
(変形例)
上述の実施形態では、車両が走行していると判定した場合に顔の向きの正面方向を補正することを述べたが、車両が直進している場合に顔の向きの正面方向を補正するようにしてもよい。
走行判定部35は、車両が直進しているか否かを例えば位置情報および地図情報を用いて判定する。走行判定部35は、車両に搭載されたナビゲーション装置(図示略)から車両が直進しているか否かの情報を外部入力部40によって取得して判定しても良い。走行判定部35によって車両が直進していると判定した場合に、補正処理部34は、被撮像体の顔の向きの正面方向を補正する。
車両が例えばカーブを走行している場合には運転者の顔の向きが正面方向からずれることが多い。映像処理装置100は、車両が直進している場合に被撮像体の顔の向きの正面方向を補正することで、正面方向をより正確に補正することができる。
また映像処理装置100は、被撮像体として運転者だけでなく、助手席や後部座席等における車両の搭乗者の顔の向きについて正面方向の補正を行うようにしてもよい。助手席や後部座席の搭乗者は、よそ見などの評価をする必要はないが、顔の向きが主としてどの方向を向いており、当該方向に対してどの程度ずれた方向を向くかなどを評価し、例えば情報機器や広告の配置を工夫することや、視野を確保するための車室内レイアウトの工夫などに利用することができる。
次に、上述の各実施形態および変形例に係る映像処理装置100および映像処理方法の特徴を説明する。
映像処理装置100は、映像取得部31、向き検出部33および補正処理部34を備える。映像取得部31は、被撮像体の顔を含む映像を取得する。向き検出部33は、映像取得部31によって取得された映像に基づいて顔の向きを検出する。補正処理部34は、被撮像体の顔の向きにおける正面方向を補正する。補正処理部34は、向き検出部33によって複数回検出した顔の向きの分布に基づいた顔の向きの中心を被撮像体の顔の向きにおける正面方向として補正する。これにより、映像処理装置100は、撮影される被撮像体の顔の正面方向を補正することができ、顔の向きの分析や評価の精度を良くするための情報を提供することができる。
また車両が走行中であるかを判定する走行判定部35をさらに備える。補正処理部34は、走行判定部35によって車両が走行中であると判定しているときに向き検出部33によって検出した顔の向きの分布に基づいて補正する。これにより、映像処理装置100は、被撮像体の顔の向きの正面方向をより正確に補正することができる。
また走行判定部35は、映像取得部31によって取得した映像における車両外部の風景の流れに基づいて車両が走行中であるかを判定する。これにより、映像処理装置100は、外部からの速度情報や位置情報に依存せずに、顔の向きの正面方向を補正することができる。
また補正処理部34は、車両が直進している場合に向き検出部33によって検出した顔の向きの分布に基づいて補正する。これにより、映像処理装置100は、被撮像体の顔の向きの正面方向をより正確に補正することができる。
映像処理装置100における映像処理方法は、映像取得ステップ、向き検出ステップおよび補正処理ステップを備える。映像取得ステップは、被撮像体の顔を含む映像を取得する。向き検出ステップは、映像取得ステップによって取得された映像に基づいて顔の向きを検出する。補正処理ステップは、被撮像体の顔の向きにおける正面方向を補正する。補正処理ステップは、向き検出ステップによって複数回検出した顔の向きの分布に基づいた顔の向きの中心を被撮像体の顔の向きにおける正面方向として補正する。この映像処理方法によれば、撮影される被撮像体の顔の正面方向を補正することができ、顔の向きの分析や評価の精度を良くするための情報を提供することができる。
映像処理装置100における映像処理プログラムは、映像取得ステップ、向き検出ステップおよび補正処理ステップをコンピュータに実行させる。映像取得ステップは、被撮像体の顔を含む映像を取得する。向き検出ステップは、映像取得ステップによって取得された映像に基づいて顔の向きを検出する。補正処理ステップは、被撮像体の顔の向きにおける正面方向を補正する。補正処理ステップは、向き検出ステップによって複数回検出した顔の向きの分布に基づいた顔の向きの中心を被撮像体の顔の向きにおける正面方向として補正する。この映像処理プログラムによれば、撮影される被撮像体の顔の正面方向を補正することができ、顔の向きの分析や評価の精度を良くするための情報を提供することができる。
以上、本発明の実施の形態をもとに説明した。これらの実施の形態は例示であり、いろいろな変形および変更が本発明の特許請求範囲内で可能なこと、またそうした変形例および変更も本発明の特許請求の範囲にあることは当業者に理解されるところである。従って、本明細書での記述および図面は限定的ではなく例証的に扱われるべきものである。
31 映像取得部、 33 向き検出部、 34 補正処理部、
35 走行判定部、 100 映像処理装置。

Claims (5)

  1. 被撮像体の顔を含む映像を取得する映像取得部と、
    前記映像取得部によって取得された前記映像に基づいて顔の向きを検出する向き検出部と、
    前記被撮像体の顔の向きにおける正面方向を補正する補正処理部と、
    を備える映像処理装置において、
    前記補正処理部は、前記向き検出部によって複数回検出した顔の向きの分布に基づいた顔の向きの中心を前記被撮像体の顔の向きにおける正面方向として補正することを特徴とする映像処理装置。
  2. 車両が走行中であるかを判定する走行判定部をさらに備え、
    前記補正処理部は、前記走行判定部によって車両が走行中であると判定しているときに前記向き検出部によって検出した顔の向きの分布に基づいて補正することを特徴とする請求項1に記載の映像処理装置。
  3. 前記走行判定部は、前記映像取得部によって取得した映像における車両外部の風景の流れに基づいて車両が走行中であるかを判定することを特徴とする請求項2に記載の映像処理装置。
  4. 前記補正処理部は、車両が直進している場合に前記向き検出部によって検出した顔の向きの分布に基づいて補正することを特徴とする請求項1から3のいずれか1項に記載の映像処理装置。
  5. 被撮像体の顔を含む映像を取得する映像取得ステップと、
    前記映像取得ステップによって取得された前記映像に基づいて顔の向きを検出する向き検出ステップと、
    前記被撮像体の顔の向きにおける正面方向を補正する補正処理ステップと、
    を備え、
    前記補正処理ステップは、前記向き検出ステップによって複数回検出した顔の向きの分布に基づいた顔の向きの中心を前記被撮像体の顔の向きにおける正面方向として補正することを特徴とする、映像処理装置における映像処理方法。
JP2020121188A 2020-07-15 2020-07-15 映像処理装置および映像処理方法 Pending JP2022018231A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020121188A JP2022018231A (ja) 2020-07-15 2020-07-15 映像処理装置および映像処理方法
PCT/JP2020/047730 WO2022014068A1 (ja) 2020-07-15 2020-12-21 映像処理装置および映像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020121188A JP2022018231A (ja) 2020-07-15 2020-07-15 映像処理装置および映像処理方法

Publications (1)

Publication Number Publication Date
JP2022018231A true JP2022018231A (ja) 2022-01-27

Family

ID=79554555

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020121188A Pending JP2022018231A (ja) 2020-07-15 2020-07-15 映像処理装置および映像処理方法

Country Status (2)

Country Link
JP (1) JP2022018231A (ja)
WO (1) WO2022014068A1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017004117A (ja) * 2015-06-05 2017-01-05 富士通テン株式会社 視線検出装置および視線検出方法
JP6673005B2 (ja) * 2016-05-20 2020-03-25 株式会社デンソー 顔向き推定装置及び顔向き推定方法
WO2018150485A1 (ja) * 2017-02-15 2018-08-23 三菱電機株式会社 運転状態判定装置および運転状態判定方法
CN111712852B (zh) * 2018-02-19 2023-08-11 三菱电机株式会社 乘客状态检测装置、系统和方法
JP2019205078A (ja) * 2018-05-24 2019-11-28 株式会社ユピテル システム及びプログラム等

Also Published As

Publication number Publication date
WO2022014068A1 (ja) 2022-01-20

Similar Documents

Publication Publication Date Title
JP6458734B2 (ja) 乗車人数計測装置、乗車人数計測方法および乗車人数計測プログラム
US9405982B2 (en) Driver gaze detection system
JP6281492B2 (ja) 乗車人数計測装置、方法およびプログラム
JP5230748B2 (ja) 視線方向判定装置及び視線方向判定方法
JP5207249B2 (ja) 運転者状態監視システム
US7379559B2 (en) Method and apparatus for determining an occupant's head location in an actuatable occupant restraining system
WO2014061195A1 (ja) 乗車人数計数システム、乗車人数計数方法および乗車人数計数プログラム
JP6573193B2 (ja) 判定装置、判定方法、および判定プログラム
US20070289799A1 (en) Vehicle occupant detecting system
JP5790762B2 (ja) 瞼検出装置
US20220292705A1 (en) Systems, devices and methods for measuring the mass of objects in a vehicle
CN104573622B (zh) 人脸检测装置、方法
JP6814977B2 (ja) 画像処理装置、検知装置、学習装置、画像処理方法、および画像処理プログラム
CN109345591A (zh) 一种车辆自身姿态检测方法和装置
JP7134364B2 (ja) 体格判定装置および体格判定方法
WO2022014068A1 (ja) 映像処理装置および映像処理方法
US11161470B2 (en) Occupant observation device
JP2004053324A (ja) 自動車用衝突安全制御装置
US20230227044A1 (en) Apparatus, method, and computer program for monitoring driver
CN110199318A (zh) 驾驶员状态推定装置以及驾驶员状态推定方法
Wang et al. Enhancing YOLOv7-Based Fatigue Driving Detection through the Integration of Coordinate Attention Mechanism
US11983952B2 (en) Physique determination apparatus and physique determination method
WO2021171538A1 (ja) 表情認識装置及び表情認識方法
CN116152790B (zh) 一种安全带检测方法及装置
CN111696312B (zh) 乘员观察装置