JP2023166227A - 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム - Google Patents

情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム Download PDF

Info

Publication number
JP2023166227A
JP2023166227A JP2022077136A JP2022077136A JP2023166227A JP 2023166227 A JP2023166227 A JP 2023166227A JP 2022077136 A JP2022077136 A JP 2022077136A JP 2022077136 A JP2022077136 A JP 2022077136A JP 2023166227 A JP2023166227 A JP 2023166227A
Authority
JP
Japan
Prior art keywords
information processing
face
steering angle
vehicle
vehicle speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022077136A
Other languages
English (en)
Inventor
宏太 鷲尾
Kota Washio
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2022077136A priority Critical patent/JP2023166227A/ja
Priority to US18/186,204 priority patent/US20230360252A1/en
Priority to CN202310277297.5A priority patent/CN117037122A/zh
Publication of JP2023166227A publication Critical patent/JP2023166227A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】顔の向き又は視線だけで脇見を判定する場合に比べて、誤検出を抑制した脇見運転シーンを抽出可能な情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラムを提供することを目的とする。【解決手段】取得部４０が、車両情報及び撮影部２４によって撮影された画像情報としての動画フレームをＤＢ３８から取得し、抽出部４４が、車速が予め定めた閾値以上、かつ、操舵角が予め定めた範囲内の操舵角のときの撮影画像から、乗員の顔の向き及び注視点の位置の少なくとも一方が予め定めた脇見条件を満たす撮影画像を抽出する。【選択図】図２

Description

本発明は、情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラムに関する。
特許文献１には、ドライバの顔の向き、及び ドライバの視線の向きを検出し、判定部が、ドライバの顔の向きに基づいて、ドライバが脇見をしているか否かを判定し、ドライバが脇見をしていないと判定された場合、ドライバの視線の向きに基づいて、ドライバが脇見をしているか否かを判定する脇見検出装置が提案されている。
特開２００９－１５５４９号公報
カーブ走行時や、駐車場で場所を探しながらの走行時に、顔の向きが正面以外となるため、脇見と誤検出してしまうことがあった。顔の向き又は視線だけでは、脇見を誤検出してしまうため、運転者を撮影した撮影画像から誤検出することなく脇見運転シーンを抽出するためには改善の余地がある。
本発明は、上記事実を考慮して成されたもので、顔の向き又は視線だけで脇見を判定する場合に比べて、誤検出を抑制した脇見運転シーンを抽出可能な情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラムを提供することを目的とする。
第１態様に係る情報処理装置は、乗員の顔を撮影した動画像の撮影画像、並びに、前記撮影画像に対応する、車両の操舵角を表す操舵角情報及び車速を表す車速情報を取得する取得部と、前記車速が予め定めた閾値以上、かつ、前記操舵角が予め定めた範囲内の操舵角のときの前記撮影画像から、乗員の顔の向き及び注視点の位置の少なくとも一方が予め定めた脇見条件を満たす撮影画像を抽出する抽出部と、を含む。
第１態様によれば、車速が予め定めた閾値以上、かつ、操舵角が予め定めた範囲内の操舵角のときの撮影画像から脇見運転シーンの画像を抽出するので、顔の向き又は視線だけで脇見を判定する場合に比べて、誤検出を抑制した脇見運転シーンを抽出できる。
第２態様に係る情報処理装置は、第１態様に係る情報処理装置において、前記抽出部は、前記脇見条件が予め定めた時間以上継続する撮影画像を抽出する。
第２態様によれば、脇見条件が予め定めた時間以上継続する撮影画像を抽出するので、確実に脇見運転をしている撮影画像を抽出できる。
第３態様に係る情報処理装置は、第１態様又は第２態様に係る情報処理装置において、前記抽出部は、前記脇見条件が予め定めた異常時間以上継続する撮影画像を除外する。
第３態様によれば、脇見条件が予め定めた異常時間以上継続する撮影画像を除外することで、通信異常等による脇見運転の誤判定を防止できる。
第４態様に係る情報処理装置は、第１態様～第３態様の何れか１の態様に係る情報処理装置において、前記抽出部は、前記脇見条件を満たす撮影画像のうち、前記顔の向きの絶対値が最大、及び正面から前記注視点までの距離が最大の少なくとも一方の撮影画像を抽出する。
第４態様によれば、顔の向きの絶対値が最大、及び正面から注視点までの距離が最大の少なくとも一方の撮影画像を抽出することにより、撮影画像の中から代表的な脇見運転シーンを抽出できる。
第５態様に係る情報処理装置は、第１態様～第４態様の何れか１の態様に係る情報処理装置において、前記抽出部は、前記顔の向き、及び前記注視点の位置の双方の脇見条件を満たす場合、顔の向きの絶対値が最大となる撮影画像を優先して抽出する。
第５態様によれば、正面から注視点までの距離が最大となる撮影画像を抽出する場合よりも、代表的な脇見運転シーンを抽出できる。
第６態様に係る情報処理システムは、
乗員の顔を撮影して動画像の撮影画像を生成する撮影部を備えた車両と、
乗員の顔を撮影した動画像の撮影画像、並びに、前記撮影画像に対応する、車両の操舵角を表す操舵角情報及び車速を表す車速情報を取得する取得部と、前記車速が予め定めた閾値以上、かつ、前記操舵角が予め定めた範囲内の操舵角のときの前記撮影画像から、乗員の顔の向き及び注視点の位置の少なくとも一方が予め定めた脇見条件を満たす撮影画像を抽出する抽出部と、を含む情報処理装置と、を含む。
第６態様によれば、顔の向き又は視線だけで脇見を判定する場合に比べて、誤検出を抑制した脇見運転シーンを抽出可能な情報処理システムを提供できる
第７態様に係る情報処理方法は、コンピュータが、乗員の顔を撮影した動画像の撮影画像、並びに、前記撮影画像に対応する、車両の操舵角を表す操舵角情報及び車速を表す車速情報を取得し、前記車速が予め定めた閾値以上、かつ、前記操舵角が予め定めた範囲内の操舵角のときの前記撮影画像から、乗員の顔の向き及び注視点の位置の少なくとも一方が予め定めた脇見条件を満たす撮影画像を抽出する処理を行う。
第７態様によれば、顔の向き又は視線だけで脇見を判定する場合に比べて、誤検出を抑制した脇見運転シーンを抽出可能な情報処理方法を提供できる
第８態様に係る情報処理プログラムは、コンピュータに、乗員の顔を撮影した動画像の撮影画像、並びに、前記撮影画像に対応する、車両の操舵角を表す操舵角情報及び車速を表す車速情報を取得し、前記車速が予め定めた閾値以上、かつ、前記操舵角が予め定めた範囲内の操舵角のときの前記撮影画像から、乗員の顔の向き及び注視点の位置の少なくとも一方が予め定めた脇見条件を満たす撮影画像を抽出する処理を実行させる。
第８態様によれば、顔の向き又は視線だけで脇見を判定する場合に比べて、誤検出を抑制した脇見運転シーンを抽出可能な情報処理プログラムを提供できる
以上説明したように本発明によれば、顔の向き又は視線だけで脇見を判定する場合に比べて、誤検出を抑制した脇見運転シーンを抽出可能な情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラムを提供できる。
本実施形態に係る情報処理システムの概略構成を示す図である。 本実施形態に係る情報処理システムにおける車載器及びサーバの機能構成を示す機能ブロック図である。 制御部及び中央処理部の構成を示すブロック図である。 運転者の顔の向きの判断方法を説明するための図である。 注視点から顔の向きを判断する方法を説明するための図である。 運転者から見た視野と顔向きの対応を示す図である。 脇見運転の撮影画像の抽出の一例を説明するための図である。 本実施形態に係る情報処理システムにおいて、サーバで行われる処理の流れの一例を示すフローチャートである。 中央処理部の機能を車載器側の制御部に備えた場合の車載器の機能構成を示す機能ブロック図である。
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。図１は、本実施形態に係る情報処理システムの概略構成を示す図である。
本実施形態に係る情報処理システム１０は、車両１４に搭載された車載器１６と、情報処理装置の一例としてのサーバ１２とが通信ネットワーク１８を介して接続されている。本実施形態に係る情報処理システム１０では、複数の車載器１６の撮影によって得られる画像情報及び各車両１４の状態を表す車両情報をサーバ１２に送信して、サーバ１２が画像情報及び車両情報を蓄積する。そして、サーバ１２が、蓄積した画像情報及び車両情報に基づいて、運転者の居眠りシーンの撮影画像を抽出する処理を行う。
図２は、本実施形態に係る情報処理システム１０における車載器１６及びサーバ１２の機能構成を示す機能ブロック図である。
車載器１６は、制御部２０、車両情報検出部２２、撮影部２４、通信部２６、及び表示部２８を備えている。
車両情報検出部２２は、車両１４に関する車両情報を検出する。本実施形態では、車速を表す車速情報、及び操舵角を表す操舵角情報を車両情報の一例として取得するが、車速及び操舵角以外の車両情報も検出してもよい。例えば、車両１４の位置情報、加速度、アクセル開度、車両周辺の障害物までの距離、経路等の車両情報を検出する。車両情報検出部２２は、具体的には、車両１４の周辺環境がどのような状況かを表す情報を取得する複数種のセンサや装置を適用できる。センサや装置の一例としては、車速センサ、操舵角センサ、及び加速度センサなどの車両１４に搭載されるセンサや、ＧＮＳＳ（Global Navigation Satellite System）装置、車載通信機、ナビゲーションシステム、及びレーダ装置などが挙げられる。ＧＮＳＳ装置は、複数のＧＮＳＳ衛星から時間情報を含むＧＮＳＳ信号を受信して自車両１４の位置を測位する。ＧＮＳＳ装置は受信可能なＧＮＳＳ信号の数が多くなるに従って測位の精度が向上する。車載通信機は、通信部２６を介して他の車両１４との間の車車間通信及び路側機との間の路車間通信の少なくとも一方を行う通信装置である。ナビゲーションシステムは、地図情報を記憶する地図情報記憶部を含み、ＧＮＳＳ装置から得られる位置情報と地図情報記憶部に記憶された地図情報とに基づいて、自車両１４の位置を地図上で表示したり、目的地迄の経路を案内する処理を行う。また、レーダ装置は、検出範囲が互いに異なる複数のレーダを含み、自車両１４の周辺に存在する歩行者や他車両１４等の物体を検出し、検出した物体と自車両１４の相対位置及び相対速度を取得する。また、レーダ装置は周辺の物体の探知結果を処理する処理装置を内蔵している。当該処理装置は、直近の複数回の探知結果に含まれる個々の物体との相対位置や相対速度の変化等に基づき、ノイズやガードレール等の路側物等を監視対象から除外し、歩行者や他車両１４等を監視対象物体として追従監視する。そしてレーダ装置は、個々の監視対象物体との相対位置や相対速度等の情報を出力する。
撮影部２４は、本実施形態では、車室内に搭載され、運転者を撮影し、動画像の撮影画像を表す画像データを生成する。なお、撮影部２４は、車両１４の前方、側方、及び後方の少なくとも１つの車両周辺を更に撮影してもよい。
通信部２６は、通信ネットワーク１８を介してサーバ１２と通信を確立して、撮影部２４の撮影によって得られる画像情報や車両情報検出部２２によって検出された車両情報等の情報の送受信を行う。
表示部２８は、情報を表示することにより、乗員に各種情報を提供する。本実施形態では、サーバ１２から提供される情報等を表示する。
制御部２０は、図３に示すように、ＣＰＵ（Central Processing Unit）２０Ａ、ＲＯＭ（Read Only Memory）２０Ｂ、ＲＡＭ（Random Access Memory）２０Ｃ、ストレージ２０Ｄ、インタフェース（Ｉ／Ｆ）２０Ｅ、及びバス２０Ｆ等を含む一般的なマイクロコンピュータで構成されている。また、制御部２０は、撮影部２４によって撮影された画像を表す画像情報、及び画像の撮影時に車両情報検出部２２によって検出された車両情報をサーバ１２にアップロードする制御等を行う。
一方、サーバ１２は、中央処理部３０、中央通信部３６、及びＤＢ（データベース）３８を備えている。
中央処理部３０は、図３に示すように、ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、及びＲＡＭ３０Ｃ、ストレージ３０Ｄ、インタフェース（Ｉ／Ｆ）３０Ｅ、及びバス３０Ｆ等を含む一般的なマイクロコンピュータで構成されている。中央処理部３０は、図２に示すように、取得部４０、顔向き認識部４２、注視点認識部４３、及び抽出部４４の機能を備えている。なお、中央処理部３０の各機能は、ＣＰＵ３０ＡがＲＯＭ３０Ｂ等に記憶されたプログラムを実行することにより実現される。
取得部４０は、車両情報及び撮影部２４によって撮影された画像情報としての動画フレームをＤＢ３８から取得する。詳細には、車両情報と動画フレームの時刻合わせ等を行って車両情報と動画フレームを同期させて情報を取得する。
顔向き認識部４２は、運転者の撮影画像から運転者の顔を抽出し、顔の向きを認識する。顔向き認識部４２は、画像認識により運転者の顔の向きを認識する。例えば、機械学習等により予め学習したモデルを用いて、運転者の顔の向きを認識する。
注視点認識部４３は、運転者の撮影画像から運転者の注視点を認識する。注視点認識部４３は、画像認識により運転者の注視点を認識する。例えば、機械学習等により予め学習したモデルを用いて、運転者の注視点を認識する。
抽出部４４は、取得部４０によって取得された車両情報、顔向き認識部４２、及び注視点認識部４３の認識結果に基づいて、動画像の撮影画像の中から運転者の脇見運転している脇見運転シーンに対応する撮影画像を抽出する。本実施形態では、抽出部４４は、車速が予め定めた閾値以上、かつ、操舵角が予め定めた範囲内の操舵角のときの撮影画像から、乗員の顔の向き及び注視点の位置の少なくとも一方が予め定めた脇見条件を満たす撮影画像を抽出する。これにより、車速の条件により駐車場など低速で場所を探している場合に脇見運転と誤検知することを抑制できる。また、操舵角の条件によりカーブ走行時など視線及び顔向きが非正面になる場合に脇見運転と誤検知することを抑制できる。
中央通信部３６は、通信ネットワーク１８を介して車載器１６と通信を確立して、画像情報や車両情報等の情報の送受信を行う。
ＤＢ３８は、車載器１６から画像情報及び車両情報を受信し、受信した画像情報及び車両情報のそれぞれ対応付けて蓄積する。
上述のように構成された情報処理システム１０では、車載器１６の撮影部２４によって撮影された画像情報が、車両情報と共にサーバ１２に送信されてＤＢ３８に蓄積される。そして、サーバ１２では、ＤＢ３８に蓄積された画像情報及び車両情報に基づいて脇見運転シーンに対応する撮影画像を抽出する処理を行う。
ここで、サーバ１２の抽出部４４による、運転者の脇見運転シーンに対応する撮影画像の抽出について詳細に説明する。
抽出部４４は、予め定めた脇見検出開始条件が成立した場合に脇見運転シーンの抽出を開始する。具体的には、予め定めた車速（例えば、１０ｋｍ）以上で、操舵角が予め定めた範囲内（例えば、－６０°＜操舵角＜６０°等の範囲内）で、かつ、予め定めた脇見条件の一例として以下の１．～３．の何れかを満たすとき、脇見運転シーンの抽出を開始する。
１．顔向き＜－２９°未満、または顔向き＞２９°
２．水平方向注視点≦－３、または水平方向注視点≧３
３．－２≦水平方向注視点≦２、かつ垂直方向注視点≦－３
なお、顔向きは、図４に示すように、運転者の上面から見て、－３０°～＋３０°を顔向き正面とし、これ以外の範囲を非正面の脇見と判断する。また、注視点については、図５に示すように、注視点位置水平方向（左右方向）及び注視点位置垂直方向（上下方向）の各々の方向に５～－５の領域に分割して、注視点の領域を検出する。そして、注視点位置水平方向が２～－２で、注視点位置垂直方向が５～－２の範囲の場合に正面を向いていると判断する。注視点位置水平方向が３以上または－３以下の範囲の場合は非正面と判断する。また、注視点位置水平方向が２～－２で、かつ注視点位置垂直方向が－３以下の範囲はホーンパッドの領域と判断する。図５の正面、非正面、ホーンパッドの各領域は、運転者から見ると図６に示す領域となる。
また、抽出部４４は、予め定めた脇見検出終了条件として上記の脇見運転シーン抽出の開始条件が解除されたときに、脇見運転シーンの抽出を終了する。
また、抽出部４４は、上記の脇見運転シーン抽出の開始条件の成立の継続時間をカウントし、予め定めた時間（例えば、３秒等）以上続くとき脇見と判定する。例えば、予め定めた車速（例えば、１０ｋｍ）以上で、操舵角が予め定めた範囲内の状態の場合に、図７の黒点で示すように、３秒以上継続して顔向きが非正面の撮影画像を脇見運転シーンとして抽出する。図７の点線で囲んだ領域は、顔向きが正面と判定する領域を示し、点線外の領域は、顔向きが非正面と判定する領域となる。なお、抽出した脇見運転シーンの撮影画像の中から、脇見が分かり易い撮影画像を抽出してもよい。例えば、顔向きの絶対値が最大または最小のときの撮影画像を優先として抽出してもよい。或いは、注視点位置が最大または最小の領域のときの撮影画像を優先して抽出してもよい。或いは、顔向きと注視点の双方が非正面と判定した撮影画像を優先して抽出してもよい。
また、抽出部４４は、上述の脇見検出開始条件が成立して、脇見条件が予め定めた異常時間（例えば、１５秒）以上継続する場合は、脇見運転シーンから除外する。これにより、通信異常等による脇見の誤判定を防止できる。
続いて、上述のように構成された本実施形態に係る情報処理システム１０のサーバ１２で行われる具体的な処理について説明する。図８は、本実施形態に係る情報処理システム１０において、サーバ１２で行われる処理の流れの一例を示すフローチャートである。なお、図８の処理は、例えば、サーバ１２に対して脇見運転シーンの抽出を開始する指示が行われた場合に開始する。
ステップ１００では、ＣＰＵ３０Ａが、車両情報及び撮影画像を取得してステップ１０２へ移行する。すなわち、取得部４０が、車両情報及び撮影部２４によって撮影された画像情報としての動画フレームをＤＢ３８から取得する。詳細には、車両情報と動画フレームの時刻合わせ等を行って車両情報と動画フレームを同期させて情報を取得する。
ステップ１０２では、ＣＰＵ３０Ａが、顔向き及び注視点の認識を開始してステップ１０４へ移行する。すなわち、顔向き認識部４２による運転者の顔の向きの認識、及び注視点認識部４３による運転者の注視点の認識を開始する。
ステップ１０４では、ＣＰＵ３０Ａが、予め定めた脇見検出開始条件が成立したか否かを判定する。該判定は、予め定めた車速（例えば、１０ｋｍ）以上で、操舵角が予め定めた範囲内（例えば、－６０°＜操舵角＜６０°等の範囲内）で、かつ、上述した１．～３．の予め定めた脇見条件を満たすか否かを判定する。該判定が肯定された場合にはステップ１０６へ移行し、否定された場合にはステップ１１４へ移行する。
ステップ１０６では、ＣＰＵ３０Ａが、脇見検出開始条件の成立が３秒以上継続しているか否かを判定する。該判定が肯定された場合にはステップ１０８へ移行し、否定された場合にはステップ１１４へ移行する。
ステップ１０８では、ＣＰＵ３０Ａが、脇見検出開始条件の成立が１５秒以上継続しているか否かを判定する。該判定が否定された場合にはステップ１１０へ移行し、肯定された場合には通信異常等の可能性があるため脇見運転シーンから除外してステップ１１４へ移行する。
ステップ１１０では、ＣＰＵ３０Ａが、脇見運転シーンとして撮影画像を抽出してステップ１１２へ移行する。
ステップ１１２では、ＣＰＵ３０Ａが、脇見検出終了条件が成立したか否かを判定する。該判定が否定された場合にはステップ１０８に戻って上述の処理を繰り返し、判定が肯定された場合にはステップ１１４へ移行する。
ステップ１１４では、ＣＰＵ３０Ａが、脇見運転シーンの抽出を終了するか否かを判定する。該判定は、例えば、対象の撮影画像について上述の処理により脇見運転シーンの抽出が終了したか否かを判定する。該判定が否定された場合にはステップ１０４に戻って上述の処理を繰り返し、判定が肯定されたところで一連の処理を終了する。なお、抽出した脇見運転シーンの撮影画像の中から、脇見が分かり易い撮影画像を抽出してもよい。例えば、顔向きの絶対値が最大または最小のときの撮影画像を優先として抽出してもよい。或いは、注視点位置が最大または最小の領域のときの撮影画像を優先して抽出してもよい。或いは、顔向きと注視点の双方が非正面と判定した撮影画像を優先して抽出してもよい。これにより、代表的な脇見運転の撮影画像を得ることができる。
このようにサーバ１２が処理を行うことで、車速が予め定めた閾値以上、かつ、操舵角が予め定めた範囲内の操舵角のときの撮影画像から脇見運転シーンの撮影画像を抽出するので、顔の向き又は視線だけで脇見を判定する場合に比べて、誤検出を抑制した脇見運転シーンの撮影画像を抽出できる。
また、抽出部４４が、脇見条件が予め定めた時間（例えば、３秒等）以上継続する撮影画像を抽出することにより、確実に脇見運転をしている撮影画像を抽出できる。
また、抽出部４４が、脇見条件が予め定めた異常時間（例えば、１５秒等）以上継続する撮影画像を除外することにより、通信異常等による脇見の誤判定を防止できる。
また、抽出部４４が、脇見条件を満たす撮影画像のうち、顔の向きの絶対値が最大、及び正面から注視点までが最大の少なくとも一方の撮影画像を抽出することにより、撮影画像の中から代表的な脇見シーンを抽出できる。
さらに、抽出部４４が、顔の向き、及び注視点の位置の双方の脇見条件を満たす場合に、顔の向きの絶対値が最大となる撮影画像を優先して抽出することにより、正面から注視点までが最大となる撮影画像を抽出する場合よりも、代表的な脇見シーンを抽出できる。
なお、上記の実施形態では、顔向き認識部４２及び注視点認識部４３を備えるが、何れか一方のみを備える形態としてもよい。この場合、抽出部４４は、車速が予め定めた閾値以上、かつ、操舵角が予め定めた範囲内の操舵角のときの撮影画像から、乗員の顔の向き、または注視点の位置が予め定めた脇見条件を満たす撮影画像を抽出する。
また、上記の実施形態では、脇見運転シーンを抽出する処理をサーバ１２側で行う例を説明したが、これに限るものではない。例えば、図２の中央処理部３０の機能を、図９に示すように、車載器１６側の制御部２０に備えて、図８の処理を制御部２０が実行する形態としてもよい。すなわち、取得部４０、顔向き認識部４２、注視点認識部４３、及び抽出部４４の機能を制御部２０に備えてもよい。この場合、取得部４０は、車両情報を車両情報検出部２２から取得し、動画フレームを撮影部２４から取得し、車載器１６が情報処理装置の一例となる。或いは、複数のサーバを備えて、これらの機能を分散した形態として、それぞれの負荷を軽減する形態としてもよい。
また、上記の各実施形態における情報処理システム１０の各部で行われる処理は、プログラムを実行することにより行われるソフトウエア処理としてもよいし、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、及びＦＰＧＡ（Field-Programmable Gate Array）等のハードウエアで行う処理としてもよい。或いは、ソフトウエア及びハードウエアの双方を組み合わせた処理としてもよい。また、ソフトウエアの処理とした場合には、プログラムを各種記憶媒体に記憶して流通させるようにしてもよい。
さらに、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。
１０ 情報処理システム
１２ サーバ（情報処理装置）
１４ 車両
１６ 車載器
１８ 通信ネットワーク
２０ 制御部
２２ 車両情報検出部
２４ 撮影部
３０ 中央処理部
３８ ＤＢ
４０ 取得部
４２ 顔向き認識部
４３ 注視点認識部
４４ 抽出部

Claims (8)

  1. 乗員の顔を撮影した動画像の撮影画像、並びに、前記撮影画像に対応する、車両の操舵角を表す操舵角情報及び車速を表す車速情報を取得する取得部と、
    前記車速が予め定めた閾値以上、かつ、前記操舵角が予め定めた範囲内の操舵角のときの前記撮影画像から、乗員の顔の向き及び注視点の位置の少なくとも一方が予め定めた脇見条件を満たす撮影画像を抽出する抽出部と、
    を含む情報処理装置。
  2. 前記抽出部は、前記脇見条件が予め定めた時間以上継続する撮影画像を抽出する請求項１に記載の情報処理装置。
  3. 前記抽出部は、前記脇見条件が予め定めた異常時間以上継続する撮影画像を除外する請求項１に記載の情報処理装置。
  4. 前記抽出部は、前記脇見条件を満たす撮影画像のうち、前記顔の向きの絶対値が最大、及び正面から前記注視点までの距離が最大の少なくとも一方の撮影画像を抽出する請求項１に記載の情報処理装置。
  5. 前記抽出部は、前記顔の向き、及び前記注視点の位置の双方の脇見条件を満たす場合、顔の向きの絶対値が最大となる撮影画像を優先して抽出する請求項１に記載の情報処理装置。
  6. 乗員の顔を撮影して動画像の撮影画像を生成する撮影部を備えた車両と、
    乗員の顔を撮影した動画像の撮影画像、並びに、前記撮影画像に対応する、車両の操舵角を表す操舵角情報及び車速を表す車速情報を取得する取得部と、前記車速が予め定めた閾値以上、かつ、前記操舵角が予め定めた範囲内の操舵角のときの前記撮影画像から、乗員の顔の向き及び注視点の位置の少なくとも一方が予め定めた脇見条件を満たす撮影画像を抽出する抽出部と、を含む情報処理装置と、
    を含む情報処理システム。
  7. コンピュータが、
    乗員の顔を撮影した動画像の撮影画像、並びに、前記撮影画像に対応する、車両の操舵角を表す操舵角情報及び車速を表す車速情報を取得し、
    前記車速が予め定めた閾値以上、かつ、前記操舵角が予め定めた範囲内の操舵角のときの前記撮影画像から、乗員の顔の向き及び注視点の位置の少なくとも一方が予め定めた脇見条件を満たす撮影画像を抽出する処理を行う情報処理方法。
  8. コンピュータに、
    乗員の顔を撮影した動画像の撮影画像、並びに、前記撮影画像に対応する、車両の操舵角を表す操舵角情報及び車速を表す車速情報を取得し、
    前記車速が予め定めた閾値以上、かつ、前記操舵角が予め定めた範囲内の操舵角のときの前記撮影画像から、乗員の顔の向き及び注視点の位置の少なくとも一方が予め定めた脇見条件を満たす撮影画像を抽出する処理を実行させるための情報処理プログラム。
JP2022077136A 2022-05-09 2022-05-09 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム Pending JP2023166227A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022077136A JP2023166227A (ja) 2022-05-09 2022-05-09 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
US18/186,204 US20230360252A1 (en) 2022-05-09 2023-03-20 Information processing device, information processing system, and information processing method
CN202310277297.5A CN117037122A (zh) 2022-05-09 2023-03-20 信息处理设备、系统、方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022077136A JP2023166227A (ja) 2022-05-09 2022-05-09 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム

Publications (1)

Publication Number Publication Date
JP2023166227A true JP2023166227A (ja) 2023-11-21

Family

ID=88626835

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022077136A Pending JP2023166227A (ja) 2022-05-09 2022-05-09 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム

Country Status (3)

Country Link
US (1) US20230360252A1 (ja)
JP (1) JP2023166227A (ja)
CN (1) CN117037122A (ja)

Also Published As

Publication number Publication date
CN117037122A (zh) 2023-11-10
US20230360252A1 (en) 2023-11-09

Similar Documents

Publication Publication Date Title
US11295143B2 (en) Information processing apparatus, information processing method, and program
EP3367361B1 (en) Method, device and system for processing startup of front vehicle
JP2002308030A (ja) 車両用周辺監視装置
JP2014107697A (ja) 車載用制御装置
CN107004250B (zh) 图像生成装置及图像生成方法
US12071010B2 (en) Onboard display device, onboard display method, and computer readable storage medium
CN113492849A (zh) 驾驶辅助装置以及数据收集系统
US20220101025A1 (en) Temporary stop detection device, temporary stop detection system, and recording medium
JP2020086956A (ja) 撮影異常診断装置
JP7359099B2 (ja) 移動体妨害検出装置、移動体妨害検出システム、及び移動体妨害検出プログラム
JP2020095466A (ja) 電子装置
JP2023166227A (ja) 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
JP6331232B2 (ja) 車両用制限速度検出装置
JP6288204B1 (ja) 車両用制限速度検出装置
US11636692B2 (en) Information processing device, information processing system, and recording medium storing information processing program
CN115131749A (zh) 图像处理装置、图像处理方法以及计算机可读取存储介质
JP7115872B2 (ja) ドライブレコーダ、及び画像記録方法
CN113968186A (zh) 一种显示方法、装置及系统
CN113492864A (zh) 驾驶辅助装置以及数据收集系统
JP2022027305A (ja) 危険運転検出装置、危険運転検出システム、及び危険運転検出プログラム
CN112660121A (zh) 隐患车辆的识别预警方法、装置、车载终端和存储介质
JP2022054296A (ja) 運転評価装置、運転評価システム、及び運転評価プログラム
US20230356720A1 (en) Information processing device, information processing system, and information processing method
JP7367709B2 (ja) 情報処理装置、情報処理システム、及び情報処理プログラム
JP2023012146A (ja) 危険要因推定装置、危険要因推定システム、及び危険要因推定プログラム