JP2019153938A - 画像処理装置、画像処理方法、プログラム - Google Patents

Abstract

【課題】運転開始直後の低速時の場合などでは、運転者の正面の顔画像を、より適切に取得する技術を提供する。【解決手段】運転状況監視システム１００において、画像処理装置１は、車両の加速度、車両の速度、車両の操作情報、車両の移動する経路情報等の情報取得部が取得した情報に基づいて、運転者が運転する移動体が前進しているかを判定し、前進している場合に撮影タイミングが良好状態であると判定し、そのタイミングにおける車内側撮影画像を取得する。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、プログラムに関する。

運転者の運転状況を記録するドライブレコーダが近年多く利用されている。ドライブレコーダでは運転者の顔を撮影できるものがある。特許文献１には運転者の鮮明な顔画像を取得するための技術が開示されている。

特許第６０５２０６２号公報

上述の技術ではハンドルの操舵角が車両の直進方向を含む所定範囲内である場合に、車載カメラで運転者の顔画像を撮影することが記載されている。しかしながらハンドルの操舵角が直進方向を示す場合であっても運転開始直後の低速時の場合などでは、周囲を目視しながら車両を運転することが多く、運転者の正面の顔画像を適切に取得できない可能性も残る。従って運転者の正面の顔画像をより適切に取得できる技術が望まれている。

そこでこの発明は、上述の課題を解決する画像処理装置、画像処理方法、プログラムを提供することを目的としている。

本発明の第１の態様によれば、画像処理装置は、取得した情報に基づいて運転者が運転する移動体が前進しているかを判定し、前進している場合に撮影タイミングが良好状態であると判定する撮影タイミング判定部と、を備えることを特徴とする。

本発明の第２の態様によれば、画像処理方法は、取得した情報に基づいて運転者が運転する移動体が前進しているかを判定し、前進している場合に撮影タイミングが良好状態であると判定することを特徴とする。

本発明の第３の態様によれば、プログラムは、取得した情報に基づいて運転者が運転する移動体が前進しているかを判定し、前進している場合に撮影タイミングが良好状態であると判定する撮影タイミング判定手段、として機能させることを特徴とする。

本発明によれば、運転者の正面の顔画像をより適切に取得することができる。

本実施形態による運転状況監視システムの外観を示す図である。 本実施形態による運転状況監視システムの構成を示す図である。 本実施形態による画像処理装置のハードウェア構成図である。 本実施形態による画像処理装置の機能ブロック図である。 本実施形態によるドライブレコーダのハードウェア構成を示す図である。 本実施形態による運転状況監視システムの処理フローを示す図である。 本実施形態による画像処理装置の最小構成を示す図である。

以下、本発明の一実施形態による運転状況監視システムを図面を参照して説明する。
図１は同実施形態による運転状況監視システムの外観を示す図である。
運転状況監視システム１００は一例としては車両内に備わる。運転状況監視システム１００は画像処理装置１とドライブレコーダ２とにより構成される。ドライブレコーダ２には車内を撮影する車内側カメラ２１が備わる。ドライブレコーダ２には車外直進方向を撮影する車外側カメラ２０が備わってよい。画像処理装置１は車載器の一態様であるカーナビゲーションシステム内に設けられていてもよい。

図２は同実施形態による運転状況監視システムの構成を示す図である。
図２で示すように運転状況監視システム１００は画像処理装置１とドライブレコーダ２とが通信接続されて構成される。画像処理装置１とドライブレコーダ２とは無線通信ネットワークや有線通信ネットワークを介して接続されてよい。

図３は画像処理装置のハードウェア構成図である。
この図が示すように画像処理装置１はＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、大容量記憶装置１０４、通信モジュール１０５等の各ハードウェアを備えたコンピュータである。

図４は画像処理装置の機能ブロック図である。
画像処理装置１は電源が投入されると起動し、予め記憶する運転状況監視プログラムを実行する。これにより画像処理装置１には、制御部１１、情報取得部１２、撮影タイミング判定部１３、画像利用部１４、出力部１５を備える。

制御部１１は画像処理装置１を制御する。
情報取得部１２は画像処理装置１が処理に利用する情報を他の装置等から取得する。
撮影タイミング判定部１３は取得した情報に基づいて運転者が運転する移動体が前進しているかを判定し、前進している場合に撮影タイミングが良好状態であると判定する。
画像利用部１４は良好状態な撮影タイミングにおいて撮影された運転者の顔画像を用いて所定の処理を行う。
出力部１５は良好状態な撮影タイミングにおいて撮影された運転者の顔画像を、当該顔画像を用いて処理を行う所定の装置に出力または送信する。

なお撮影タイミング判定部１３は、運転者が運転する車両の加速度に基づいて前進しているかを判定してよい。撮影タイミング判定部１３は、運転者が運転する車両の速度に基づいて前進しているかを判定してもよい。撮影タイミング判定部１３は運転者が運転する車両の操作情報に基づいて前進しているかを判定してもよい。操作情報は、アクセル踏込量、ハンドル操舵角度等である。撮影タイミング判定部１３は運転者が運転する車両の移動する経路情報に基づいて前進しているかを判定してもよい。情報取得部１２が取得する情報は、車両の加速度、車両の速度、車両の操作情報、車両の移動する経路情報であってよい。本実施形態においては移動体が車両である場合の例を用いて説明するが、運転者が乗り込んで操作する移動体であればどのような移動体であってもよい。

図５はドライブレコーダのハードウェア構成を示す図である。
ドライブレコーダ２は、車外側カメラ２０、車内側カメラ２１、加速度センサ２２、通信装置２３、制御装置２４、記憶装置２５などを含んで構成される。車外側カメラ２０、車内側カメラ２１は撮影を行って動画像、静止画像を生成する。加速度センサ２２は車両の加速度を検知する。通信装置２３は画像処理装置１と通信接続する。
制御装置２４はドライブレコーダ２の各機能を制御する。記憶装置２５は動画像、静止画像、加速度センサ２２で検知した加速度やその他のドライブレコーダ２の外部から取得した情報等を記憶する。ドライブレコーダ２の制御装置２４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータである。

図６は運転状況監視システムの処理フローを示す図である。
次に運転状況監視システムの処理フローについて順を追って説明する。
まずドライブレコーダ２における処理について説明する。
車両の電気系統が起動するとドライブレコーダ２が動作を始動する（ステップＳ１０１）。ドライブレコーダ２の加速度センサ２２はドライブレコーダ２の始動後に車両の加速度のセンシングを開始する（ステップＳ１０２）。加速度センサ２２は所定の間隔で直進方向、直進方向に直行する垂直方向、それら直進方向と垂直方向に直交する水平方向の三軸の加速度を示す加速度情報を記憶装置２５に記録する。また車外側カメラ２０、車内側カメラ２１が撮影を開始する（ステップＳ１０３）。制御装置２４は所定の間隔で車両の速度情報、車両の操作情報、車両の経路情報を取得し順次記憶装置２５へ記録する。制御装置２４は速度情報を車両に備わる速度検知センサから取得できる。制御装置２４は操作情報を車両に備わる操作検知センサから取得できる。制御装置は経路情報をカーナビゲーションシステムなどの車載器や通信ネットワークを介して接続された外部のサーバ装置等から取得できる。

車外側カメラ２０は車外側レンズを用いて車外の進行方向の対象物を撮影し、記憶装置２５に所定の間隔でその撮影画像を記録する。車内側カメラ２１は車内側レンズを用いて車内の運転者の顔の方向の対象物を撮影し、記憶装置２５に所定の間隔でその撮影画像を記録する。そしてドライブレコーダ２の動作中、ドライブレコーダ２の制御装置２４は記憶装置２５に記録された加速度情報、速度情報、操作情報、経路情報、撮影画像を画像処理装置１へ出力する（ステップＳ１０４）。なお制御装置２４は、加速度情報、速度情報、操作情報のうちのアクセル踏込量のうち少なくとも一つを送信すればよい。画像処理装置１において撮影タイミングの判定の利用に用いられる場合には、制御装置２４はさらに、アクセル踏込量以外の他の操作情報、経路情報を送信してよい。

画像処理装置１においては情報取得部１２が加速度情報、速度情報、操作情報のうちのアクセル踏込量の少なくとも一つと、さらに他の操作情報、経路情報のうち撮影タイミングの判定に利用される情報を取得する（ステップＳ１０５）。情報取得部１２はそれら取得した情報を大容量記憶装置１０４へ順次記録する。撮影タイミング判定部１３はそれら情報を取得する度に、撮影タイミングの判定に利用する加速度情報、速度情報、操作情報、経路情報のうちの何れか一つまたは複数を読み取る。撮影タイミング判定部１３は読み取った情報を用いて撮影タイミングが良好かを判定する（ステップＳ１０６）。

より具体的には撮影タイミング判定部１３は、進行方向の加速度が所定の閾値以上であるという第一条件を満たす場合に、撮影タイミングが良好状態であると判定する。第一条件は加速度が急加速などして運転者がほぼ直進方向を視認している確率の高い状況を示す条件である。
また撮影タイミング判定部１３は、進行方向の速度が所定の閾値以上であるという第二条件を満たす場合に、撮影タイミングが良好状態であると判定する。第二条件は速度が速く運転者がほぼ直進方向を視認している確率の高い状況を示す条件である。
また撮影タイミング判定部１３は、操作情報がアクセル踏込量である場合には、アクセル踏込量が所定の閾値以上であるという第三条件を満たす場合に、撮影タイミングが良好状態であると判定する。第二条件は加速度または速度が速く運転者がほぼ直進方向を視認している確率の高い状況を示す条件である。

撮影タイミング判定部１３は第一条件から第二条件の何れか１つまたは複数の条件を用いて撮影タイミングが良好状態であると判定することに加え、さらに以下の条件を用いてよい。
例えば、撮影タイミング判定部１３は、現在車両が走行する経路情報が直進であるという第四条件をさらに満たす場合に、撮影タイミングが良好状態であると判定してよい。
また撮影タイミング判定部１３は、ハンドルの操舵角が直進方向の角度を基準とする所定の範囲内であるという第五条件をさらに満たす場合に、撮影タイミングが良好状態であると判定してよい。第四条件と第五条件は一方、または両方をさらに用いてもよい。

撮影タイミング判定部１３は、撮影タイミングが良好状態であると判定すると、そのタイミングにおいて取得した車内側撮影画像を大容量記憶装置１０４から読み取る（ステップＳ１０７）。撮影タイミング判定部１３はその車内側撮影画像を画像利用部１４へ出力する（ステップＳ１０８）。画像利用部１４は入力した車内側撮影画像を用いて所定の処理に利用する。例えば、画像利用部１４は車内側撮影画像に映る運転者の顔情報を用いて認証を行い、運転者の識別子を特定する認証処理を行う。撮影タイミング判定部１３は読み取った車内側撮影画像を出力部１５へ出力してもよい。出力部１５は、所定の装置へその車内側撮影画像を出力してもよい。例えば出力部１５は無線通信を介して接続された遠隔のクラウドサーバへ、車内側撮影画像を送信してもよい。当該車内側撮影画像を用いてクラウドサーバが認証処理を行ってもよい。

上述の処理によれば認証処理を行うにあたり、運転者の顔画像が正面から撮影された可能性の高い撮影画像を用いて認証処理を行うことができる。これにより上述の画像処理装置１や車内側撮影画像の送信先の装置は、複数の撮影画像を用いた認証処理の繰り返しや、当該撮影画像の再送信の実行等を行う必要などがなくなり処理負荷を軽減することができる。
また画像処理装置１や車内側撮影画像の送信先の装置は、ある程度、速度や加速度が所定の値以上の場合に撮影された、より精度高く運転者の正面の顔画像の映る撮影画像を取得することができる。

図７は画像処理装置の最小構成を示す図である。
画像処理装置１は少なくとも撮影タイミング判定部１３を備えればよい。撮影タイミング判定部１３は、取得した情報に基づいて運転者が運転する移動体が前進しているかを判定し、前進している場合に撮影タイミングが良好状態であると判定する。

上述の画像処理装置１およびドライブレコーダ２は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１・・・画像処理装置、２・・・ドライブレコーダ、１１・・・制御部、１２・・・情報取得部、１３・・・撮影タイミング判定部、１４・・・画像利用部、１５・・・出力部、２１・・・車内側カメラ、２２・・・加速度センサ、２４・・・制御装置

Claims (9)

1. 取得した情報に基づいて運転者が運転する移動体が前進しているかを判定し、前進している場合に撮影タイミングが良好状態であると判定する撮影タイミング判定部と、
   を備える画像処理装置。
2. 前記撮影タイミング判定部は、前記運転者が運転する移動体の加速度に基づいて前進しているかを判定する請求項１に記載の画像処理装置。
3. 前記撮影タイミング判定部は、前記運転者が運転する移動体の速度に基づいて前進しているかを判定する請求項１または請求項２に記載の画像処理装置。
4. 前記撮影タイミング判定部は、前記運転者が運転する移動体の操作情報に基づいて前進しているかを判定する請求項１から請求項３の何れか一項に記載の画像処理装置。
5. 前記撮影タイミング判定部は、前記運転者が運転する移動体の移動する経路情報に基づいて前進しているかを判定する請求項１から請求項４の何れか一項に記載の画像処理装置。
6. 前記良好状態な撮影タイミングにおいて撮影された運転者の顔画像を用いて所定の処理を行う画像利用部と、
   を備える請求項１から請求項５の何れか一項に記載の画像処理装置。
7. 前記良好状態な撮影タイミングにおいて撮影された運転者の顔画像を、当該顔画像を用いて処理を行う所定の装置に送信する送信部と、
   を備える請求項１から請求項６の何れか一項に記載の画像処理装置。
8. 取得した情報に基づいて運転者が運転する移動体が前進しているかを判定し、前進している場合に撮影タイミングが良好状態であると判定する
   画像処理方法。
9. 取得した情報に基づいて運転者が運転する移動体が前進しているかを判定し、前進している場合に撮影タイミングが良好状態であると判定する撮影タイミング判定手段、
   として機能させるプログラム。