JP2021076938A - 情報処理装置 - Google Patents

Abstract

【課題】車両で撮像された画像に係る情報を車両の外部に送信する場合に、情報量を低減可能な情報処理装置を提供する。【解決手段】情報処理装置としてのドライブレコーダ２０は、車両１２に搭載されたカメラ２２で撮像された撮像画像を取得する取得部と、取得された前記撮像画像の要約キーワード情報への変換を実行する変換部と、前記撮像画像の前記要約キーワード情報への変換が実行できた場合、前記要約キーワード情報をセンタサーバ３０に送信し、前記撮像画像の前記要約キーワード情報への変換が実行できなかった場合、変換が実行できなかった前記撮像画像をセンタサーバ３０に送信する送信部と、を備えている。【選択図】図１

Description

本発明は、車両で撮像された画像を処理する情報処理装置に関する。

特許文献１には、車両に搭載されたドライブレコーダに記録されている画像データを、基地側に送信することを可能としたデータ送信システムが開示されている。

特開２００９−０２０８７７号公報

一方、引用文献１のドライブレコーダにおいて、全ての画像データを基地側のサーバに送信すると、通信網への送信負荷が高くなる。

本発明は、上記の事情に鑑み、車両で撮像された画像に係る情報を車両の外部に送信する場合に、情報量を低減可能な情報処理装置を提供することを目的とする。

請求項１に記載の情報処理装置は、車両に搭載された撮像装置で撮像された撮像画像を取得する取得部と、取得された前記撮像画像の要約キーワード情報への変換を実行する変換部と、前記撮像画像の前記要約キーワード情報への変換が実行できた場合、前記要約キーワード情報を前記車両の外部の記憶装置に送信し、前記撮像画像の前記要約キーワード情報への変換が実行できなかった場合、変換が実行できなかった前記撮像画像を前記記憶装置に送信する送信部と、を備えている。

請求項１に記載の情報処理装置は、撮像装置が撮像した撮像画像を取得部が取得すると、変換部が当該撮像画像を基に要約キーワード情報への変換を試みる。そして、撮像画像の要約キーワード情報への変換が実行できた場合、送信部は変換された要約キーワード情報を車両外部の記憶装置に送信する。また、撮像画像の要約キーワード情報への変換が実行できなかった場合、送信部は変換が実行できなかった撮像画像をそのまま車両外部の記憶装置に送信する。要約キーワード情報はテキスト情報であり、撮像画像よりも情報量は少ない。そのため、本実施形態によれば、車両で撮像された画像に係る情報を車両の外部に送信する場合に、情報量を低減することができる。

本発明によれば、車両で撮像された画像に係る情報を車両の外部に送信する場合に、情報量を低減することができる。

第１の実施形態に係る要約システムの概略構成を示す図である。 第１の実施形態のドライブレコーダにおけるＣＰＵの機能構成の例を示すブロック図である。 第１の実施形態のドライブレコーダで実行される処理に係るフローチャートである。 第１の実施形態のドライブレコーダで実行される処理の例であって、（Ａ）〜（Ｃ）は変換が実行できた場合の例であり、（Ｄ）は変換が実行できなかった場合の例である。 第２の実施形態のドライブレコーダで実行される処理に係るフローチャートである。 第３の実施形態のドライブレコーダで実行される処理に係るフローチャートである。 第３の実施形態のドライブレコーダで生成されるデータテーブルの例である。

［第１の実施形態］
以下、第１の実施形態の情報処理装置を有する要約システム１０について図面を用いて説明する。図１は、本実施形態の要約システム１０の概略構成を示すブロック図である。

（構成）
図１に示されるように、要約システム１０は、車両１２に搭載された情報処理装置としてのドライブレコーダ２０と、記憶装置としてのセンタサーバ３０と、を含んで構成されている。要約システム１０において、ドライブレコーダ２０とセンタサーバ３０とはネットワークＮを介して相互に接続されている。

なお、図１において要約システム１０は、一のセンタサーバ３０に対して一のドライブレコーダ２０しか図示されていないが、この限りではなく、一のセンタサーバ３０に対して複数のドライブレコーダ２０を設けることができる。

本実施形態に係る車両１２は、ドライブレコーダ２０と、撮像装置としてのカメラ２２と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機２４と、加速度センサ２６と、車速センサ２７と、プッシュスイッチ２８とを含んで構成されている。

ドライブレコーダ２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０Ａ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０Ｂ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０Ｃ、通信Ｉ／Ｆ（Ｉｎｔｅｒ Ｆａｃｅ）２０Ｄ及び入出力Ｉ／Ｆ（Ｉｎｔｅｒ Ｆａｃｅ）２０Ｅを含んで構成されている。ＣＰＵ２０Ａ、ＲＯＭ２０Ｂ、ＲＡＭ２０Ｃ、通信Ｉ／Ｆ２０Ｄ及び入出力Ｉ／Ｆ２０Ｅは、バス２０Ｆを介して相互に通信可能に接続されている。

ＣＰＵ２０Ａは、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ２０Ａは、ＲＯＭ２０Ｂからプログラムを読み出し、ＲＡＭ２０Ｃを作業領域としてプログラムを実行する。

ＲＯＭ２０Ｂは、各種プログラム及び各種データを記憶している。本実施形態のＲＯＭ２０Ｂには、制御プログラム２５０及び要約データベース２６０が記憶されている。制御プログラム２５０は、後述する変換処理を行うためのプログラムである。要約データベース２６０は、撮像画像に含まれる撮像物と対応する要約キーワード情報が格納されたデータベースである。また、ＲＯＭ２０Ｂには、カメラ２２により撮像された撮像画像に係る画像データ２７０を記憶することができる。なお、画像データ２７０は、ドライブレコーダ２０に接続されたＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）カードやＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等に記憶してもよい。

ＲＡＭ２０Ｃは、作業領域として一時的にプログラム又はデータを記憶する。

通信Ｉ／Ｆ２０Ｄは、センタサーバ３０と通信するためのインタフェースであり、例えば、５Ｇ、ＬＴＥ、Ｗｉ−Ｆｉ（登録商標）等の通信規格が用いられる。

入出力Ｉ／Ｆ２０Ｅは、車両１２に搭載されるカメラ２２、ＧＰＳ受信機２４、加速度センサ２６、車速センサ２７、及びプッシュスイッチ２８と通信するためのインタフェースである。

カメラ２２は、例えば、車両１２のフロントウインドウの上部に固定され、車両１２の前方を撮像する。なお、カメラ２２は、車両１２の前方を撮像するだけでなく、車両１２の後方や車室内を撮像してもよい。

ＧＰＳ受信機２４は、複数のＧＰＳ衛星からＧＰＳ信号を受信して車両１２の現在位置を測位する。

加速度センサ２６は、車両１２のボデーに固定され、車両１２に生じる加速度を検出するセンサである。

車速センサ２７は、車輪やトランスミッション等に設けられ、車両１２の車速を検出するセンサである。

プッシュスイッチ２８は、車室においてシートに着座した乗員が操作可能な場所に設けられ、カメラ２２による撮像画像の取得を手動で開始するためのプッシュ式のスイッチである。

図２は、ドライブレコーダ２０の機能構成の例を示すブロック図である。各機能構成は、ＣＰＵ２０ＡがＲＯＭ２０Ｂに記憶された制御プログラム２５０を読み出し、これを実行することによって実現される。本実施形態のＣＰＵ２０Ａは、制御プログラム２５０の実行により入力部１５０、取得部１６０、変換部１７０及び送信部１８０として機能する。

入力部１５０は、加速度センサ２６が検出した加速度信号、車速センサ２７が検出した車速信号、プッシュスイッチ２８が操作された場合に出力される操作信号が入力される。

取得部１６０は、カメラ２２において撮像された撮像画像を取得する機能を有している。本実施形態の取得部１６０は、所定の条件を契機として撮像画像を取得する。ここで、「所定の条件」としては、加速度センサ２６の加速度信号に基づいて算出された車両１２の加速度が所定の閾値を超えた場合、車速センサ２７の車速信号に基づいて算出された車両１２の車速の単位時間当たりの変化量が所定の閾値を超えた場合が該当する。また例えば、「所定の条件」としては、乗員によりプッシュスイッチ２８が操作された場合が該当する。なお、本実施形態において取得される撮像画像は動画であるが、これに限らず、静止画であってもよい。

変換部１７０は、撮像画像を要約キーワード情報に変換する処理である変換処理を実行する機能を有している。具体的に変換処理において、変換部１７０は、撮像画像中の特徴点から車両、人物、風景等の撮像物を抽出する。そして、変換部１７０は、要約データベース２６０を参照し、撮像物に対応する要約キーワードを抽出する。これにより、撮像画像は要約キーワード情報に変換される。

送信部１８０は、要約キーワード情報又は撮像画像をセンタサーバ３０に送信する機能を有している。本実施形態の送信部１８０は、撮像画像の要約キーワード情報への変換が実行できた場合、当該要約キーワード情報をセンタサーバ３０に送信する。また、本実施形態の送信部１８０は、撮像画像の要約キーワード情報への変換が実行できなかった場合、変換が実行できなった撮像画像をセンタサーバ３０に送信する。

（制御の流れ）
本実施形態のドライブレコーダ２０において実行される変換処理を含む処理の流れの例を図３のフローチャートで説明する。

図３のステップＳ１００において、ＣＰＵ２０Ａは、撮像画像を取得するためのトリガが発生しているか否かの判定を行う。ここで、トリガは車両１２が急減速したり、乗員がプッシュスイッチ２８を操作した場合における上述した「所定の条件」に該当することで発生する。ＣＰＵ２０Ａはトリガが発生していると判定した場合、ステップＳ１０１に進む。一方、ＣＰＵ２０Ａはトリガが発生していないと判定した場合、ステップＳ１００を繰り返す。

ステップＳ１０１において、ＣＰＵ２０Ａはカメラ２２が撮像した撮像画像を取得する。

ステップＳ１０２において、ＣＰＵ２０Ａは変換処理を実行する。すなわち、ＣＰＵ２０Ａは取得された撮像画像から車両、人物、風景等の撮像物を抽出すると共に、要約データベース２６０を参照して抽出された撮像物に対応する要約キーワードの抽出を試みる。

ステップＳ１０３において、ＣＰＵ２０Ａは撮像画像の要約キーワード情報への変換が実行できたか否かの判定を行う。ＣＰＵ２０Ａは当該変換が実行できたと判定した場合、すなわち、撮像画像から１又は複数の要約キーワードが抽出できた場合、ステップＳ１０４に進む。一方、ＣＰＵ２０Ａは当該変換が実行できなかったと判定した場合、すなわち、撮像画像から何ら要約キーワードを抽出できなかった場合、ステップＳ１０５に進む。

ステップＳ１０４において、ＣＰＵ２０Ａは撮像画像に対応する要約キーワード情報をセンタサーバ３０に向けて送信する。そして、ステップＳ１００に戻る。

ステップＳ１０５において、ＣＰＵ２０Ａは撮像画像そのものをセンタサーバ３０に向けて送信する。そして、ステップＳ１００に戻る。

ここで、カメラ２２で撮像された撮像画像を例に本実施形態の作用について補足する。図４（Ａ）〜（Ｄ）は、撮像画像を時系列順に示したものである。

例えば、図４（Ａ）に示されるように、車両１２が郊外を走行している撮像画像が取得された場合、要約キーワード「郊外」に係るテキスト情報が抽出される。また、車両１２が先行車両Ｆを追従走行している場合、要約キーワード「先行車追従」に係るテキスト情報が抽出される。この場合、車両１２の先行車両Ｆとの車間距離が所定距離未満と短ければ、要約キーワード「車間短」に係るテキスト情報が抽出される。そして、要約キーワード情報として、「郊外」、「先行車追従」及び「車間短」がセンタサーバ３０に向けて送信される。

また、図４（Ｂ）は図４（Ａ）から所定時間経過後の撮像画像である。すなわち、車両１２が引き続き郊外を走行しており、先行車両Ｆを追従走行している例である。この場合、要約キーワード「郊外」及び「先行車追従」に係るテキスト情報が抽出される。一方、車両１２の先行車両Ｆとの車間距離が所定距離を超えている場合、要約キーワード「車間短」に係るテキスト情報は抽出されない。そして、要約キーワード情報として、「郊外」及び「先行車追従」がセンタサーバ３０に向けて送信される。

また、図４（Ｃ）は図４（Ｂ）から所定時間経過後の撮像画像である。すなわち、車両１２が引き続き郊外を走行しており、先行車両Ｆを追従走行している例である。この場合、要約キーワード「郊外」及び「先行車追従」に係るテキスト情報が抽出される。また、車両１２の左前方に歩行者Ｐが居るため、要約キーワード「左歩行者」に係るテキスト情報が抽出される。そして、要約キーワード情報として、「郊外」、「先行車追従」及び「左歩行者」がセンタサーバ３０に向けて送信される。

図４（Ｄ）は図４（Ｃ）から所定時間経過後の撮像画像である。カメラ２２の撮像画像に飲料容器Ｄが映り込んだ例である。要約データベース２６０には車両１２の走行とは関係のない飲料容器Ｄと対応する要約キーワードは含まれていない。そのため、当該撮像画像は要約キーワード情報への変換が実行できない不明画像として扱われる。この場合、飲料容器Ｄが映り込んだ撮像画像がセンタサーバ３０に向けて送信される。

以上、本実施形態のドライブレコーダ２０では、所定の条件を契機とするトリガの発生に伴いカメラ２２が撮像した撮像画像を取得し、変換処理が実行される。そして、撮像画像の要約キーワード情報への変換が実行できた場合、変換された要約キーワード情報がセンタサーバ３０に送信される。また、撮像画像の要約キーワード情報への変換が実行できなかった場合、変換が実行できなかった撮像画像をそのままセンタサーバ３０に送信する。

ここで、要約キーワード情報はテキスト情報であり、撮像画像よりも情報量は少ない。そのため、本実施形態によれば、車両で撮像された画像に係る情報を車両の外部に送信する場合に、情報量を低減することができる。

また、本実施形態の要約データベース２６０は、車両１２の走行が正常な場合、つまり事故等が発生していない場合における要約キーワードが規定されている。したがって、正常な場合は撮像画像ではなく要約キーワード情報が常にセンタサーバ３０に送信されるが、事故等が発生していない状況においては撮像画像を必要とする場面が生じ難いため、弊害はない。なお、要約データベース２６０に事故の態様等の要約キーワードを規定し、撮像画像から事故に関連する要約キーワードが抽出された場合は、要約キーワード情報ではなく撮像画像をセンタサーバ３０に送信してもよい。

なお、センタサーバ３０では、ドライブレコーダ２０から受信した要約キーワード情報をインデックスとして管理する。他方、不明画像である撮像画像については、センタサーバ３０が備えるドライブレコーダ２０よりも強力な認識エンジンで撮像物を抽出して要約化し、その結果を要約キーワード情報として撮像画像に付与してもよい。

また、不明画像である撮像画像を人の手で解析し、解析された撮像物を要約化してもよい。要約結果は要約キーワード情報として撮像画像に付与される。この場合、要約結果である撮像物と要約キーワードとの対応関係を改善パッチとしてドライブレコーダ２０に送信し、当該改善パッチを要約データベース２６０に適用してもよい。

［第２の実施形態］
第２の実施形態では、ドライブレコーダ２０において実行される処理が第１の実施形態と異なる。本実施形態では、一定時間毎に変換処理が実行される。

（制御の流れ）
本実施形態のドライブレコーダ２０において実行される変換処理を含む処理の流れの例を図５のフローチャートで説明する。

図５のステップＳ２００において、ＣＰＵ２０Ａはカメラ２２が撮像した撮像画像を取得する。

ステップＳ２０１において、ＣＰＵ２０Ａは、一定時間が経過したか否かの判定を行う。「一定時間」は、一つのシーンが形成される程度の時間であって、本実施形態では１分が設定されている。ＣＰＵ２０Ａは一定時間が経過したと判定した場合、ステップＳ２０１に進む。一方、ＣＰＵ２０Ａは一定時間が経過していないと判定した場合、ステップＳ２００に戻る。すなわち、本実施形態では一定時間が経過するまでカメラ２２による撮像が常時行われる。

以下、ステップＳ２０２からステップＳ２０５にかけての処理は、第１の実施形態におけるステップＳ１０２からステップＳ１０５にかけての処理と同じである。

本実施形態においても、第１の実施形態と同様の効果を得ることができる。

［第３の実施形態］
第３の実施形態では、ドライブレコーダ２０において実行される処理が第１及び第２の実施形態と異なる。本実施形態では、取得した撮像画像をシーン毎に分割した上で変換処理が実行される。

（制御の流れ）
本実施形態のドライブレコーダ２０において実行される変換処理を含む処理の流れの例を図６のフローチャートで説明する。

図６のステップＳ３００において、ＣＰＵ２０Ａはカメラ２２が撮像した撮像画像を取得する。なお、本実施形態ではカメラ２２による撮像が常時行われており、ステップＳ３００では一定時間内に撮像された撮像画像が取得される。

ステップＳ３０１において、ＣＰＵ２０Ａはシーンの分割を行う。例えば、走行場所や先行車が出現する等、撮像画像に変化が生じた場合、ＣＰＵ２０Ａは撮像画像にチャプターを設定する。これにより、シーンの分割が行われる。

ステップＳ３０２において、ＣＰＵ２０Ａはシーン別の変換処理を実行する。これにより、図７に示されるように、シーン別に要約キーワードの抽出結果が記憶されたデータテーブルが生成される。このデータテーブルには、シーン毎に開始時刻、終了時刻、要約キーワード（抽出できた場合）、映像データのリンク（シーンが不明な場合）が記憶されている。データテーブルはＲＯＭ２０Ｂに記憶される。

ステップＳ３０３において、ＣＰＵ２０Ａは要約キーワード情報又は撮像画像をセンタサーバ３０に向けて送信する。具体的にＣＰＵ２０Ａはデータテーブルを参照し、要約キーワードが存在するシーンについては当該シーンに対応する要約キーワード情報をセンタサーバ３０に向けて送信し、不明シーンについては撮像画像そのものをセンタサーバ３０に向けて送信する。そして、ステップＳ３００に戻る。

本実施形態においても、第１の実施形態と同様の効果を得ることができる。

（備考）
各実施形態において、センタサーバ３０に要約キーワード情報又は撮像画像を送信する場合、ＧＰＳ受信機２４により取得された位置情報を付加してもよい。これにより、不明画像が路上障害物の場合、センタサーバ３０は障害物の周囲を走行する車両に対して注意喚起を行うことができる。

各実施形態では、撮像画像の要約キーワード情報への変換が実行できた場合、センタサーバ３０に当該撮像情報は送信されないが、ＲＯＭ２０Ｂの画像データ２７０に記憶してもよい。また、プッシュスイッチ２８が操作された場合、要約キーワード情報への変換を行わずに撮像画像をセンタサーバ３０に向けて送信してもよい。

上述した処理の流れは、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

また、各実施形態の制御プログラム２５０はコンピュータが読み取り可能な非一時的記録媒体であるＲＯＭ２０Ｂに予め記憶（インストール）されている態様で説明した。しかしこれに限らず、制御プログラム２５０は、ＳＤカードやＵＳＢメモリ等の非一時的記録媒体に記録された形態で提供されてもよい。また、制御プログラム２５０は、ネットワークＮを介して外部装置からダウンロードされる形態としてもよい。

１２ 車両
２０ ドライブレコーダ（情報処理装置）
２２ カメラ（撮像装置）
３０ センタサーバ（記憶装置）
１６０ 取得部
１７０ 変換部
１８０ 送信部

Claims (1)

1. 車両に搭載された撮像装置で撮像された撮像画像を取得する取得部と、
   取得された前記撮像画像の要約キーワード情報への変換を実行する変換部と、
   前記撮像画像の前記要約キーワード情報への変換が実行できた場合、前記要約キーワード情報を前記車両の外部の記憶装置に送信し、前記撮像画像の前記要約キーワード情報への変換が実行できなかった場合、変換が実行できなかった前記撮像画像を前記記憶装置に送信する送信部と、
   を備える情報処理装置。

Images