JP2022169621A - 再生装置および再生方法ならびにそのプログラムならびに記録装置および記録装置の制御方法等 - Google Patents

再生装置および再生方法ならびにそのプログラムならびに記録装置および記録装置の制御方法等 Download PDF

Info

Publication number
JP2022169621A
JP2022169621A JP2022126803A JP2022126803A JP2022169621A JP 2022169621 A JP2022169621 A JP 2022169621A JP 2022126803 A JP2022126803 A JP 2022126803A JP 2022126803 A JP2022126803 A JP 2022126803A JP 2022169621 A JP2022169621 A JP 2022169621A
Authority
JP
Japan
Prior art keywords
video
image
vehicle
recorded
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022126803A
Other languages
English (en)
Other versions
JP7450287B2 (ja
Inventor
哲也 服部
Tetsuya Hattori
勇規 依藤
Yuuki Yorifuji
勇喜 清水
Yuki Shimizu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yupiteru Corp
Original Assignee
Yupiteru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yupiteru Corp filed Critical Yupiteru Corp
Priority to JP2022126803A priority Critical patent/JP7450287B2/ja
Publication of JP2022169621A publication Critical patent/JP2022169621A/ja
Priority to JP2024027250A priority patent/JP2024059844A/ja
Application granted granted Critical
Publication of JP7450287B2 publication Critical patent/JP7450287B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Traffic Control Systems (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

Figure 2022169621000001
【課題】取得した情報にもとづいて加工された映像をユーザが見ることができる再生装置および再生方法ならびにそのプログラムならびに記録装置および記録装置の制御方法等を提供する。
【解決手段】パーソナル・コンピュータの表示装置の表示画面上に再生ウインドウ130が表示され,ドライブ・レコーダによって記録された映像が再生ウインドウ130の映像表示領域141に表示される。ユーザの視野範囲の枠143が表示され,かつ視野範囲外の領域142がぼかされるように映像が加工処理されて表示される。
【選択図】図19

Description

この発明は,たとえば,再生装置および再生方法ならびにそのプログラムならびに記録装置および記録装置の制御方法などに関する。
車両に設置したカメラにより車両周辺の映像を撮影し、急ブレーキ、急ハンドルや衝突などのイベント(事象)により車両に衝撃が加わった際に周辺映像や車両速度などを記録する車載用映像等記録装置が知られており、こうしたドライブレコーダで撮影した映像を再生する再生装置が知られている。(特許文献1)。
特許第5966131号
しかしながら,特許文献1に記載の発明においては,イベント発生の前後の映像等の撮影された映像を再生するだけであった。
この発明は,たとえば,従来よりもユーザにとってより適した映像を表示できる可能性が高まることなどを目的とする。本願の発明の目的はこれに限定されず、本明細書および図面等に開示される構成の部分から奏する効果を得ることを目的とする構成についても分割出願・補正等により権利取得する意思を有する。例えば本明細書において「~できる」と記載した箇所を「~が課題である」と読み替えた課題が本明細書には開示されている。課題はそれぞれ独立したものとして記載しているものであり、この課題を解決するための構成についても単独で分割出願・補正等により権利取得する意思を有する。課題が明細書の記載から黙字的に把握されるものであっても、本出願人は本明細書に記載の構成の一部を補正または分割出願にて特許請求の範囲とする意思を有する。
(1) 記録された映像データを再生する再生装置であって,取得した情報にもとづいて前記記録された映像データを加工処理し,加工処理後の映像データにもとづく映像を表示させるための制御を行うとよい。
このようにすれば,記録された映像そのものでなく,取得した情報にもとづいて加工された映像をユーザは見ることができる。加工は,映像を閲覧するユーザに適した処理とすることにより,ユーザに適した映像を得ることができる。単に記録した映像を加工するのでなく,取得した情報にもとづいて記録された映像データを加工処理するので,映像を閲覧するユーザにとってより適した映像を表示できる可能性が高まる。例えば、車両において記録された映像データを再生する再生装置であって,当該車両において取得した情報にもとづいて前記記録された映像データを加工処理し,加工処理後の映像データにもとづく映像を表示させるための制御を行うとよい。特に、当該車両において記録された映像データと同時期の当該車両において取得した情報にもとづいて前記記録された映像データを加工処理し,加工処理後の映像データにもとづく映像を表示させるための制御を行うとよい。同時期としては所定の幅の時間内とするとよく、所定の幅は例えば数秒とするとよいが、特に同時期としては同時とするとよい。
取得する情報は、特に、当該車両の運転者の運転操作に伴い、変化する情報とするとよく、特に運転者自身の挙動に関する情報とするとよい。運転者自身の状態に関する情報としては、運転者自身の状態と車両において記録する映像との間に関係性を有する情報とす
るとよい。関係性は、客観的な関係性でもよいが、特に運転者自身の主観的な関係性とするとよい。主観的な関係性としては、運転者としてはこう見えていたと思うという関係とするとよく、例えば、「こう見えていた」ことを推定させるのに必要な情報とするとよい。
但し、取得する情報は車の速度以外の情報とするとよい。
記録された映像データは,たとえば,記録装置によって記録された映像データでよいし,たとえば,SD(Secure Digital)カード,マイクロSDカード,XQD(登録商標)カードなどのメモリ・カードに記録された映像データでよい。取得した情報は,たとえば,映像を閲覧するユーザから入力する情報でよい。映像を閲覧するユーザに適した処理が行われるように,ユーザが情報を入力し,再生装置がその情報を取得することにより,映像するユーザの閲覧に適した映像が表示される可能性が高まる。また,取得した情報は,あらかじめ定められている情報でもよい。そのようにあらかじめ定められている情報を読み取ることにより情報を取得してもよい。加工処理は,たとえば,加工処理前後の映像データが変わっていればよい。
(2) 前記加工処理は、ユーザの視野範囲を,前記映像に表示する加工処理をするとよい。
このようにすれば,映像におけるユーザの視野範囲がわかりやすくなる。ユーザの視野範囲がわかるので,たとえば,ユーザが見えていない部分と見えている部分とがわかりやすくなる。ユーザの視野範囲は,固定しているものでもよいし,ユーザの年齢に応じて決定してもよいし,ユーザごとに測定して決定してもよい。特に加工処理は、前記取得した情報にもとづいてユーザの視野範囲を映像に表示する処理とするとよい。特に視野範囲の入力手段から入力された視野範囲の調整を行うための情報に基づく範囲と前記取得した情報にもとづいて前記ユーザの視野範囲として映像に表示する加工処理を行うとよい。視野範囲を,映像に表示するとは,視野範囲の中と視野範囲の外とが識別可能な態様で表示するとよく,例えば,視野範囲を枠で囲んで表示してもよいし,視野範囲外を塗りつぶしたり,ぼかしたりして表示してもよい。映像は,たとえば,広角カメラを用いた記録装置によって記録された映像でもよいし,全天球型カメラを用いた記録装置によって記録された映像でもよい。
(3)ユーザの視野範囲外の前記映像に注意すべき対象物が存在することに応じて,その旨を報知するとよい。
このようにすれば,ユーザは,自分が見えない部分に注意すべき対象物が存在することがわかりやすくなる。ユーザの視野範囲外の映像に注意すべき対象物が存在するか否かは、例えば、記録された映像の各フレーム内の映像に存在する対象物を画像認識等により検出し、当該フレームの映像において、当該検出した対象物の範囲が前記視野範囲外の範囲内であるときに対象物が存在し、ないときに対象物が存在しないと判定するとよい。また特に対象物の検出処理は、当該フレームの映像において前記視野範囲内の範囲の画像認識による前記対象物の探索の少なくとも一部を省略するとよく、望ましくはしないようにするとよい。当該フレームの映像において、前記視野範囲外の範囲でのみ画像認識による前記対象物の探索を行うようにするとよい。たとえば,記録装置により取得された映像であると,ユーザが見えていない箇所に注意すべき対象物が存在することがわかるので,ユーザは運転時に首を動かして見えない範囲にまで注意することができるようになる可能性が高まる。注意すべき対象物は,例えば,歩行者,自転車,自動車,オートバイなどとするとよい。その旨を報知は、特に、前記映像中で、当該位置を示す表示を行うとよい。
(4)前記加工処理は,映像データの記録時におけるユーザの視線を,前記映像に表示す
る加工処理とするとよい。
このようにすれば,映像データの記録時においてユーザがどこを見ていたかを把握できやすくなる。特に,加工処理は,前記取得した情報にもとづいて映像データの記録時におけるユーザの視線を,映像に表示する加工処理とするとよい。特に,映像データの記録時におけるユーザの視線を入力する入力手段から入力されたユーザの視線と前期取得した情報とにもとづいて前記ユーザの視線を,映像に表示するとよい。たとえば,映像データの記録時に,ユーザの目の動向を記録し,その記録にもとづいてユーザの指令を映像に表示するとよい。視線は,たとえば,ユーザが見ている方向であり,目線としてもよい。視線を映像に表示するとは,たとえば,視線を映像に点として順に表示してもよいし,視線の軌跡を映像に表示してもよい。ユーザの視線は,たとえば,映像データの記録時に,ユーザを撮影手段によって撮影し,その撮影手段によって得られた撮影画像から視線を検出してもよいし,視線検出用の眼鏡などの視線検出装置をユーザにかけさせて,その眼鏡などの視線検出装置により視線を検出してもよい。
(5)前記加工処理は,映像データの記録時においてユーザが向いている方向に,前記視野範囲を動かして前記映像に表示する加工処理とするとよい。
このようにすれば,映像データの記録時においてユーザが向いている方向がわかり,その方向における視野範囲がわかりやすくなる。映像データの記録時に,映像のうち,どの部分の映像が見えていたかがわかりやすくなる。特に,ユーザが向いている方向を検出する検出手段によって検出された方向を示す情報を取得して,その取得した情報にもとづい,前記視野範囲を動かして前記映像に表示するとよい。前記視野範囲を動かすのは,一定フレームごとに視野範囲の内外の範囲を区別できるようにフレームを加工処理すればよい。たとえば,視野範囲を動かすのは相対的に視野範囲を動かせばよく,映像を動かすことにより相対的に視野範囲を動かしてもよい。
(6)たとえば,前記加工処理は,映像データの記録時において一定時間の間にユーザが見ていない範囲を,前記映像に表示する加工処理とするとよい。
このようにすれば,一定時間の間にユーザが見ていない範囲がわかりやすくなる。特に,一定時間の間にユーザが見ていない範囲を検出する検出手段から得られる情報を取得して,取得した情報とから一定時間の間にユーザが見ていない範囲を,前記映像に表示する加工処理とするとよい。ユーザの視線を検出し,検出したユーザ視線の情報と一定時間の情報とから,一定時間の間にユーザが見ていない範囲を検出するとよい。ユーザの視線は,たとえば,映像データの記録時に,ユーザを撮影手段によって撮影し,その撮影手段によって得られた撮影画像から視線を検出してもよいし,視線検出用の眼鏡などの視線検出装置をユーザにかけさせて,その眼鏡などの視線検出装置により視線を検出してもよい。一定時間の間は,たとえば,映像データが記録装置によって記録されたものであるとすると,交差点で止まっている時間の間,交差点で右折または左折する間,車線変更の間などとするとよい。見ていない範囲を,映像に表示するとは,たとえば,見ていない範囲を塗りつぶしてもよいし,ぼかしてもよい。
(7)たとえば,前記加工処理は,映像データの記録時におけるユーザの視線とユーザが見るべき方向とが一致しているかどうかを,前記映像に表示する加工処理するとよい。
このようにすれば,ユーザが見るべき方向を見ているか,見ていないかがわかりやすくなる。特に,映像データの記録時におけるユーザの視線とユーザが見るべき方向とが一致しているかどうかを示す情報を入力する入力手段からの情報を取得し,取得した情報にもとづいて,映像データの記録時におけるユーザの視線とユーザが見るべき方向とが一致し
ているかどうかを,前記映像に表示する加工処理とするとよい。また,映像データの記録時におけるユーザの視線を示す情報を入力する入力手段から入力された情報とユーザが見るべき情報を入力する入力手段から入力された情報とを取得し,取得した情報にもとづいて,映像データの記録時におけるユーザの視線とユーザが見るべき方向とが一致しているかどうかを,前記映像に表示する加工処理とするとよい。映像データの記録時におけるユーザの視線とユーザが見るべき方向とが一致しているかどうかを検出する検出手段から得られる情報を取得して,取得した情報にもとづいて,映像データの記録時におけるユーザの視線とユーザが見るべき方向とが一致しているかどうかを,前記映像に表示する加工処理とするとよい。たとえば,映像データが記録装置によって記録されていると,ユーザが見るべき方向は,周りの状況に応じてあらかじめ定められる。ユーザの視線とユーザが見るべき方向との一致度を算出するようにしてもよい。
(8)たとえば,前記映像データは記録装置によって記録されているときにおいて,映像データの記録時におけるユーザの視線とユーザが見るべき方向とが一致しているかどうかにおける,ユーザが見るべき方向は,映像データの記録時の車の運転の操作に応じて異なるとよい。
このようにすれば,映像データの記録時の車の運転またはユーザによる車の運転の操作に応じてユーザが見る方向が異なることがわかりやすくなる。映像データの記録時の車の運転またはユーザによる車の運転の操作に応じてユーザが見る方向が異なるので,車の運転に応じて見るべき方向を見ているか,見ていないか,車の運転の操作に応じて見るべき方向を見ているか,見ていないか,どうかが分かりやすくなる。とくに,映像データの記録時の車の運転またはユーザによる車の運転の操作についての情報を入力する入力手段からの情報にもとづいてユーザが見るべき方向を決定するとよい。見るべき方向は,たとえば,車の運転の操作がまっすぐに走行しているときには,ほぼ前方を見るべき方向とし,車線変更するときには,ルーム・ミラー,車線変更する側の走行車線のドア・ミラー,車線変更する側の横の窓などを見る方向とするとよい。また,車の運転の操作として,右折または左折のためにウインカー操作後にハンドルを比較的大きく操作したときには,ハンドルを操作した側の斜め前方および斜め後方を見る方向とし,車線変更のためにウインカー操作後にハンドルを比較的小さく操作したときには,ルーム・ミラー,車線変更する側の走行車線のドア・ミラー,車線変更する側の横の窓などを見る方向とするとよい。
(9)たとえば,前記加工処理は,映像データの記録時においてユーザが見た順序があらかじめ見るべき順序と一致しているかどうかを示す情報を取得し,取得した情報にもとづいて,前記映像に表示する加工処理とするとよい。
このようにすれば,ユーザが見た順序があらかじめ見るべき順序と一致しているかがわかりやすくなる。とくに,映像データの記録時においてユーザが見た順序があらかじめ見るべき順序と一致しているかどうかを検出する検出手段からの情報にもとづいて,映像データの記録時においてユーザが見た順序があらかじめ見るべき順序と一致しているかどうかを示す情報を,前記映像に表示するとよい。映像データの記録時においてユーザが見た順序については,たとえば,車を運転していたユーザを撮影して得られた映像データを解析してユーザの視線を時間系列で検出すればわかる。あらかじめ見るべき順序については,その順序を示す情報を入力する入力手段から入力した情報にもとづいてわかる。たとえば,記録した映像データを再生して,再生された映像データによって表される映像を指導員などが見るべき順序を入力手段から入力するとよい。あらかじめ見るべき順序は,たとえば,記録時の状況によって変わるとよい。たとえば,映像データが自動車の発車時のものであるとすると,たとえば,前方を見て,ルーム・ミラーまたは後ろを見て,右側のドア・ミラーまたはフェンダー・ミラーを見て,右側の窓を見るというのが見るべき順序の一例である。ユーザが見た順序があらかじめ見るべき順序との一致度を算出してもよい。
(10)たとえば,前記加工処理は,ユーザの見るべき箇所を映像に表示する加工処理とするとよい。
このようにすれば,ユーザの見るべき箇所が映像からわかりやすくなる。特に,ユーザの見るべき箇所を示す情報を入力する入力手段から入力した情報を取得し,至徳した情報にもとづいてユーザの見るべき箇所を映像に表示する加工処理とするとよい。たとえば,映像データが走行時の運転者から見た映像とすると,運転者が見るべき箇所がわかりやすくなるので,運転の指導に役立つことが多い。加工処理は例えば,ルーム・ミラーを見るべき箇所とすると,そのルーム・ミラーの映像部分にマークを付けたり,ドア・ミラーを見るべき箇所とすると,そのドア・ミラーの映像部分にマークを付けたりするとよい。
(11)たとえば,映像データの記録時においてユーザが見るべき箇所を見ていないことにと応じて,その場面の画像を表示するとよい。
このようにすれば,ユーザが見るべき箇所を見ていない場面がどのような場面かがわかりやすくなる。とくに,映像データの記録時においてユーザが見るべき箇所を見ていないことを示す情報を入力する入力手段から入力した情報にもとづいて,ユーザが見るべき箇所を見ていないと,その場面の画面を表示するとよい。ユーザが見るべき箇所を見ていないかどうかは,ユーザの視線を検出する検出装置から得られる視線情報を用いることができる。たとえば,映像データが,ユーザの運転中の映像を表すものとすると,ユーザの運転がどのような場面で,見るべき箇所を見ていないかがわかりやすくなるので,運転の技能向上に役立つ可能性が高まる。また,たとえば,映像データが,ユーザの運転中の映像を表すものとすると,ユーザが見るべき箇所を見ていない場面の画像にもとづいて評価をすることができる。
(12)たとえば,被写体の動きの変化がない映像部分の表示速度を,被写体の動きの変化がある映像部分の表示速度と比較して速く前記映像を表示するようにしてもよい。
このようにすれば,映像全体を早く閲覧できる可能性が高くなる。とくに,被写体の動きの変化がない映像部分か,被写体の動きの変化がある映像部分かどうかについては,被写体の動きの変化が無い映像部分か,被写体の動きの変化がある映像部分のかを検出する検出手段を利用すればよい。その検出手段は,フレーム間の画像の差分を検出し,一定未満の差分であれば被写体の動きの変化が無く,一定以上の差分であれば被写体の動きの変化があるとするとよい。たとえば,被写体の動きの変化がない映像部分が比較的重要な部分ではなく,被写体の動きの変化がある映像部分が比較的重要な部分とすると,比較的重要でない部分については時間を短縮して見ることができ,比較的重要な部分についてはじっくりと見ることができる可能性が高くなる。被写体の動きの変化がない映像部分は,被写体の動きの変化が全くない,ということだけでなく,被写体の動きの変化がほとんどない,被写体の動きの変化が一定以下のものも含まれる。また,被写体の動きの変化がある映像部分は,少しでも被写体の動きがあれば,被写体の動きの変化があるということだけでなく,被写体の動きの変化が一定以上のものも含まれる。
(13)たとえば,映像データは記録装置によって記録されており,前記映像のうち被写体の動きの変化がある映像部分についてユーザによる車の運転の評価をするとよい。
このようにすれば,被写体の動きの変化がある映像部分についてユーザによる車の運転の評価をしやすくなる。とくに,被写体の動きの変化がない映像部分か,被写体の動きの変化がある映像部分かどうかについては,被写体の動きの変化が無い映像部分か,被写体の動きの変化がある映像部分のかを検出する検出手段を利用すればよい。その検出手段は
,フレーム間の画像の差分を検出し,一定未満の差分であれば被写体の動きの変化が無く,一定以上の差分であれば被写体の動きの変化があるとするとよい。とくに,車の運転の評価は,映像を解析することにより行われ,あらかじめ定められている交通ルールにしたがった運転に近いほど,高評価とし,あらかじめ定められている交通ルールに従わない運転に近いほど,低評価とする評価手段を用いるとよい。運転評価は,たとえば,信号待ちで停車しており,被写体の動きの変化がない場所よりも,右折,左折,車線変更時などに応じて被写体の動きの変化がある場所についての方が重要と考えることができる。そのような状況で,運転評価ができる。
(14)たとえば,映像データは記録装置によって記録されており,お客が含まれている映像部分にもとづく前記映像を表示させるとよい。
このようにすれば,お客が含まれている映像部分にもとづく映像を見ることができやすくなる。お客が含まれている映像部分かどうかは,映像データを解析し,運転手以外の人物を車内に検出したことによりお客が含まれている映像部分とするとよい。たとえば,バスやタクシーなどの営業車両に記録装置が設置されており,そのような記録装置によって映像データが記録されると,それらの営業車両にお客が含まれている映像を表示できる。
(15)たとえば,映像部分の状況を表すキーワードにもとづいて前記映像の中から,そのキーワードに関連する映像部分を見つけ出すとよい。
このようにすれば,そのキーワードに関連する映像部分を映像の中から見つけ出しやすくなる。とくに,映像部分の状況を表すキーワードを入力する入力手段から入力されたキーワードを検出し,検出したキーワードに関連する映像部分を,解析手段により映像を解析して見つけ出すとよい。映像部分の状況は,たとえば,明るい,暗いなどの抽象的な状況,新幹線が含まれていた,赤い車が含まれていたなどの特定の被写体が含まれていたという状況とするとよい。
(16)たとえば,前記映像データは記録装置によって記録されており,映像データの記録時の車の状況を表すキーワードにもとづいて,前記映像の中から,そのキーワードに関連する映像部分を見つけ出すとよい。
このようにすれば,記録時の車の状況を表すキーワードに関連する映像部分を見つけ出すことができる可能性が高くなる。映像データの記録時の車の状況を表すキーワードを入力する入力手段に入力したキーワードを検出し,検出したキーワードに関連する映像部分を,解析手段により映像を解析して見つけ出すとよい。車の状況を表すキーワードは,たとえば,車が加速した,車が一定以上の速度を出した,ウインカーを出したなどでもよい。
(17)たとえば,前記映像データは記録装置によって記録されており,ユーザによる車の運転中に,ユーザが見るべき方向を見ていなかったことに応じて警告するようにしてもよい。
このようにすれば,見るべき方向を見ていなかったことについてユーザに警告しやすくなる。特に,ユーザが見るべき方向を見ていなかったことを示す情報を入力する入力手段によって入力された情報にもとづいて警告するとよい。そのような入力手段は,運転中のユーザの視線を検出する検出手段によって検出されたユーザの視線を,再生された映像に表示し,表示された視線が,あらかじめ定められている見るべき方向を見ていなかったと判定された情報を入力するとよい。警告は,たとえば,表示される映像に警告マークを付ける,表示される映像の一部または全部に特定の色を付ける,警報を出力するなどとする
とよい。
(18)たとえば,前記映像データは記録装置によって記録されており,前記加工処理は,ユーザによる車の運転中に,ユーザによって見えている範囲とユーザによって見えていない範囲とを区別して前記映像を表示させる加工処理とするとよい。
このようにすれば,ユーザが見えている範囲と見えていない範囲とがわかりやすくなる。とくに,ユーザによって見えている範囲を示す情報を入力する入力手段から入力した情報にもとづいて,ユーザによって見えている範囲とユーザによって見えていない範囲とを区別して前記映像を表示する加工処理とするとよい。たとえば,ユーザによって見えていない範囲をぼかしたり,半透明の色で塗りつぶしたり,完全に塗りつぶしたりするとよい。
(19)たとえば,前記加工処理は,加工処理後の映像データにもとづく前記映像を表示する装置の向きに応じて,映像の表示範囲を変えるように,記録された映像データを加工処理するとよい。
このようにすれば,映像を表示する装置の向きに応じた映像を見やすくなる。加工処理後の映像データにもとづく映像を表示する装置の向きを検出する検出手段からの情報にもとづいて映像の表示範囲を変えることが好ましい。たとえば,記録時に360度の範囲をすべて記録しておき,映像を表示する装置の向きに応じて,その向きに対応した映像を表示するとよい。
(20)たとえば,前記映像データは記録装置によって記録されており,前記加工処理は,加工処理後の映像データにもとづく前記映像を表示する装置の向きに応じて,車の進行方向を基準方向として映像の表示範囲を変えるように,記録された映像データを加工処理するとよい。
このようにすれば,車の進行方向を基準方向とした映像の表示範囲を変えて,映像を表示する装置の向きに応じて映像を見ることができる可能性が高くなる。加工処理後の映像データにもとづく映像を表示する装置の向きを検出する検出手段からの情報にもとづいて映像の表示範囲を変えることが好ましい。車の走行時における進行方向における映像だけでなく,進行方向以外の方向の映像も見ることができる。
(21)たとえば,前記映像データの記録時における車の状況に関する情報を表示させるとよい。
このようにすれば,車の状況がわかりやすくなる。車状況に関する情報は,たとえば,車の速度,加速度,位置とするとよい。とくに,映像データの記録時における車の状況に関する情報を入力する入力手段から入力された情報にもとづいて,その情報を表示制御手段によって表示装置の表示画面に表示させるとよい。車の状況に関する情報は,映像上に重ねて表示してもよいし,映像が表示されている領域とは別の領域を設け,その別の領域に表示してもよい。たとえば,映像の上,下,左または上の領域に車の状況に関する情報を表示してもよい。
(22)たとえば,映像データは記録装置によって記録されており,映像データの記録時における車の移動範囲を表す地図の画像を表示させ,表示された地図の画像のうち指定された位置において記録装置によって記録された前記映像データにもとづく映像を表示させるとよい。
特に,映像データの記録時における車の移動範囲を,検出手段によって検出し,検出された移動範囲を表す地図の画像を表す画像データを,取得手段によって取得し,取得された画像データによって表される地図の画像を表示制御手段によって表示装置の表示画面に表示し,表示された地図の画像のうちいずれかの位置を,指定手段によって指定し,指定された位置において記録された映像データを,画像解析手段によって映像データの中から見つけ出して,見つけ出された映像を表示制御手段によって表示装置の表示画面に表示するとよい。このようにすれば,地図の画像から,指定された位置における映像を見やすくなる。見たい映像の時間がわからなくとも,その位置が分かれば,その位置における映像を見ることができる。
(23)たとえば,表示された地図の画像のうち指定された位置においてユーザの記録装置によって記録された映像データにもとづく前記映像と,表示された地図の画像のうち指定された位置において第三者の記録装置によって記録された映像データにもとづく映像と,の少なくとも一方を表示させるとよい。
このようにすれば,ユーザの記録装置によって記録された映像データにもとづく映像だけでなく,第三者の記録装置によって記録された映像データにもとづく映像も見ることができる可能性が高くなる。とくに,表示された地図の画像のうち指定された位置において第三者の記録装置によって記録された映像データを,そのような映像データが記録されているサーバなどに要求するコマンドを,送信手段から送信し,そのコマンドに応じてサーバなどから送信された映像データを受信手段によって受信して,第三者の記録装置によって記録された映像データにもとづく映像を表示制御手段によって表示装置の表示画面に表示させるとよい。ユーザの記録装置によって記録された映像データにもとづく映像と,第三者の記録装置によって記録された映像データにもとづく映像との両方を同時に表示させるようにしてもよいし,切り替えて表示させるようにしてもよい。第三者の記録装置によって記録された映像データにもとづく映像は,ユーザの記録装置によって映像データが記録された季節と同じ季節のものでもよいし,異なる季節のものでもよい。また,第三者の記録装置によって記録された映像データにもとづく映像は,ユーザの記録装置によって映像データが記録されたときの天気と同じ天気のものでもよいし,異なる天気のものでもよい。
(24)たとえば,記録された前記映像データの撮影地を含む名称を,記録された映像データを識別する名称として表示させるようにしてもよい。
このようにすれば,映像データを識別する名称として撮影地を含む名称を利用できる。撮影地の映像データを見つけやすくなる。とくに,記録された映像データの記録位置を示すデータから撮影地を,検出手段によって検出し,検出された撮影地を含む名称を,記録された映像データを識別する名称に,名称変更手段によって変更し,変更された名称を,記録された映像データを識別する名称として表示制御手段によって表示装置の表示画面に表示するとよい。とくに,記録されたデータを格納するファイル名を,ファイル名変更手段によって,記録された映像データの撮影地を含む名称とするとよい。たとえば,映像データを格納する映像ファイルのファイル名を,撮影地を含む名称としてもよい。撮影地の名称そのものを,映像データを識別する名称としてもよい。
(25)たとえば,複数の前記映像データが記録されており,同一の撮影地の映像データを識別する名称を,まとめて表示させるようにしてもよい。
このようにすれば,同一撮影地の映像データかどうかが分かりやすくなる可能性が高くなる。とくに,同一の撮影地の映像データを識別する名称を,まとめて,例えば,連続して表示画面に表示するように表示制御手段によって表示装置を制御するとよい。同一の撮
影地が多い撮影地は通勤,通学のような日常的な撮影地であると考えることができ,同一の撮影地が少ない撮影地は旅行先などの非日常的な撮影地であると考えることができる。日常的な撮影地の映像データや非日常的な撮影地の映像データなどを選択しやすくなる可能性が高くなる。
(26)たとえば,出現頻度が低い名称を優先して表示させるとよい。
このようにすれば,出現頻度が低い名称を優先して表示でき,その名称に対応する映像データを選択しやすくなる。とくに,出現頻度が低い名称を優先して表示画面に表示するように表示制御手段によって表示装置を制御するとよい。出現頻度が低いかどうかは,たとえば,所定の閾値以下の出現頻度のときに出現頻度が低いと判断されるとよい。優先して表示とは,たとえば,複数の識別する名称が上下方向にリスト方式で表示されるときには,上の方に表示するとよいし,順番に表示されていくときには早い順番で表示されるとよい。
(27)たとえば,撮影地の地図の画像を表示させるとよい。
このようにすれば,映像データにもとづく映像のほかに,その撮影地の地図も見ることができる可能性が高くなる。とくに,撮影地の位置を示すデータにもとづいて,その撮影地の地図の画像を,検索手段によって見つけ出し,見つけられた地図の画像を表示制御手段によって表示装置の表示画面に表示するとよい。
(28)たとえば,前記映像データは記録装置によって記録されており,映像データの記録時における車の移動範囲を表す地図の画像を表示させ,映像データの記録時における車の操作に関する情報を地図の画像に表示させるとよい。
このようにすれば,その地図の画像で示される場所において,どのような車の操作が行われたかがわかりやすくなる。地図の画像上に表示された車の操作に関する情報を見ることにより,その地図の画像によって表される場所を車で走行するときに,どのような車の操作が必要になる可能性が高いかわかる。車の移動範囲を示すデータから,その移動範囲を表す地図の画像を,検索手段によって見つけ出し,見つけ出された地図の画像を表示画面に表示するように表示制御手段によって表示装置を制御し,車の操作に関する情報を入力手段から入力し,入力された情報を,地図の画像に表示するように表示制御手段によって表示装置を制御するとよい。車の操作は,たとえば,ウインカーの操作,急ハンドルの操作,急ブレーキの操作などとするとよい。
(29)たとえば,映像データは記録装置によって記録されており,前記加工処理後の映像データにもとづく映像を表示させるとともに,映像データの記録場所における,第三者の運転とユーザの運転との比較にもとづく情報を表示させるとよい。
このようにすれば,第三者の運転とユーザの運転とが比較しやすくなる。ユーザは,この比較により,第三者の運転に比べて自分の運転技能を客観的に評価できる可能性が高くなる。とくに,映像データの記録場所を示すデータを入力手段から入力し,入力されたデータによって示される記録場所における,第三者の運転の様子を示す情報を取得手段によって取得し,取得された第三者の運転についての情報を利用して,ユーザの運転と第三者の運転との比較を比較手段によって行い,比較にもとづく情報を表示画面に表示するように表示制御手段によって表示装置を制御するとよい。第三者の運転とユーザの運転との比較にもとづく情報は,たとえば,第三者の運転の順位とユーザの運転との順位,第三者の運転の評価の平均値とユーザの運転の評価値などとするとよい。
(30)たとえば,映像データはユーザの記録装置によって記録されており,加工処理後の映像データにもとづく前記映像と,映像データの記録場所における第三者の運転に応じて記録装置に記録された映像データにもとづく映像と,を表示させるとよい。
このようにすれば,ユーザの運転による映像と第三者の運転による映像とを比較して見ることができやすくなる。第三者の運転を見ることにより,ユーザは自分の運転の良さ,悪さなどがわかるようになる可能性が高くなる。とくに,映像データの記録場所を示すデータを入力手段から入力し,入力されたデータによって示される記録場所における,第三者の運転に応じて記録された映像データを取得手段によって取得し,取得された第三者の運転に応じて記録された映像データにもとづく映像と,ユーザの運転に応じて得られた映像と,を表示画面に表示するように表示制御手段によって表示装置を制御するとよい。映像データの記録場所は,たとえば,ユーザが記録装置を設置した車を運転して得られた映像データを記録した場所である。
(31)たとえば,路車間通信および車車間通信の少なくとも一方によって得られた情報が映像データに関連づけられて記録されており,加工処理後の映像データにもとづく前記映像に関連して,路車間通信および車車間通信の少なくとも一方により得られた情報を表示させるための制御を行うとよい。
このようにすれば,路車間通信および車車間通信の少なくとも一方により得られた情報がわかりやすくなる。とくに,路車間通信および車車間通信の少なくとも一方により得られた情報を読取手段によって読み取り,読み取った情報を表示画面に表示するように表示制御手段によって表示装置を制御するとよい。路車間通信および車車間通信の少なくとも一方により得られた情報とは,たとえば,ITS(Intelligent Transport Systems:高度道路交通システム)にもとづいて得られた情報とするとよい。路車間通信により得られた情報は,たとえば,道路に設けられている路側機から送信される情報とし,車車間通信により得られた情報は車同士で通信され情報とするとよい。前記映像に関連して表示するとは,映像に関連つけられていればよく,映像上に表示されてもよいし,映像とはべつの領域に表示されてもよいし,映像が表示されているときに表示されればよい。
(32)たとえば,前記加工処理は記憶色への補正とする加工処理であるとよい。
このようにすれば,記憶色にもとづいた映像が得られるやすくなる。とくに,映像を記憶処理に補正する補正手段とするとよい。たとえば,ユーザに記憶に比較的近い映像が得られる可能性が高くなる。記憶色とは,たとえば,ユーザがイメージとして記憶している色,特定のものについて記憶している色とするとよい。記憶色への補正は,たとえば,映像を見ながらユーザ操作によって明るさ,色相,彩度などを変えるとよい。
(33)たとえば,前記加工処理は,前記記録された映像データにもとづく映像の少なくとも一部をぼかす加工処理とするとよい。
このようにすれば,少なくとも一部がぼかされた映像を見ることができる可能性が高くなる。とくに,映像をぼかす処理を行うぼかし手段により加工処理をするとよい。映像の指定範囲をぼかすようにしてもよいし,映像の指定範囲外をぼかすようにしてもよい。指定範囲のぼかしと指定範囲外のぼかしとを切り替えられるようにしてもよい。
(34)たとえば,加工処理後の映像データにもとづく前記映像について音声出力するときには,その映像を表示する表示画面に向き,加工処理後の映像データに基づく前記映像の閲覧者に音声出力するときには,その閲覧者に向くコミュニケーション・ロボットをさらに備えてもよい。
このようにすれば,映像について音声出力するときには,その映像を表示する表示画面に向き,映像の閲覧者に音声出力するときには,その閲覧者に向くコミュニケーション・ロボットが得られる可能性が高くなる。とくに,コミュニケーション・ロボットは,音声出力手段,表示画面と閲覧者との間で首を動かすことができる頭部回転手段,表示画面に表示される映像を解析し,表示画面に表示される映像について音声出力するか閲覧者に対して音声出力するかを判定する判定手段,映像について音声出力するときには,その映像を表示する表示画面に向き,映像の閲覧者に音声出力するときには,その閲覧者に向くように,頭部回転手段を制御する頭部回転制御手段を有するとよい。映像について音声出力するときには,その映像を表示する表示画面に向くので,映像の閲覧者は映像に注意が向き,閲覧者に音声出力するときには閲覧者に向くので,コミュニケーション・ロボットから出力される音声を注意深く聞く可能性が高くなる。コミュニケーション・ロボットは,たとえば,表示画面と閲覧者との方に向くことができ,かつ音声出力できるものであるとよい。
(35)たとえば,道路に関する情報にもとづいて,加工処理後の映像データにもとづく前記映像を表示させる態様を変える制御を行うとよい。
このようにすれば,道路に関する情報にもとづいて映像の表示態様を変えやすくなる。とくに,映像データによって表される映像を解析し,映像に含まれる道路に関する情報を検出して,検出されれた道路に関する情報にもとづいて,加工処理後の映像データにもとづく前記映像を表示させる態様を変えるとよい。道路に関する情報は,たとえば,道路の幅,道路の標識などとするとよい。たとえば,道路に関する情報にもとづいて映像の明るさ,色相,彩度などを変える,カメラ・アングルの異なる映像を表示することにより,態様を変えるようにしてもよい。
(36)たとえば,前記再生装置において再生する前記映像データを記録する記録装置としてもよい。
このようにすれば,再生装置において再生する映像データを記録できる可能性が高くなる。たとえば,前記再生装置において再生する映像データを記録するドライブ・レコーダとするとよい。記録装置は,自動車などの四輪車,オートバイ,自転車などの二輪車などに設置されるものでもよい。
(37)たとえば,前記記録装置は,指定された条件にもとづいて高画質で前記映像データを記録する制御を行うとよい。
このようにすれば,指定された条件にもとづいて高画質で映像データを記録しやすくなる。とくに,指定手段によって条件を指定し,入力手段によって,指定された条件を入力し,入力された条件にもとづいて高画質で映像データを記録するように記録装置を記録制御手段によって制御するとよい。指定された条件は,たとえば,場所,時間などとするとよい。高画質は,たとえば,一定の閾値よりもフレーム・レートを上げたり,一定の解像度よりも高解像度としたりするとよい。
(38)たとえば,前記再生装置および記録装置の少なくとも一方が条件を指定する指定手段を備えており,前記指定手段により指定された条件にもとづいて,高画質で前記映像データを記録する制御を行うとよい。
このようにすれば,指定手段により指定された条件にもとづいて高画質で映像データを記録できる可能性が高くなる。とくに,指定手段によって条件を指定し,入力手段によっ
て,指定された条件を入力し,入力された条件にもとづいて高画質で映像データを記録するように記録装置を記録制御手段によって制御するとよい。前記再生装置が指定手段を備えているときには,たとえば,映像データを記録する記録媒体に,指定手段によって指定された条件を表すデータを記録し,そのような記録媒体を記録装置に装填し,記録媒体から指定された条件を表すデータを読み出すことにより,指定された条件にもとづいて記録装置において高画質で映像データを記録するとよい。
(39)たとえば,前記条件は,前記記録装置が設置された車の速度が一定以上となったこと,および前記記録装置が設置された車が指定された場所を走行したことのいずれか一方であるとよい。
このようにすれば,車の速度が一定以上となったことにより,あるいは指定された場所を走行したことにより,高画質で映像データを記録しやすくなる。とくに,記録装置に設けられているカメラを用いて車のスピード・メータを撮影し,解析手段によって撮影した映像を解析し,判定手段によってスピード・メータが,車の速度が一定以上となったとなったことが判定されたことことにより高画質記録が行われるとよい。また,車が走行している位置を位置検出手段によって検出し,指定された場所を走行していることが判定手段によって判定されたことにより高画質記録が行われるようにしてもよい。
(40)たとえば,記録装置による前記映像データの記録時に路車間通信および車車間通信の少なくとも一方により得られた情報を映像データに関連づけて記録するとよい。
このようにすれば,路車間通信および車車間通信の少なくとも一方により得られた情報を映像データに関連づけて記録できる可能性が高くなる。とくに,路車間通信および車車間通信の少なくとも一方により送信される情報を受信手段によって受信し,受信した情報を,撮影によって得られた映像データに関連づけて記録するとよい。とくに,路車間通信および車車間通信の少なくとも一方により送信される情報を,撮影によって得られた映像データを格納する映像ファイルのヘッダに記録するとよい。
(41)たとえば,記録装置によって記録された前記映像データから一義的に決定する第1の計算値を表すデータを,ブロック・チェーン・システムに送信する制御を行うとよい。
このようにすれば,映像データから一義的に決定する第1の計算値を表すデータを,ブロック・チェーン・システムに送信できる可能性が高くなる。第1の計算値を表すデータをブロック・チェーンに記録させることができるようになる。とくに,記録装置によって記録された映像データから一義的に決定する第1の計算値を算出し,算出された第1の計算値を表すデータをブロック・チェーン・システムに送信するように送信手段を制御するとよい。第1の計算値を算出する算出手段は記録装置に設けられていてもよいし,再生装置に設けられていてもよいし,送信手段も記録装置に設けられていてもよいし,再生装置に設けられていてもよい。ブロック・チェーンは,改ざんされる可能性が比較的低いので,第1の計算値を表すデータがブロック・チェーンに記録されることにより,第1の計算値を表すデータが改ざんされていない可能性が高いことが分かり,その第1の計算値を表すデータと映像データとを用いて映像データが改ざんされていなことを立証できる可能性が高くなる。
(42)たとえば,記録装置によって記録される映像データはMPEGに基づく映像データであり,Pフレームの直前を,映像データを区切る単位として,その単位ごとに一義的に決定する第1の計算値を表すデータを,ブロック・チェーンに記録させる制御を行うとよい。
このようにすれば,Pフレームの直前で区切って単位ごとに第1の計算値を表すデータを,ブロック・チェーンに記録させることができる可能性が高くなる。PフレームはIフレームがなければ一枚の画像として再現できないので,Pフレームの直前で区切って単位ごとに第1の計算値を算出したとすると,その第1の計算値の算出がより困難となる可能性が高くなる。とくに,Pフレームの直前を,映像データを区切る単位として,その単位ごとに一義的に決定する第1の計算値を算出し,算出された第1の計算値を表すデータをブロック・チェーン・システムに送信するように送信手段を制御するとよい。
(43)たとえば,イベント・データから一義的に決定する第2の計算値を表すデータをブロック・チェーンに記録させる制御を行うとよい。
このようにすれば,イベント・データが一義的に決定する第2の計算値を表すデータをブロック・チェーンに記録させることができる可能性が高くなる。第2の計算値の改ざんを困難にさせることができる。とくに,イベント・データから一義的に決定する第2の計算値を算出手段によって算出し,算出された第2の計算値を表すデータをブロック・チェーン・システムに送信するように送信手段を制御するとよい。第2の計算値とイベント・データとを比較することにより,イベント・データが改ざんされたかどうかがわかり,第2の計算値の改ざんが困難なので,イベント・データの改ざんも困難となる。
(44)たとえば,記録装置に記録された映像データが,手動運転時のものか自動運転時のものかを示すデータを前記映像データに関連づけて記録するとよい。
このようにすれば,映像データが手動運転時のものか自動運転時のものかが分かる可能性が高くなる。とくに,手動運転時の時に記録装置に記録された映像データか自動運転時の時に記録装置に記録された映像データかを示す識別データを入力手段から入力し,入力した識別データを映像データに関連づけて記録するとよい。ときに,識別データを映像データが記録される映像ファイルのヘッダ領域に記録するとよい。手動運転は,たとえば,人が車のハンドルを操作して運転するものであり,自動運転は,人が車のハンドルを操作せずに機械制御でハンドルを操作して運転するものであるとするとよい。
(45)たとえば,手動運転時と自動運転時とで記録装置によって記録される前記映像データの画質を変更するとよい。
このようにすれば,手動運転時における映像データと自動運転時における映像データとで異なる画質のものが得られる可能性が高くなる。とくに,手動運転中か自動運転中かを示す識別データを入力手段から入力し,識別データが手動運転中を示しているときに記録される映像データの画質と自動運転中を示しているときに記録される映像データの画質とを変更手段によって変更するとよい。手動運転中のときには画質を高くし,自動運転中のときには画質を低くして映像データを記録してもよいし,その逆に自動運転中のときには画質を低くし,自動運転中のときには画質を高くして映像データを記録してもよい。
(46)たとえば,自動運転時にコミュニケーション・ロボットを動作させるとよい。
このようにすれば,自動運転時にコミュニケーション・ロボットを動作させることができる可能性が高くなる。自動運転時であれば,たとえば,ユーザは運転する必要がないので,運転に支障なく,コミュニケーション・ロボットとコミュニケーションをとることができるようになる。とくに,自動運転時であることを示す識別データを記録装置の入力手段が入力し,入力手段に,そのような識別データが入力したことに応じてコミュニケーション・ロボットに動作コマンドを記録装置の送信手段から送信するとよい。
(47)たとえば,記録している映像データにもとづいて映像を表示し,イベントが起きる可能性が高いと判定されたことに応じて,映像の表示態様を変更する制御を行うとよい。
このようにすれば,イベントが起きる可能性が高いと判定されたことに応じて,映像の表示態様を変更しやすくなる。とくに,車両に設けられている記録装置に表示装置を設け,その表示装置の表示画面に映像を表示し,車両の走行中に映像を解析手段によって解析し,解析の結果,車両の前方においてイベントが起きる可能性が高いと判定手段によって判定されたことに応じて,表示画面に表示されている映像の態様を変更するように表示装置を表示制御手段によって制御するとよい。たとえば,映像の表示態様が変更されたことを認識することによりイベントが起きる可能性が高いことがわかるので,そのイベントに備えることができる。たとえば,映像データが走行中の車に設置されているドライブ・レコーダによって撮影されている場合には,その映像態様が変更することにより,たとえば,数秒後に何等かのイベント,たとえば,急な歩行者,車の飛び出しが起こる可能性があることがわかる。
(48)たとえば,通信装置によって受信した通信用電波の通信状態を表すデータを記録するとよい。
このようにすれば,通信用電波の通信状態を表すデータを記録しやすくなる。とくに,通信用電波の受信に対応した通信装置によって通信用電波を受信し,通信用電波の通信状態を表すデータを記録するとよい。とくに,通信状態を表すデータは,通信中か通信が遮断されているかなどとするとよい。たとえば,通信用電波は,LTE(Long Term Evolution),Wi-Fi,Bluetooth(登録商標)にもとづく電波とするとよい。映像を表示するときには,通信状態に応じて表示態様を変更するようにしてもよい。
(49)たとえば,通信装置によって受信した通信用電波にもとづいて前記映像データの記録モードを変更するようにしてもよい。
このようにすれば,通信用電波にもとづいて映像データの記録モードを変更しやすくなる。とくに,通信用電波の受信に対応した通信装置によって通信用電波を受信し,受信した通信用電波にもとづいて映像データの記録モードを変更するとよい。とくに記録モードは,記録のやり方が変わればどのようなものでもよい。たとえば,通信用電波を受信しているときには高画質での記録モードにし,通信用電波電を受信していないときには低画質での記録モードにしてもよい。それらの逆としてもよい。
(50)たとえば,点呼を受けた運転手の映像を表す映像データと,その運転手の運転によって得られる前記映像データとを関連づけて記録するとよい。
このようにすれば,点呼を受けた運転手の映像を表す映像データと,その運転手の運転によって得られる映像データとを関連づけて記録できる可能性が高くなる。とくに,点呼を受けた運転手の映像を表す映像データを入力手段によって入力し,入力した映像データと,記録装置に設けられているカメラによって,その運転手の運転を撮影して得られる映像データと,を関連づけて記録するとよい。とくに,これらの映像データを同じフォルダに格納するとよい。たとえば,点呼を受けた運転手の映像に関連して,その運転手の運転により得られる映像を表示させることができるようになる。たとえば,点呼を受けた運転手の映像と,その運転手の運転の映像等を同時に表示させることができるようになる。
(51)たとえば,運転手が運転したトラックに設置されている記録装置により得られる前記映像データと,その運転手が操作するフォークリフトに設置されている記録装置により得られる前記映像データとを関連づけて記録する制御を行うとよい。
このようにすれば,トラックの運転時の映像データとフォークリフトの運転時の映像データとを関連づけて記録しやすくなる。とくに,トラックに取り付けられている記録装置に設けられているカメラによってトラックの運転手の運転を撮影して得られる映像データをサーバに送信し,フォークリフトに取り付けられている記録装置に設けられているカメラによってフォークリフトの運転手の運転を撮影して得られる映像データをサーバに送信し,それらの映像データを互いに関連づけてサーバに記録するとよい。とくに,サーバにおいて運転手ごとに映像ファルダが作成されており,その運転手がトラックを運転したときの映像データとフォークリフトを運転したときの映像データとを同じ映像ファイルに格納するとよい。また,トラックを運転していたときにはトラックに取り付けられている記録装置に装填される記録媒体にトラックの運転時の映像データを記録し,フォークリフトを運転したときには,その記録媒体をトラックに取り付けられている記録装置から取り外し,フォークリフトに取り付けられている記録装置に装填し,フォークリフトを運転したときの映像データを,トラックを運転したいたときの映像データが格納される映像ファイルと同じ映像ファイルに格納してもよい。たとえば,運転手のトラックの運転時の映像と,その運転手によるフォークリフトの運転時の映像とを比較して見ることができるようになる。
(52)たとえば,走行中の車から見える現実の風景に重ねて,運転において注意すべき情報を表示するように制御を行うとよい。
このようにすれば,現実の風景に重ねて,運転において注意すべき情報を表示できる可能性が高くなる。実際に運転するに際し,現実の風景を見ながら注意すべき情報もわかるようになる。とくに,MR(Mixed Reality)装置によって現実の風景を見ながら,運転において注意すべき情報を,そのMR装置に表示するとよい。とくに,たとえば,ユーザに眼鏡のMR装置をかけさせ,その眼鏡を通して現実の風景を見せ,かつその眼鏡の面に運転において注意すべき情報を半透明な形態で現実の風景に重ねて表示させるとよい。
(53)たとえば,以前に走行した場所と同じ場所を走行したことにもとづいて,その旨を報知する制御を行うとよい。
このようにすれば,以前に走行したかどうかがわかりやすくなる。以前に走行した場所であることがわかるので,そのことから,たとえば,同じ走行ルートとするか別の走行ルートとするかなどの新たな展開も考えられるようになる。とくに,記録装置に装填される記録媒体には,以前の走行場所を示すデータが記録されており,記録されているデータによって表される以前の走行場所と,現在走行している場所とが比較され,一致している場合には,音声出力装置からの音声出力,表示装置の表示画面への表示などにより,以前に走行した場所と同じ場所を走行していることが報知される。現在走行している場所の検出は,記録装置に設けられているGPS(global positioning system)受信機が利用されるとよい。
(54)たとえば,車の速度メータを撮影し,撮影された速度メータにもとづいて前記映像データを記録する制御を行うとよい。
このようにすれば,撮影された速度メータにもとづいて映像データを記録できる可能性が高くなる。とくに,車内において,記録装置に速度メータを撮影できる位置にカメラを設け,そのカメラによって車の速度メータを撮影し,撮影して得られた映像を解析手段によって解析し,速度メータが映像データを記録する条件の速度を示すと映像データの記録が開始するとよい。たとえば,車の速度メータが80kmを超えていると映像データを記録するとよい。
(55)たとえば,自動搬送車に取り付けられる記録装置であって,自動搬送車の周辺物の接近を検知したことにもとづいて前記映像データを記録する制御を行うとよい。
このようにすれば,自動搬送車の周辺物の接近を検知したことにもとづいて映像データを記録できる可能性が高くなる。とくに,記録装置に設けられているカメラによって自動搬送車近傍を撮影し,自動搬送車の周辺物の接近を検知手段が検知すると,カメラの撮影により得られる映像データを記録するとよい。たとえば,周辺物に自動搬送車が接触したときにその様子がわかるようになる。
(56)たとえば,フォークリフトに取り付けられる記録装置であって,フォークリフトの動作および運転手がフォークリフトに乗ったことの少なくとも一方にもとづいて前記映像データを記録する制御を行うとよい。
このようにすれば,フォークリフトの動作および運転手がフォークリフトに乗ったことの少なくとも一方にもとづいて映像データを記録しやすくなる。とくに,フォークリフトの動作および運転手がフォークリフトに乗ったことの少なくとも一方を検知手段が検知したことに応じて映像データの記録を開始するとよい。とくに,記録装置に設けられているカメラによりフォークリフト内を撮影し,撮影により得られた映像データを解析することにより,フォークリフトの動作があったか,運転手がフォークリフトに乗ったかを検知し,その検知に応じて映像データの記録を開始するとよい。フォークリフトの動作は,たとえば,フォークが動いたこととするとよい。たとえば,運転手がフォークリフトから降りたことにより,映像データの記録を停止するようにしてもよい。
(57)前記映像データを格納するファイルのヘッダに,イベント記録のトリガ情報を記録するようにしてもよい。
このようにすれば,そのファイルのヘッダにイベント記録のトリガ情報を記録できる可能性が高くなる。たとえば,そのトリガ情報を用いて様々に処理を行う展開の可能性が高まる。
(58)たとえば,記録された映像データを再生する再生方法であって,取得した情報にもとづいて前記記録された映像データを加工処理し,加工処理後の映像データにもとづく映像を表示させるための制御を行うことを特徴とするとよい。
このようにすれば,記録された映像そのものでなく,取得した情報にもとづいて加工された映像をユーザは見ることができる可能性が高くなる。加工は,映像を閲覧するユーザに適した処理とすることにより,ユーザに適した映像を得ることができる。記録した映像を加工するのでなく,取得した情報にもとづいて記録された映像データを加工処理するので,映像を閲覧するユーザにとってより適した映像を表示できる可能性が高まる。
(59)前記再生方法において再生する映像データを記録するように記録装置を制御するとよい。
このようにすれば,再生する映像データを記録装置において記録できる可能性が高くなる。
(60)たとえば,記録された映像データを再生する,コンピュータが読み取り可能なプログラムであって,取得した情報にもとづいて前記記録された映像データを加工処理させ,加工処理後の映像データにもとづく映像を表示させるための制御を行わせる,コンピュ
ータが読み取り可能なプログラムとするとよい。
このようにすれば,記録された映像そのものでなく,取得した情報にもとづいて加工された映像をユーザは見ることができる。加工は,映像を閲覧するユーザに適した処理とすることにより,ユーザに適した映像を得ることができる。記録した映像を加工するのでなく,取得した情報にもとづいて記録された映像データを加工処理するので,映像を閲覧するユーザにとってより適した映像を表示できる可能性が高まる。
上述した(1)から(60)に示した発明は、任意に組み合わせることができる。例えば、(1)に示した発明の全てまたは一部の構成に、(2)以降の少なくとも1つの発明の少なくとも一部の構成を加える構成としてもよい。特に、(1)に示した発明に、(2)以降の少なくとも1つの発明の少なくとも一部の構成を加えた発明とするとよい。また、(1)から(60)に示した発明から任意の構成を抽出し、抽出された構成を組み合わせてもよい。本願の出願人は、これらの構成を含む発明について権利を取得する意思を有する。
このようにすれば,記録された映像そのものでなく,取得した情報にもとづいて加工された映像をユーザは見ることができる。加工は,映像を閲覧するユーザに適した処理とすることにより,ユーザに適した映像を得ることができる。記録した映像を加工するのでなく,取得した情報にもとづいて記録された映像データを加工処理するので,映像を閲覧するユーザにとってより適した映像を表示できる可能性が高まる。
本願の発明の効果はこれに限定されず、本明細書および図面等に開示される構成の部分から奏する効果についても開示されており、当該効果を奏する構成についても分割出願・補正等により権利取得する意思を有する。例えば本明細書において「~できる」と記載した箇所などは奏する効果を明示する記載であり、また「~できる」と記載がなくとも効果を示す部分が存在する。またこのような記載がなくとも当該構成よって把握される効果が存在する。
ドライブ・レコーダの側面図である。 ドライブ・レコーダの電気的構成を示すブロック図である。 映像ファイルのファイル構造を示している。 記録処理手順を示すフローチャートである。 ヘッダ・データの生成処理手順を示すフローチャートである。 映像データの記録処理手順を示すフローチャートである。 データの出力処理手順を示すフローチャートである。 データの出力処理手順を示すフローチャートである。 表示画面に表示される映像の一例である。 パーソナル・コンピュータの電気的構成を示すブロック図である。 再生処理手順を示すフローチャートである。 再生処理手順を示すフローチャートである。 再生処理手順を示すフローチャートである。 再生ウインドウの一例である。 再生ウインドウの一例である。 再生ウインドウの一例である。 再生ウインドウの一例である。 再生ウインドウの一例である。 再生ウインドウの一例である。 再生ウインドウの一例である。 再生ウインドウの一例である。 再生ウインドウの一例である。 再生ウインドウの一例である。 プレイ・リスト表示領域の一例である。 プレイ・リスト表示領域の一例である。 IフレームとPフレームとを示している。 記録処理手順を示すフローチャートである。 トラックに取り付けられたドライブ・レコーダの処理手順を示すフローチャートである。 フォークリフトに取り付けられたドライブ・レコーダの処理手順を示すフローチャートである。 記録処理手順を示すフローチャートである。 自動搬送車の処理手順を示すフローチャートである。 運転評価の処理手順を示すフローチャートである。 再生処理手順を示すフローチャートである。 再生処理手順を示すフローチャートである。 再生処理手順を示すフローチャートである。 地図の画像の一例である。 再生処理手順を示すフローチャートである。 再生ウインドウの一例である。 再生ウインドウの一例である。 パーソナル・コンピュータとコミュニケーション・ロボットとの一例である。 コミュニケーション・ロボットの電気的構成を示すブロック図である。 コミュニケーション・ロボットの処理手順を示すフローチャートである。 車内に置かれたコミュニケーション・ロボットを示している。
(1)記録処理
図1から図9は,ドライブ・レコーダを用いた記録処理についてのものである。
図1は,この発明の実施例を示すもので,ドライブ・レコーダ(たとえば,記録装置の一例である)1の側面図である。
ドライブ・レコーダ1は,取り付け部2およびカメラ部4を備えている。
取り付け部2は,ドライブ・レコーダ1を取り付ける車両のフロント・ガラス(図示略)に固定するもので,メモリ・カードを着脱自在にする。また,取り付け部2の外周面の一部には,撮影している映像を表示する表示画面3を形成している。さらに,取り付け部2は,コンバータ・ユニット(図示略)を介して車両と接続するDC(直流)ジャック(図示略)を備えている。さらに,取り付け部2は,所定のボタン類(図示略)を備えている。
カメラ部4は,主として前方(ドライブ・レコーダ1を取り付けた車両の走行方向)を撮影するフロント・カメラ(図1においては図示略)および主として後方を撮影するリア・カメラ(図1においては図示略)を内蔵している。カメラ部4は,フロント・カメラの結像面に被写体を結像するフロント・レンズ5を備え,リア・カメラの結像面に被写体を結像するリア・レンズ6を備えている。フロント・カメラによって車両の前方方向,車両の前方の左右方向および車両の前方の上下方向を撮影でき,リア・カメラによって車両の後方方向,車両の後方の左右方向および車両の後方の上下方向を撮影できる。したがって,フロント・カメラとリア・カメラとによって,ドライブ・レコーダ1を中心とした全方位を撮影できる。
カメラ部4は,取り付け部2に対して,取り付け部2を中心に前後に所定角度θの範囲で動くことができ,フロント・ガラスの角度にかかわらず,比較的適した角度での撮影が可能となる。
図2は,ドライブ・レコーダ1の電気的構成を示すブロック図である。
ドライブ・レコーダ1の全体の動作は,コントローラ10が統括する。
ドライブ・レコーダ1は,メモリ・カード・リーダ/ライタ95を備えている。ドライブ・レコーダ1にメモリ・カード25を装着すると,メモリ・カード・リーダ/ライタ95は,メモリ・カード25に記録されているデータ類の読み取り,メモリ・カード25へのデータの書き込み等を行う。メモリ・カード25には,後述する動作プログラムが記録されており,その記録されている動作プログラムをコントローラ10が読み取り,ドライブ・レコーダ1にインストールされる。ドライブ・レコーダ1にインストールされた動作プログラムをコントローラ10が読み取り,動作プログラムにしたがってドライブ・レコーダ1の各部を制御する。ドライブ・レコーダ1の動作プログラムは,メモリ・カード25以外の記録媒体に格納されている場合には,そのような記録媒体から読み取ってもよい。この場合には,記録媒体に対応したドライバなどのインターフェイスがドライブ・レコーダに設けられることとなる。また,通信回路17によって受信し,ドライブ・レコーダ1にインストールしてよい。
ドライブ・レコーダ1は,上述したように,フロント・カメラ11およびリア・カメラ12を備えている。フロント・カメラ11およびリア・カメラ12がそれぞれ撮影した映像データはコントローラ10に入力する。また,ドライブ・レコーダ1は,表示画面3を有する表示装置を備えており,表示制御装置13が表示装置14における表示を制御する。さらに,ドライブ・レコーダ1は,時計15,路車間/車車間情報受信回路16,通信回路17および加速度センサ18を備えている。時計15から出力する時刻を表す時刻データはコントローラ10に出力する。路車間/車車間情報受信回路16は,たとえば,高度道路情報システムにもとづいて道路などに配置された路側機から送信される周辺状況を表すデータ(路車間情報の一例である),車両から送信される自車情報を表すデータ(車車間情報の一例である)などを受信し,受信したデータをコントローラ10に出力する。路車間/車車間情報受信回路16は,たとえば,DSRC(Dedicated Short Range Communications)にもとづく通信回路を利用する。通信回路17は,たとえば,車両内にコミュニケーション・ロボットなどを置いた場合に,コミュニケーション・ロボットなどと通信する。通信回路17からの出力データはコントローラ10に入力する。加速度センサ18は,ドライブ・レコーダ1を取り付けている車両の加速度を検出し,検出した加速度データをコントローラ10に出力する。
さらに,ドライブ・レコーダ1は,ボタン類などの入力装置20,RAM(Random Access Memory)などのメモリ21およびGPS(Global Positioning System)受信器22を備えている。入力装置20からの出力信号,メモリ21からの出力データおよびGPS受信器22からの出力データもコントローラ10に入力する。
図3は,フロント・カメラ11から出力された映像データおよびリア・カメラ11から出力された映像データを格納する映像ファイルのファイル構造を示している。
映像ファイルには,ヘッダ記録領域31と映像記録領域32とが含まれる。ヘッダ記録領域31はヘッダ・データを記録する領域であり,映像記録領域32は映像データを記録する領域である。
図4は,ドライブ・レコーダ1の記録処理手順を示すフローチャートである。
図4に示す記録処理手順は,記録処理が終了するまでの間,たとえば,1フレーム(他フレームでもよい)の撮影ごとに繰り返される。
ドライブ・レコーダ1を取り付けている車両のエンジンが始動すると,車両のバッテリィはドライブ・レコーダに電源を供給する。すると,図4に示す記録処理が開始する。また,メモリ・カード25に映像ファイルが生成される。記録処理が開始すると,フロント・カメラ11およびリア・カメラ12から出力された映像データがコントローラ10を介して表示制御装置13に入力する。表示装置14の表示画面3に撮像した映像が表示される(図9参照)。表示画面3に表示される映像は,メモリ・カード25に記録されているプログラムにしたがって,フロント・カメラ11により得られた映像またはリア・カメラ12により得られた映像のいずれかの映像が表示されるが,フロント・カメラ11により得られた映像とリア・カメラ12により得られた映像の両方の映像が表示されるようにしてもよい。また,デフォルトの表示としてフロント・カメラ11により得られた映像またはリア・カメラ12により得られた映像を表示し,入力装置20に切り替えボタンを設け,その切り替えボタンの操作に応じて,フロント・カメラ11により得られた映像またはリア・カメラにより得られた映像を表示するように切り替えてもよい。
まず,ヘッダ・データの生成および生成されたヘッダ・データのメモリ21への一時的な記録処理が行われ(ステップ41),その後に映像データのメモリ21への一時的な記録処理が行われる(ステップ42)。つづいて,各種データ等の出力処理が行われ(ステップ43),メモリ21に一時的に記録されたデータ等のメモリ・カード25への書き込み処理が行われる(ステップ44)。
図4においては,ヘッダ・データの生成および生成されたヘッダ・データのメモリ21への一時的な記録(ステップ41)の後に,映像データのメモリ21への一時的な記録処理が行われ(ステップ42),その後に各種データ等の出力処理が行われているが(ステップ43),それらの処理の順序は問わない。また,ヘッダ・データおよび映像データを一時的にメモリ21に記録し,メモリ21に記録されたヘッダ・データおよび映像データを読み出し,読み出したヘッダ・データおよび映像データをメモリ・カード25に書き込んでいるが,可能であれば,メモリ21に一時的に記憶せずに,直接にメモリ・カード25に書き込むようにしてもよい。また,ヘッダ・データの生成および記録処理(ステップ41),映像データの記録処理(ステップ42)ならびにデータ等の出力処理(ステップ43)のうち,所望の二つ以上の処理を並行して行うようにしてもよい。
ドライブ・レコーダ1が取り付けられている車両のエンジンが停止させられ,ドライブ・レコーダ1への電源供給が停止すると,図4に示す記録処理手順は終了する。
図5は,ヘッダ・データの生成処理手順(図4ステップ41の処理手順)を示すフローチャートであり,コントローラ10の処理手順を示している。
ドライブ・レコーダ1が取り付けられている車両が自動運転可能なものである場合,その車両からドライブ・レコーダ1に,自動運転中(車両の運転手の操作にもとづく運転ではない運転の最中)である旨のデータが送信される。たとえば,ドライブ・レコーダ1と車両の車載ネットワークとを接続し,車載ネットワークに出力されている自動運転中か手動運転中(車両の運転手の操作にもとづく運転の最中)かのデータを検出することにより,ドライブ・レコーダ1のコントローラ10は,車両が自動運転中か,手動運転中かを認識する。また,車両とドライブ・レコーダ1とが無線通信可能であり,かつ車両から自動運転中か,手動運転中かを示すデータが送信される場合には,そのデータをドライブ・レコ
ーダ1の通信回路17において受信することにより,ドライブ・レコーダ1のコントローラ10が,車両が自動運転中か,手動運転中かを認識してもよい。
車両が自動運転中か,手動運転中かどうかが,ドライブ・レコーダ1のコントローラ10によって判断される(ステップ51)。自動運転中の場合には,メモリ・カード25に記録されるデータが自動運転中に撮影された映像データであることを示すデータがヘッダ・データとしてメモリ21に一時的に記録される(ステップ52)。また,手動運転中の場合には,メモリ・カード25に記録されるデータが手動運転中に撮影された映像データであることを示すデータがヘッダ・データとしてメモリ21に一時的に記録される(ステップ53)。たとえば,ある時間内に撮影された映像データが自動運転中のデータか,手動運転中のデータかを示すデータがメモリ・カード25に一時的に記録される。もちろん,自動運転中の映像データを格納する自動運転映像フォルダ,手動運転中の映像データを格納する手動運転映像フォルダを生成し,自動運転中に撮影された映像データについては自動運転映像フォルダに格納し,手動運転中に撮影された映像データについては手段運転映像フォルダに格納するようにしてもよい。時間または自動運転映像フォルダへの映像データの格納もしくは手動運転映像フォルダへの映像データの格納が,自動運転時の映像データか手動運転時の映像データかを示すデータと,自動運転時の映像データまたは手動運転時の映像データとの関連づけとなる。
つづいて,路車間通信情報または車車間通信情報を路車間/車車間情報受信回路16が受信したかどうかがコントローラ10によって確認される(ステップ54)。路車間通信情報または車車間通信情報を受信すると(ステップ54でYES),受信した通信情報を表すデータを,その通信情報を受信した時間を表すデータとともにメモリ21に一時的に記録する(ステップ55)。通信情報を受信した時間がわかるので,その時間にどのような映像を撮影していたかどうかも分かり,撮影した映像を再生するときに,同時に路車間通信情報または車車間通信情報も出力できる。このように,たとえば,時間によって路車間通信情報または視野車間通信情報と映像データとを関連づけできる。路車間通信情報または車車間通信情報のいずれも受信しなければ(ステップ54でNO),ステップ55の処理はスキップされ,受信した情報のメモリ21への一時的な記録は行われない。
また,通信回路17によって通信用電波を受信したかどうかも確認される(ステップ56)。通信回路17によって通信用電波が受信されると(ステップ56でYES),その通信用電波の通信状態を表すデータがメモリ21に一時的に記録される(ステップ57)。たとえば,オービス等の路上に設置されている速度取締装置から発せられるレーダー波や,緊急車両等が使用している無線を通信回路17が受信した場合に,それらの内容を示すデータ等がメモリ21に一時的に記録される。通信回路17によって通信用電波が受信されないと(ステップ56でNO),ステップ57の処理はスキップされ,通信用電波の通信状態を表すデータのメモリ21への記録は行われない。
また,リア・カメラ12によって得られた映像データから,車両の運転手の視線がコントローラ10において検出される(ステップ58)。検出された視線を表す視線データも,時間を表すデータとともにメモリ21に一時的に書き込まれる(ステップ59)。いつ,運転手がどの方向を見ていたかがわかる。映像の中から目を検出し,目の瞳孔,虹彩および角膜の部分(いわゆる黒目の部分)と結膜の部分(いわゆる白目の部分)との位置関係により視線がわかる。同様に,リア・カメラ12によって得られた映像データが解析され,車両の運転手が向いている方向も検出され,検出された方向を表すデータも,撮影時刻を表すデータとともにメモリ21に一時的に書き込まれる。
図6は,映像データの記録処理手順(図4ステップ42の処理手順)を示すフローチャートである。
映像データの記録処理においても,自動運転中か,手動運転中かがコントローラ10によって確認される(ステップ61)。自動運転中であると,相対的に低画質の映像データがメモリ21に記録される(ステップ62)。たとえば,フロント・カメラ11およびリア・カメラ12から出力される映像データによって表される1フレーム当たりの画素数が第1の閾値よりも少なくなる画素間引きが行われたり(解像度の低下),単位時間あたりの読み出しフレーム数が第1のフレーム数よりも少なくされたりするように(フレーム・レートの低下)フロント・カメラ11およびリア・カメラ12がコントローラ10によって制御される。これにより相対的に低画質の映像データが得られる。手動運転中であると,相対的に中画質の映像データがメモリ21に記録される(ステップ63)。たとえば,フロント・カメラ11およびリア・カメラ12から出力される映像データによって表される1フレーム当たりの画素数が第1の閾値よりも多くなる画素間引きが行われたり,単位時間あたりの読み出しフレーム数が第1のフレーム数よりも多くされたりするようにフロント・カメラ11およびリア・カメラ12がコントローラ10によって制御される。これにより相対的に中画質の映像データが得られる。このように,解像度,フレーム・レートを調整することにより映像データの画質を調整できる。自動運転中には相対的に低画質での映像データをメモリ21に記録し,手動運転中には相対的に中画質での映像データをメモリ21に記録しているが,自動運転中には相対的に中画質での映像データをメモリ21に記録し,手動運転中には相対的に低画質での映像データをメモリ21に記録するようにしてもよい。自動運転中に記録される映像データの画質と手動運転中に記録される映像データの画質とが異なればよい。
つづいて,指定された条件となったかどうかがコントローラ10によって確認される(ステップ64)。たとえば,車両の速度が一定以上となった,指定された場所を走行している,ドライブ・レコーダ1の入力装置20に高画質指定スイッチ(指定手段の一例である)が設けられている場合にはその高画質指定スイッチが操作されたことが指定された条件となったものの一例である。車両の速度が一定以上となったかどうかは,リア・カメラ12によって車両のスピード・メータを撮影できるようにドライブ・レコーダ1が車両に取り付けられている場合には,リア・カメラ12により得られる映像を解析することにより検出できるし,GPS受信器22にもとづいて算出される走行距離と時計15にもとづいて算出される,その走行距離にかかった時間とからも検出できる。指定された場所を走行しているかどうかは,GPS受信器22からの出力データにもとづいてわかる。
指定された条件となると(ステップ64でYES),相対的に高画質の映像データがメモリ21に一時的に記録される(ステップ65)。たとえば,フロント・カメラ11およびリア・カメラ12から出力される映像データの画素間引きを停止したり,単位時間あたりの読み出しフレーム数が中解像度のときのフレーム数よりも多くされたりするようにフロント・カメラ11およびリア・カメラ12がコントローラ10によって制御される。これにより相対的に高画質の映像データが得られる。指定された条件とならなければ(ステップ64でNO),ステップ65の処理はスキップされ,高画質の映像データをメモリ21に記録する処理は行われない。
さらに,コントローラ10に記録モードの変更指令があったかどうかも確認される(ステップ66)。記録モードの変更指令があった場合には(ステップ66でYES),記録モードが変更され(ステップ67),記録モードの変更指令がなかった場合には(ステップ66でNO),記録モードの変更は行われない。たとえば,上述したように通信回路17によってオービス等の路上に設置されている速度取締装置から発せられるレーダー波や,緊急車両等が使用している無線などの通信用電波を受信した場合に,記録モードの変更指令があったと判断してもよい。記録モードの変更指令があったことにより,たとえば,高画質の映像データをメモリ21に記録するように記録モードを変更することができる。
図6に示す映像データの記録処理においては,自動運転中か,手動運転中かの確認(ステップ61)の後に,指定された条件となったかどうかの確認(ステップ64)が行われているが,指定された条件となったかどうかの確認(ステップ64)の後に,自動運転中か,手動運転中かの確認(ステップ61)が行われてもよいし,これらの両方の確認(ステップ61,64)が並行して行われていてもよい。
図7は,データの出力処理手順(図4ステップ43の処理手順)を示すフローチャートである。
データの出力処理手順においても,自動運転中か,手動運転中かがコントローラ10によって確認される(ステップ71)。自動運転中の場合には,車両内に置かれているコミュニケーション・ロボット(図示略)に通信回路17から動作開始コマンドが送信される(ステップ72)。手動運転中の場合には,車両内に置かれているコミュニケーション・ロボットには通信回路17から動作開始コマンドが送信されない。手動運転中の場合には,コミュニケーション・ロボット停止コマンドを送信してもよい。自動運転中であれば,運転手が手動運転していないのでコミュニケーション・ロボットが動作しても運転に支障がない反面,運転手はコミュニケーション・ロボットとコミュニケーションをとることができるので,時間を有効に活用できる。手動運転中の場合には,車両内に置かれているコミュニケーション・ロボットは動作しないので,運転手がコミュニケーション・ロボットから話しかけられて運転に集中できないというような支障が未然に防止できる。また,手動運転中に,コミュニケーション・ロボットに動作停止コマンドが送信されるようにすれば,コミュニケーション・ロボットが動作中の場合に動作を停止させることができる。
つづいて,コントローラ10によってイベントが起きる可能性が高いかどうかが確認される(ステップ73)。たとえば,走行中の道路の道幅が狭くなっている場合,人通りが多くなっている場合などは,運転手により急ブレーキが踏まれたりしてイベントが起きる可能性が高いと考えられる。イベントが起きる可能性が高い場合には(ステップ73でYES),ドライブ・レコーダ1の表示画面3に表示されている映像の表示態様を変えるようにコントローラ10によって表示制御装置13が制御される(ステップ74)。たとえば,表示画面に,「注意!」という文字を表示させたり,表示画面3に表示されている映像全体または映像の周囲などの一部を半透明の赤色,黄色などで重畳したりすることにより,映像の表示態様を変えるようにするとよい。イベントが起きる可能性が高くない場合には(ステップ73でNO),ドライブ・レコーダ1の表示画面3に表示されている映像の表示態様は変えられない。
さらに,車両が走行中の場合に(停車中でもよい),その走行中の場所が以前に走行した場所と同じかどうかもコントローラ10によって確認される(ステップ75)。ドライブ・レコーダ1に装着されているメモリ・カード25には映像ファイルのヘッダ記録領域には以前に走行した場所を示すGPSデータ記録されている。ヘッダ記録領域に記録されているGPSデータと,走行中の車両に取り付けられているドライブ・レコーダ1に設けられているGPS受信器22が受信するGPSデータと,がコントローラ10によって比較されることにより,走行中の場所が以前に走行した場所と同じかどうかの確認ができる。以前と同じ場所を走行している場合には(ステップ75でYES),同じ場所であることが運転手にドライブ・レコーダ1から報知される(ステップ76)。以前と同じ場所を走行していない場合には(ステップ75でNO),同じ場所であることはドライブ・レコーダ1から報知されない。
図9は,ドライブ・レコーダ1の表示画面3の一例である。
ドライブ・レコーダ1の表示画面3にはフロント・カメラ11によって撮影されている映
像が表示されている。表示画面3の下部に「以前に走行した場所と同じ場所を走行しています」との文字列7が表示されている。この文字列7を見ることにより運転手は以前に走行している場所と同じ場所を走行していることがわかる。既視感により走行した印象を持った場所を走行しているのか,実際に走行したことがある場所なのかが運転手はわかるようになる。以前に走行した場所と同じ場所かどうかは,完全に一致しなくとも,ある範囲内に収まる場所であればよい。
以前に走行した場所と同じ場所であることが文字列7によって表示されているが,そのような文字列7を表示しないで,あらかじめ定められたマークを表示したり,表示画面3の表示態様を変えたりしてもよい。そのようなマークを運転手が見たり,表示態様の変更を運転手が確認したりすることにより,以前に走行した場所と同じ場所を走行していることを運転手がわかる。また,ドライブ・レコーダ1がスピーカを備えている場合には,文字列7等を表示せずにスピーカから音声または音などを出力することにより,以前に走行した場所であることを運転手に報知してもよい。いずれにしても,以前に走行した場所と同じ場所を走行していることが運転手にわかればよい。
図8に戻って,1フレーム分の映像データがメモリ21に一時的に記録されると,その記録されている映像データのハッシュ値(映像データから一義的に決定する第1の計算値の一例である)がコントローラ10によって算出される(ステップ77)。算出されたハッシュ値を表すデータおよび通信回路17によってブロック・チェーン・システムに送信される(ステップ78)。ブロック・チェーン・システムによって,算出されたハッシュ値を表すデータがブロック・チェーン(ブロックのトランザクション)に記録されることとなる。ブロック・チェーンは改ざんが困難なので,映像データが改ざんされたかどうかを,ハッシュ値を用いて確認できるようになる。メモリ・カード25にも算出されたハッシュ値を表すデータが記録されており,映像データの改ざんが行われたかどうかを確認する場合には,ブロック・チェーン・システムに送信されたハッシュ値を表すデータとメモリ・カード25に記録されたハッシュ値を表すデータとが比較され,ハッシュ値が一致していれば映像データの改ざんが行われていず,ハッシュ値が不一致であると映像データの改ざんが行われたと判断される。メモリ・カード25に記録されている映像データとそのハッシュ値を表すデータとは対応づけられてメモリ・カード25に記録されているのはいうまでもない。たとえば,ハッシュ値を表すデータが,ハッシュ値を算出した映像データの,どの時間の映像データから算出されたかを示すデータともに映像ファイルのヘッダ記録領域31に記録される。
このようにして,メモリ21にヘッダ・データおよび映像データが一時的に記録されると,記録されたヘッダ・データおよび映像データがメモリ21から読み出され,映像ファイルのヘッダ記録領域にヘッダ・データが書き込まれ,映像ファイルの映像記録領域に映像データが書き込まれる。
(2)再生処理
図10から図23は,再生用ビューワ・ソフトウエアを用いた再生処理についてのものである。
図10は,タブレット型パーソナル・コンピュータ(再生装置の一例である)の電気的構成を示すブロック図である。
タブレット型パーソナル・コンピュータ(以下,パーソナル・コンピュータという)80の全体の動作は,CPU(Central Processing Unit)80によって統括される。
パーソナル・コンピュータ80には,表示装置82が設けられている。この表示装置82は,
CPU90によって制御される表示制御装置81によって制御される。また,パーソナル・コンピュータ80には,加速度センサ93が設けられており,加速度センサ93からの出力信号は,CPU90に入力する。さらに,パーソナル・コンピュータ80には,CPU90によってアクセスされるSSD(solid state drive)94,メモリ・カード25に記録されているデータ等を読み取り,かつメモリ・カード25にデータ等を書き込むメモリ・カード・リーダ/ライタ95が含まれている。
さらに,パーソナル・コンピュータ80には,キーボード,マウスなどの入力装置96,RAMなどのメモリ97およびインターネットなどのネットワークと接続する通信回路98が含まれている。
後述する動作プログラムは,インターネットを介してパーソナル・コンピュータ80の通信回路98によって受信され,パーソナル・コンピュータ80にインストールされる。インストールされたプログラムをCPU90が読み出して実行することにより,CPU90が各部を制御する。メモリ・カード25などの記録媒体に動作プログラムが格納されており,そのような記録媒体から動作プログラムが読み取られて,パーソナル・コンピュータ80にインストールされてもよい。
図11から図13は,パーソナル・コンピュータ80における再生処理手順を示すフローチャートである。図14から図24は,パーソナル・コンピュータ80の表示装置92の表示画面に表示される再生ウインドウの一例である。
ドライブ・レコーダ1に装着されていたメモリ・カード25がドライブ・レコーダ1から取り外され,パーソナル・コンピュータ80に装着される。パーソナル・コンピュータ80にインストールされている動作プログラムがユーザによって起動させられると,表示装置92
表示画面には,図14に示す再生ウインドウ130が表示される。
図14は,再生ウインドウ130の一例である。
再生ウインドウ130には,上部にメニュー・バー131が形成されており,このメニュー・バー131の下に映像表示領域141が形成されている。さらに,映像表示領域141の下に地図画像表示領域151,車両情報等表示領域161およびプレイ・リスト表示領域171が形成されている。
メニュー・バー131は,各種項目を表示し,それぞれの項目を選択することによりプルダウン・メニューを表示し,細かな指令を与えることができるものである。メニュー・バー131には,「ファイル」,「表示」,「再生」,「ツール」および「インフォーメーション」の各文字列,フォルダ・アイコン132,カメラ・アイコン133,プリンタ・アイコン134,リール・アイコン135,FD(フレキシブル・ディスク)アイコン136,ログ・アイコン137およびギア・アイコン138が表示されている。「ファイル」,「表示」,「再生」,「ツール」および「インフォーメーション」の各文字列をプルダウンすることにより,それぞれの項目に対応したプルダウン・メニューが現れ,細かな指令を与えることができる。フォルダ・アイコン132をクリックすることによりフォルダが指定され,カメラ・アイコン133をクリックすることにより静止画に変換され,プリンタ・アイコン134をクリックすることにより印刷が行われ,リール・アイコン135がクリックされることにより動画変換が行われ,FD(フレキシブル・ディスク)アイコン136がクリックされることによりデータのバックアップが行われ,ログ・アイコン137がクリックされることによりログ・データに変換され,ギア・アイコン138がクリックされることにより記録設定の変更が行われる。映像表示領域141は,ドライブ・レコーダ1等により記録された映像を表示する領域である。地図画像表示領域151は,映像表示領域141に表示されている映像の撮影場所近
傍の地図の画像を表示する領域である。車両情報等表示領域161は,映像の記録時における車両の速度などの情報を表示する領域である。車両情報等表示領域161には,映像表示領域141に表示されている映像を記録したドライブ・レコーダ1が取り付けられている車両の状態などを表示する車両状態表示領域162,映像の再生,停止などの操作指令を与える操作ボタン163,映像表示領域141に表示されている映像の記録時刻を表示する時刻表示領域166,車両の加速度をグラフ化して表示する加速度グラフ表示領域168などが含まれている。プレイ・リスト表示領域171は,メモリ・カード25に記録されている映像ファイルのファイル名をリストで表示する領域である。
フォルダ・アイコン132がクリックされ,映像ファイルが格納されているフォルダが選択されると,そのフォルダに格納されている映像ファイルのファイル名が,図14に示すように,プレイ・リスト表示領域171に,映像ファイルのファイル名がクリック可能に表示される。映像の記録開始時刻がファイル名とされているが,記録開始時刻以外をファイル名としてもよいのは言うまでもない。
プレイ・リスト表示領域171に表示されているファイル名のうち,いずれかのファイル名が入力装置96に含まれているマウスを用いてクリックされると,対応する映像ファイルがメモリ・カード25から読み出される。読み出された映像ファイルに格納されている映像データの再生が開始する(図11ステップ111)。映像ファイルのヘッダ記録領域には,映像データの記録時刻に対応して各種のヘッダ・データが記録されており,記録時刻の映像が表示される時に記録されたヘッダ・データも読み出され,読み出されたヘッダ・データの内容に応じて映像に種々の重畳処理等が行われる。
映像データの再生(再生される映像データは,映像を閲覧するユーザが運転したときに撮影され,記録されたものでもよいし,映像を閲覧するユーザ以外のユーザが運転したときに撮影され,記録されたものでもよい)が開始すると,図15に示すように,映像表示領域141に映像データによって表される映像が動画で表示される。また,その映像データが格納されている映像ファイルに記録されているGPS情報を表すデータがインターネットを介して地図の画像を表すデータを送信するウェブ・サイトに送信される。すると,そのサイトから,映像表示領域141に表示されている映像を記録した場所近傍の地図を表す画像データが,パーソナル・コンピュータ80に送信される。地図を表す画像データが,パーソナル・コンピュータ80において受信されると,地図画像表示領域151に地図の画像が表示される。地図の画像には,映像表示領域141に表示されている場所を表す矢印のアイコン152も表示される。また,車両情報等表示領域161の車両状態表示領域162には,映像表示領域141に表示されている映像を記録している時の車両の速度,車両の前後方向加速度(X),車両の左右方向の加速度(Y),車両の上下方向の加速度(Z),車両の位置を示す緯度(N)および車両の位置を示す経度(E)が表示される。時刻表示領域166には,映像表示領域141に表示されている映像の記録時刻が表示され,加速度グラフ表示領域168には加速度のグラフが表示される。
映像データは,全方位について記録しているから,車両の進行方向から見える被写体の映像だけでなく,後方(進行方向とは反対方向)の被写体の映像,車両の左方向(車両の進行方向を基準にした左方向)または車両の右方向(車両の進行方向を基準とした右方向)の被写体も表示させることもできる。図16は,映像表示領域141に後方の被写体の映像を表示した再生ウインドウ130を示しており,図17は,映像表示領域141に右方向の被写体の映像を表示した再生ウインドウ130を示しており,図18は,映像表示領域141に左方向の被写体の映像を表示した再生ウインドウ130を示している。たとえば,図15に示す状態でマウスを用いて右方向にドラッグすると,進行方向の被写体の映像から右方向の被写体の映像に徐々に切り替わり,図17に示すように右方向の被写体の映像が映像表示領域141に表示される。図17に示す状態でマウスを用いてさらに右方向にドラッグすると,右方向の被
写体の映像から徐々に切り替わり,図16に示すように後方の被写体の映像が映像表示領域141に表示される。図16に示す状態でマウスを用いてさらに右方向にドラッグすると,後方の被写体の映像から徐々に切り替わり,図18に示すように左方向の被写体の映像が映像表示領域141に表示される。図18に示す状態でマウスを用いてさらに右方向にドラッグすると,左方向の被写体の映像から徐々に切り替わり,図15に示すように進行方向の被写体の映像が映像表示領域141に表示される。このように全方位の被写体の映像を映像表示領域141に表示することができる。上述の実施例ではマウスを用いて右方向にドラッグしているが,左方向にドラッグしても,上述したのと同様に,図15に示すように進行方向の被写体の映像から,図18に示すように左方向の被写体の映像に徐々に切り替わり,さらに,図16に示すように後方の被写体の映像に徐々に切り替わり,図17に示すように右方向の被写体の映像に徐々に切り替わり,図15に示すように進行方向の被写体の映像に徐々に切り替わる。
この実施例では,映像表示領域141に映像が表示されると,映像に視野範囲が重畳される(図11ステップ111)。
図19は,ユーザの視野範囲が表示されている状態を示す再生ウインドウ130の一例である。
映像表示領域141には,映像データによって表される映像上に視野範囲を示す枠143がCPU90によって重畳(映像に表示する加工処理の一例である)して表示されている。視野範囲外の領域142の映像部分はCPU90によってぼかされている(ぼかされていることを示すためにハッチングが示されている)。視野範囲は,ユーザの年齢ごとにあらかじめ定められており,視野範囲を表すデータはSSD94にあらかじめ記録されている。ユーザの年齢を指定することにより,指定された年齢に対応する視野範囲を表すデータがSSD94から読み取られ,図19に示すように視野範囲示す枠143および視野範囲外の領域142がぼかされる(取得した情報にもとづいて映像データを加工処理し,加工処理後の映像データにもとづく映像を表示させるための制御の一例である)。もちろん,ユーザごとにユーザの視野範囲をあらかじめ検出しておき,ユーザに固有の視野範囲を表すデータをSSD94にあらかじめ記録しておいてもよい。ユーザごとの視野範囲を示す枠143が映像に重畳されることとなる。ユーザは視野範囲がわかるので,どの範囲が見えていて,どの範囲が見えていないかを認識できる。
また,視野範囲外の領域142に注意すべき対象物(たとえば,幼児など)が存在するかどうかもCPU90によって判断される(図11ステップ113)。視野範囲外の領域142に注意すべき対象物が存在する場合には(図11ステップ113でYES),ユーザに対して警告(ユーザに対する報知の一例である)が行われる(ステップ114)。たとえば,注意すべき対象物が表示される部分を枠で囲んだり,マークを表示したりする。視野範囲外の領域142に注意すべき対象物が存在するかどうかは,注意すべき対象物をあらかじめ定めておき,CPU90が映像解析を行い,その対象物の画像が視野範囲外の領域142に表示されていることをCPU90が検出したかどうかにもとづいて行われればよい。ユーザは視野範囲外に注意すべき対象物の存在があることが分かるので,必要に応じて首を振って視野範囲を実質的に広げながら運転することが事故の未然防止につながるということが理解できる。視野範囲外の領域142に注意すべき対象物が存在しない場合には(図11ステップ113でNO),ステップ114の処理はスキップされ,警告は行われない。視野範囲外の領域142に注意すべき対象物が存在する場合に,ユーザに報知されればよいので,必ずしも視野範囲外の領域142に表示されなくともよい。たとえば,音の出力によりユーザに報知してもよい。
また,CPU90によってユーザの視線を示すマーク144が映像表示領域141に重畳される(ユーザの視線を映像に表示する加工処理の一例である)(図11ステップ115)。ユーザ
の視線を示すデータは,映像の記録時刻と対応づけられて映像ファイルのヘッダ記録領域31に記録されているので,ヘッダ記録領域31からユーザの視線を示すデータを読み取ることにより,表示されている映像の記録時刻にユーザの視線を表すマークを,映像表示領域141に表示されている映像に重畳できる。映像にユーザの視線が重畳されるので,ユーザが本来見ていなければならない被写体(たとえば,信号機,対向車,歩行者など)を見ているかどうかを確認できる。
図19に示す例では,ユーザの視線とは無関係に視野範囲の枠143とユーザの視線を示すマーク144とを表示している。すなわち,視野範囲の枠143は,映像表示領域141に表示されている映像をユーザが見た場合に,この範囲が視野範囲となるであろう範囲を視野範囲の枠143で示しているので,ユーザの運転時の視線に関係なく,映像表示領域141のほぼ中央部分に視野範囲の枠143が表示されている。たとえば,ユーザの視線が映像の中央部分でなく,映像表示領域141に表示されている映像の端部に視線があった場合でも,映像表示領域141のほぼ中央部分に視野範囲の枠143が表示される。これに対して,ユーザの実際の視線を中心に視野範囲の枠143が映像表示領域141に表示されるようにしてもよい。ユーザの実際の運転時の視野範囲がわかる。この場合も,視野範囲外の領域142のぼかし処理などを行ってもよい。視野範囲の枠143内の領域がユーザによる車両の運転中に,ユーザによって見えている範囲の一例となり,視野範囲外の領域142がユーザによる車両の運転中に,ユーザによって見えていない範囲の一例となり,これらの範囲を区別して表示させる一例となる。
映像表示領域142に表示されている映像の記録時刻においてユーザが向いている方向が変わった場合には(図11ステップ116でYES),変わった方向に視野範囲の枠143を動かして映像に重畳する(図11ステップ117)。ユーザが向いている方向が変わったかどうかは,映像ファイルのヘッダ記録領域に記録されている,ユーザの向いている方向を示すデータにもとづいて判断できる。ユーザが向いている方向が変わらなければ(図11ステップ116でNO),視野範囲の枠143は動かされない。
図20は,視野範囲の枠143が動かされる一例である。
映像表示領域141に表示されている映像の記録時にユーザの向いている方向が進行方向のほぼ正面から右下方向に変わったものとする。すると,視野範囲の枠143の位置から視野範囲の枠143Aの位置に動かされる。また,視線を示すマーク144の位置から視線を示すマーク144Aの位置に動かされる。ユーザは向いている方向が変わったことにより,視野範囲も変わったことを認識できる。ユーザが向いている方向が変わった場合,映像表示領域141に表示されている映像と視野範囲を示す枠143(143A)の相対的位置も変わる。このために,映像と視野範囲を示す枠143の相対的位置が変わらないように(たとえば,映像のほぼ中央に視野範囲を示す枠143が表示されるように)してもよい。たとえば,マウスでドラッグされた場合に映像表示領域141に表示される映像を変えるのと同じようにユーザが向いている方向が変わった方向の映像を表示してもよい。
つづいて,ユーザの視線とユーザが見るべき方向とが一致しているかどうかが判断される(図12ステップ118)。一致していなければ(図12ステップ118でNO),見るべき箇所を示すマークを映像表示領域141上に表示し(図12ステップ119),一致していれば(図12ステップ118でYES),見るべき箇所を示すマークを映像表示領域141上に表示しない。もっとも,一致している場合に,一致している旨をユーザに報知(映像表示領域141上に表示,音出力など)してもよい。見るべき方向は,記録時の運転(右折,左折,車線方向など)またはユーザによる車の運転の操作(ブレーキ操作,ウインカー・レバーの操作など)に応じて異なるのはいうまでもない。
図21は,見るべき箇所を示すマークが表示されている一例である。
映像表示領域141に表示されている映像において右下の箇所をユーザが見なければならなかったにもかかわらず,ユーザは見ていなかった(たとえば,正面を見ていた)とすると,その右下の箇所を見るべき箇所であったとしてマーク144が映像表示領域141に表示される(ユーザの見るべき箇所を映像に表示する加工処理の一例である)。表示されている映像を解析したり,映像の記録時のイベントを示すイベント・データ(ウインカー・レバーの操作,急ブレーキなど)が映像ファイルのヘッダ記録領域に記録されている場合には,その記録されているイベント・データを読み取ったりして見るべき箇所がどこかCPU90によって決定される。たとえば,ウインカー・レバーを操作して左側車線から右側車線に車線変更した場合に,右サイド・ミラーを見ていなかった場合には,その右サイド・ミラーを見るべき箇所としてマーク145が表示される。また,右折,左折などあらかじめ定まった場所を確認しなければならない場合には,そのような場所を見ていない場合に見るべき箇所として表示するようにしてもよい。
さらに,見るべき箇所をユーザが見ていない場合に,映像表示領域141における動画での映像表示を一時的に停止して,その場面の画像(静止画)を映像表示領域141に表示するようにしてもよい。動画では,ユーザが見るべき箇所を見ていない場面が一瞬で終わってしまうのに対して,停止した状態の画像が映像表示領域141に表示されるので,ユーザに対してより注意を喚起できる。
さらに,映像表示領域141に表示されている映像の被写体の動きの変化が無い(少ない)映像部分については(図12ステップ120でYES),CPU90によって表示速度が相対的に速くさせられる(図12ステップ121)。映像の被写体の動きの変化が有る(大きい)映像部分については(図12ステップ120でNO),表示速度は相対的に速くされない。被写体の動きの変化が無い(少ない)か有る(大きい)かは,映像のフレーム間の差分を比較すればわかる。被写体の動きの変化が無い(少ない)映像部分は,歩行者の飛び出し,対向車のはみ出しなど重要な場面ではないと考えられるので,表示速度を速くしても問題が無い。また,車両の位置が変化していない映像部分は車両が停止しているので,あまり事故が起きにくく重要ではないとも考えられる。このために,車両の位置が変化していない映像部分についても表示速度を速くしてもよい。
さらに,表示装置92の向きが変えられたかどうかもCPU90によって判断される(図12ステップ122)。向きが変えられた場合には(図12ステップ122でYES),その向きに応じて映像表示領域141に表示される映像の表示範囲が変えられる(図12ステップ123)。向きが変えられていない場合には(図12ステップ122でNO),変えられた向きに応じて映像の表示範囲を変えることは行われない。表示装置92の向きが変えられたかどうか,どの方向に変えられたかどうかは加速度センサ93によって検出できる。ある方向に向いていた表示装置92の表示画面に車両の進行方向の映像(図17参照)が表示されているとする。ある方向に向いていた表示装置92が右方向に向けられた場合には,映像表示領域141に表示されている映像が右方向にドラッグされた場合と同様に右方向の映像(図17参照)が映像表示領域141に表示される。同様に,ある方向に向いていた表示装置92が左方向に向けられた場合には,映像表示領域141に表示されている映像が左方向にドラッグされた場合と同様に左方向の映像(図18参照)が映像表示領域141に表示される。また,ある方向に向いていた表示装置92が後ろ方向に向けられた場合には,後ろ方向の映像(図18参照)が映像表示領域141に表示される。このように車両の進行方向を基準方向として映像の表示範囲を変えることは映像データの加工処理の一例である。疑似的なVR(virtual reality)表示ができるようになる。
さらに,映像表示領域141に表示されている映像の記録時刻に車両の状況に関する情報
が映像ファイルのヘッダ記録領域31に記録されているかどうかがCPU90によって判断される(図12ステップ124)。車両の状況に関する情報が記録されている場合には(図12ステップ124でYES),その車両の状況に関する情報が映像表示領域141に表示される。車両の状況に関する情報が記録されていない場合には(図12ステップ124でNO),その車両の状況に関する情報は映像表示領域141に表示されない。
図22は,車両の状況に関する情報が映像表示領域141に表示されている一例である。
映像表示領域141に,第1の表示態様での吹き出し146が表示されている。この吹き出し146に,映像表示領域141に表示されている映像の記録時刻での車両の状況に関する情報が表示されている。図22に示す例では,吹き出し146に「ブレーキが踏まれた!!」との文字列が表示されており,映像表示領域141に表示されている映像の記録時刻において車両のブレーキ(急ブレーキ)が踏まれたことが分かる。車両の状況に関する情報を表すデータも時刻データに対応づけられて映像ファイルのヘッダ記録領域31に記録されており,そのヘッダ記録領域31から読み出される。もっとも,たとえば,急激な加速度の変化から車両に起きた状況をCPU90において推測して車両の状況に関する情報として吹き出し146に表示するようにしてもよい。たとえば,ある記録時刻において,車両の前後方向の加速度が急激に負方向に変化した場合には急ブレーキが踏まれたと考えられるので,そのような加速度が発生したときの映像に図22に示す吹き出し146と同じ吹き出しを表示するようにしてもよい。
さらに,地図画像表示領域151に表示されている地図の画像のうちいずれかの位置がユーザによってマウスを用いて指定されると(図13ステップ126でYES),指定された位置を表すデータがサーバに送信され,その位置の緯度および経度をそれぞれ示すデータがサーバからパーソナル・コンピュータ80に送信される。パーソナル・コンピュータ80において緯度および経度をそれぞれ示すデータが受信されると,映像表示領域141に表示される映像のうち,その緯度および経度に最も近い位置において撮影された映像の場面が見つけられ,その場面からの映像が映像表示領域141に表示される(図13ステップ127)。地図の画像のうちいずれもの位置も指定されなければ(図13ステップ126でNO),ステップ127の処理はスキップされ,地図の画像の中の位置を指定することによる映像の表示は行われない。また,地図の画像において指定された位置の映像を映像表示領域141に表示しているが,映像表示領域141に表示される映像は,ユーザが乗車した車両に設置されたドライブ・レコーダによって記録された映像と,第三者の車両に設置されたドライブ・レコーダによって記録された映像とのうち,いずれか一方または両方の映像を映像表示領域141に表示するようにしてもよい。その場合,サーバに,第三者の車両に設置されたドライブ・レコーダによって記録された映像を表すデータが格納されており,ユーザによって指定された位置の場所を記録した映像データがサーバから読み出され,パーソナル・コンピュータ80に送信されることとなる。第三者の車両に設置されたドライブ・レコーダによって記録された映像を表すデータがサーバに多数記録されている場合には,それらの映像のうちパーソナル・コンピュータ80に表示させる映像をユーザに選択させ,選択された映像を表示装置92の表示画面に表示させるようにするとよい。
さらに,映像表示領域141に表示されている映像の記録時刻に路車間通信または車車間通信の情報が映像ファイルのヘッダ記録領域31に記録されているかどうかがCPU90によって判断される(図13ステップ128)。路車間通信または車車間通信の情報が記録されている場合には(図13ステップ128でYES),その路車間通信または車車間通信の情報が映像表示領域141に表示される。路車間通信および車車間通信の情報が記録されていない場合には(図13ステップ128でNO),その路車間通信または車車間通信の情報は映像表示領域141に表示されない。
図23は,路車間通信(車車間通信でも同様である)の情報が映像表示領域141に表示されている一例である。
映像表示領域141に,上述した(図22参照)吹き出し146の第1の表示態様と異なる態様である第2の表示態様での吹き出し147が表示されている。この吹き出し147に,映像表示領域141に表示されている映像の記録時刻での路車間通信の情報が表示されている。図23に示す例では,吹き出し147に「前方左に走行車両あり」との文字列が表示されており,映像表示領域141に表示されている映像の記録時刻において車両の前方の左に走行車両が存在したことが分かる。路車間通信および車車間通信の情報を表すデータも時刻データに対応づけられて映像ファイルのヘッダ記録領域31に記録されており,そのヘッダ記録領域31から読み出される。路車間通信および車車間通信の情報を得たユーザは,映像の記録時にその情報にもとづいてどのような車両の操作を行ったか(たとえば,減速したかどうか)を確認できるようになる。
図11に示す再生処理手順においては,視野範囲外に注意対象物が存在するかの処理(図11ステップ113),ユーザの向いている方向が変わったかどうかの処理(図11ステップ113),ユーザの視線とユーザが見るべき方向とが一致しているかどうかの処理(図12ステップ118),被写体の動きの変化が無いかどうかの処理(図12ステップ120),表示装置92の向きが変えられたかどうかの処理(図12ステップ122),車両の状況に関する情報があるかどうかの処理(図12ステップ124),地図の画像の中の位置が指定されたかどうかの処理(図13ステップ126),車車間通信または路車間通信の情報が得られたかどうかの処理(図13ステップ128)の順に各処理が行われているが,これらの処理の順序は任意でよく,それぞれの処理が並行して行われていてもよい。
(3)変形例
図24は,再生ウインドウ130に含まれるプレイ・リスト表示領域171の一部を示している。
上述した実施例においては,プレイ・リスト表示領域171に表示される映像ファイルのファイル名には,映像データの記録日時が利用されているが,この実施例においては,映像データの記録日時ではなくその映像データの記録場所(撮影地の一例である)を映像ファイルのファイル名としている。
次のようにして映像データの記録場所を映像ファイルのファイル名とする。たとえば,ドライブ・レコーダ1において映像ファイルが生成される場合に,その生成される場所の緯度および経度をGPS受信器22において読み取り,それらの緯度および経度のデータを通信回路17からインターネットを介してサーバに送信する。サーバにおいて,それらの緯度および経度の場所を見つけ出し,見つけ出された場所を表すデータを,インターネットを介して受信し,受信したデータから得られる場所を映像ファイルのファイル名とする。もっとも,記録された日時に対応する映像ファイルのヘッダ記録領域31に記録されている緯度および経度のデータを,再生時にインターネットを介してサーバに送信し,サーバにおいて見つけ出された場所を表すデータを,インターネットを介して受信し,受信したデータから得られる場所を映像ファイルのファイル名としてもよい。図24においては,ファイル名は,記録した順番に表示されている。ファイル名に記録時の場所が含まれているので,どこで撮影されたかが一見してわかるようになる。
図25も,再生ウインドウ130に含まれるプレイ・リスト表示領域171の一部を示している。
図25においては,出現頻度の低い記録時の場所が含まれている映像ファイルのファイル
名が上位(上方)に表示されるように(優先して表示する場合の一例である),プレイ・リスト表示領域171に表示されている。出現頻度の高い記録時の場所が含まれている映像ファイルのファイル名は下位(下方)に表示されている。出現頻度が高い記録時の場所は通勤時での記録のように日常生活での記録が多いと考えられるのに対して,出現頻度が低い記録時の場所は旅行での記録のように非日常生活での記録が多いと考えられる。日常生活において記録された映像ファイルの再生が行われやすいように,出現頻度の低い記録時の場所が含まれている映像ファイルのファイル名が上位に表示される。
また,同一場所については,まとめてプレイ・リスト表示領域171に表示するようにしてもよい。同一場所の映像ファイルと異なる場所の映像ファイルとが区別しやすくなる。さらに,映像ファイルのファイル名には記録時の場所が含まれていればよく,記録時の場所のほかに記録日時を映像ファイルのファイル名に含ませてもよい。さらに,プレイ・リスト表示領域171に表示されている映像ファイル名に対応する場所の地図の画像を,たとえば,映像表示領域141に表示するようにしてもよい。名称のみが表示されるよりも地図が表示されるので,どの場所の映像ファイルかわかりやすくなる。たとえば,場所を含む映像ファイルのファイル名を通信回路98からインターネット上の地図サーバ(図示略)に送信し,地図サーバから送信される地図データをパーソナル・コンピュータ80において受信し映像表示領域141に地図の画像を表示する。映像表示領域141に表示されている地図の画像を選択することにより,対応する映像ファイルの再生を開始するようにしてもよい。
図26は,MPEG(Moving Picture Experts Group)にもとづくフレーム構成の一例である。
図26において,「I」と付されているものはIフレームを示し,「P」と付されているものはPフレームを示している。1つのIフレームの後に3つのPフレームがつづいており,これらの1つのIフレームと3つのPフレームとによってGOP(Group Of Picture)が構成されている。
図8ステップ77に示したようにハッシュ値を算出する場合に,Iフレームの直前ではなくPフレームの直前を,映像データを区切る単位として,その単位ごとにハッシュ値をコントローラ10に算出させる。たとえば,PフレームおよびIフレームならびにIフレームの後の3つのPフレームを一つの単位としてコントローラ10においてハッシュ値を算出する。このように算出されたハッシュ値がブロック・チェーン・システムに送信される。
また,映像データからハッシュ値を算出するのではなく,ドライブ・レコーダにおいて各種イベント(例えば,急ブレーキがあった,横すべりが起きたなど)が発生した場合に,そのイベントを表すデータからハッシュ値(イベント・データから一義的に決定する第2の計算値の一例である)をコントローラ10において算出し,算出したハッシュ値をブロック・チェーン・システムに送信するようにしてもよい。
図27は,ドライブ・レコーダ1の記録処理手順の一例を示すフローチャートである。
この実施例においては,運転手(たとえば,職業運転手)の点呼時において点呼時の運転手の様子が撮影され,記録されている。記録された映像データ映像ファイルに格納されて,運転手別にサーバに送信され,サーバに記憶されている。ドライブ・レコーダ1は,サーバにアクセスし,運転手の点呼時の映像データが格納されている映像ファイルを読み取る(ステップ181)。ドライブ・レコーダ1のコントローラ10によって,点呼時の映像ファイルがドライブ・レコーダ1に装着されているメモリ・カード25に記録される(ステップ182)。
つづいて,運転手の運転手名と日時とが,運転時の映像データを格納する映像ファイル
のファイル名とされて映像ファイルがコントローラ10によって生成される(ステップ183)。運転手名は,ドライブ・レコーダ1のメモリ21にあらかじめ記憶されていてもよいし,入力装置20から入力するようにしてもよい。ドライブ・レコーダ1が取り付けられている車両のエンジンがスタートし,運転時の映像データの記録が開始し,記録終了するまで(ステップ185でYES),上述のように映像データが映像ファイルに格納されつづける。
このようにして,点呼時の映像データを格納した映像ファイルと運転時の映像データを格納した映像ファイルとがメモリ・カード25に記録される。そのようなメモリ・カード25がパーソナル・コンピュータ80に装着されると,再生ウインドウ130の映像表示領域141に点呼時の映像と運転時の映像とを表示することができる。点呼時の映像データを格納した映像ファイルと運転時の映像データを格納した映像ファイルとが運転手名(関連づけの一例である)によって関連づけられていることとなる。
この実施例では,ドライブ・レコーダ1において,メモリ・カード25に点呼時の映像ファイルと運転時の映像ファイルとを格納しているが,再生時にメモリ・カード25に点呼時の映像ファイルと運転時の映像ファイルとを格納するようにしてもよい。たとえば,運転時の映像ファイルが格納されているメモリ・カード25がパーソナル・コンピュータ80に装着され,映像ファイルのファイル名がプレイ・リスト表示領域172に表示される。プレイ・リスト表示領域172に表示されている映像ファイル名の中からいずれかの映像ファイル名が選択されると,その選択された映像ファイル名に対応する映像ファイルのヘッダ記録領域31に記録されている運転手名を表すデータが,点呼時の映像ファイルを記録しているサーバに送信され,そのサーバから点呼時の映像ファイルがパーソナル・コンピュータ80に送信される。点呼時の映像ファイルがパーソナル・コンピュータ80において受信されると,運転手の点呼時の映像ファイルによって表される点呼時の映像と,その運転手の運転時の映像ファイルによって表される運転時の映像と,が映像表示領域141に表示される。点呼時の映像と運転時の映像とは,好ましくは同時に隣り合わせで映像表示領域141に表示されるが,必ずしもそのようにしなくともよい。
図28および図29は,ドライブ・レコーダ1の記録処理手順の一例を示すフローチャートである。図28は,トラックにドライブ・レコーダ1を取り付けた場合の記録処理手順の一例を示し,図29は,そのトラックを運転していた運転手が,トラックに積んでいた荷物を,フォークリフトを用いて荷物を動かす場合に,フォークリフトに取り付けられているドライブ・レコーダ1の記録処理手順を示すフローチャートである。
図28を参照して,トラックの運転中にはトラックに取り付けられているドライブ・レコーダ1によって映像データがドライブ・レコーダ1に装着されているメモリ・カード25に記録される(ステップ191)。メモリ・カード25への映像データの記録が終了すると,映像ファイルのヘッダ記録領域に,トラックの運転手の氏名を表すデータおよび日時を表すデータが格納され,映像ファイルの映像記録領域に映像データが記録されている映像ファイルがドライブ・レコーダ1からサーバに送信される(ステップ192)。ドライブ・レコーダ1のメモリ21には運転手の氏名を表すデータがあらかじめ記憶されている。さらに,ドライブ・レコーダからは,フォークリフトからの映像ファイルとの関連づけコマンドがサーバに送信される(ステップ193)。たとえば,トラックのドライブ・レコーダ1から送信された映像ファイルに格納されている映像データによって表される最後の場所(トラックの停車場所)と同じ場所から送信される映像ファイルであり,トラックの停車時刻から数分程度以内にフォークリフトに取り付けられているドライブ・レコーダによって記録が開始された映像データを格納した映像ファイルと,関連づけするようなコマンドがトラックに取り付けられているドライブ・レコーダからサーバに送信される。
図29を参照して,フォークリフトに運転手が近づいたことがフォークリフトに取り付けられているドライブ・レコーダ1によって検出されると,ドライブ・レコーダ1に含まれているフロント・カメラ11およびリア・カメラ12による撮影が開始する(ステップ201)。
フロント・カメラ11またはリア・カメラ12によって撮影された映像から解析され,運転手がフォークリフトに乗り,フォークリフトの動作が開始したこと,あるいは運転手がフォークリフトに乗ったことが検出されると(ステップ202でYES),フォークリフトに取り付けられているドライブ・レコーダ1に装着されているメモリ・カード25への映像データの記録が開始される(ステップ203)。記録が終了すると,映像ファイルがサーバに送信される(ステップ205)。
サーバにおいては,記録終了時刻と記録開始時刻とがほぼ同じであり,かつ記録終了時の場所と記録開始時の場所とがほぼ同じである,2つの映像ファイルが存在すると,それらの映像ファイルは,上述したように,たとえば,同じ運転手がトラックからフォークリフトに乗り換えた映像ファイルとして扱うこととなる。一連の映像を表す映像ファイルとしてパーソナル・コンピュータ80に送信することにより,トラックの運転時の映像とフォークリフトの運転時の映像とを再生ウインドウ130の映像表示領域141に表示できるようになる。
上述の実施例では,トラックを運転し,その後にフォークリフトを運転しているが,その逆にフォークリフトを運転し,その後にトラックを運転して,それぞれの映像ファイルが得られるようにしてもよい。また,フォークリフトを運転して荷物をトラックに積み,その後にトラックを運転して目的地に移動し,目的地においてトラックの荷物を,フォークリフトを用いて降ろす,という一連の映像ファイルが得られるようにしてもよい。
図30は,車両に取り付けられるドライブ・レコーダ1の記録処理手順の一例を示すフローチャートである。
ドライブ・レコーダ1は,車両のフロント・ガラスの内側上部に,車両の速度メータを撮影できる位置に取り付ける。車両のエンジンがスタートすると,フロント・カメラ11およびリア・カメラ12による撮影が開始し,リア・カメラ12によって車両の速度メータが撮影される(ステップ211)。車両の速度メータの映像がコントローラ10によって解析され,車両の速度が,たとえば,30km/h以上(一定以上の速度の一例であるが,他の速度でもよい)の速度となったかどうかが判定される(ステップ212)。30km/h以上となると(ステップ212でYES),メモリ・カード25への映像データの記録が開始する(ステップ213)。車両が30km/h未満となると(ステップ214でYES),メモリ・カード25への映像データの記録が停止する(ステップ215)。
このように,車両の速度が30km/h以上となると,撮影した映像データのメモリ・カード25への記録が行われ,30km/h未満となると,撮影した映像データのメモリ・カード25への記録が停止させられる。一定速度以上で車両が運転されている場合に,撮影により得られる映像データがメモリ・カード25に記録されるようになる。この実施例においては,車両の速度が30km/h以上となると,撮影した映像データのメモリ・カード25への記録が行われ,30km/h未満となると,撮影した映像データのメモリ・カード25への記録が停止させられているが,車両の速度が30km/h以上となった場合に,撮影した映像データのメモリ・カード25への記録を行うが,30km/h未満となっても,撮影した映像データのメモリ・カード25への記録の停止をしなくともよいし,車両の速度に関係なく,撮影した映像データのメモリ・カード25への記録が行われ,30km/h未満となった場合に,撮影した映像データのメモリ・カード25への記録を停止してもよい。
図31は,自動搬送車(無人搬送車)に取り付けられるドライブ・レコーダの記録処理手順の一例を示すフローチャートである。
上述したドライブ・レコーダ1が自動搬送車に取り付けられる。自動搬送車には,自動搬送車への周辺物の接近を検知するレーザ・センサが取り付けられている。
自動搬送車のエンジンがスタート(自動搬送車の電源がオン)されると,ドライブ・レコーダ1への電源の供給が開始する。すると,ドライブ・レコーダ1に設けられているフロント・カメラ11およびリア・カメラ12により撮影が開始する(ステップ221)。レーザ・センサにより自動搬送車への物体(周辺物の一例であり,他の自動搬送車などでもよい)の接近が検知されると(ステップ222でYES),ドライブ・レコーダ1に装着されているメモリ・カード25への映像データの記録が開始する(ステップ223)。レーザ・センサにより自動搬送車への周辺物の接近が検知されないと(ステップNO),メモリ・カード25への映像データの記録は開始しない。誤って周辺物が自動搬送車に接触した場合でも,その様子を記録できる。このように,車両には運転手が乗車するものだけでなく,運転手が乗車しないものも含まれる。
図32は,運転評価の処理手順の一例を示すフローチャートである。
ドライブ・レコーダ1が取り付けられている車両をユーザが運転し,映像データが記録されたメモリ・カード25をドライブ・レコーダ1から取り外して,パーソナル・コンピュータ80に装着する。図14に示す再生ウインドウ130を表示装置92の表示画面に表示させ,メモリ・カード25に記録されている映像データが再生させられる(ステップ231)。再生されている映像の被写体に動きがある場合に(ステップ232でYES),映像が解析されて,その映像から運転評価が行われる(ステップ233)。たとえば,被写体の動きがある場合に急ブレーキが踏まれたり,歩行者や自転車,オートバイ,自動車などの他の車両が接近しすぎたりした場合には運転評価が低くなる。急ブレーキが踏まれたかどうかは,加速度のデータからわかるし,歩行者や他の車両が接近しすぎているかどうかは映像中の歩行者や他の車両の映像の相対的な大きさからわかる。映像の被写体に動きが無い場合には(ステップ232でNO),その映像部分についての運転評価は行われない。映像が終了するまでステップ232および233の処理が繰り返される。被写体の動きが無い映像部分は,車両が停止中と考えられるので運転の評価の意味があまりない。そのような場所での運転の評価が行われないので,無駄な評価をしない可能性が高くなる。被写体の動きがある場合に運転の評価を行い,被写体の動きが無い場合に運転の評価が行われていないが,車両の動きがある場合に運転の評価を行い,車両の動きが無い場合に運転の評価が行われないようにしてもよい。
図33は,ドライブ・レコーダ1によって記録された映像データの再生処理手順の一例を示すフローチャートである。
この実施例においては,ドライブ・レコーダ1は,バス,タクシー,ハイヤー,電車などのように旅客を輸送する車両に取り付けられるが,必ずしもそのような車両に取り付けられるものでなくともよい。
ドライブ・レコーダ1に装着されていたメモリ・カード25がドライブ・レコーダ1から取り外され,パーソナル・コンピュータ80に装着される。パーソナル・コンピュータ80の表示装置14の表示画面には図14に示す再生ウインドウ130が表示され,メモリ・カード25に記録されている映像データが再生される(ステップ241)。
CPU90によって映像が解析され,映像にお客が含まれているかどうかがCPU90によって判定される(ステップ242)。たとえば,運転手を除いて車両のシートに人物が座っていればお客がいると判断すればよい。映像にお客が含まれていれば(ステップ242でYES),映像表示領域141に映像が表示される(ステップ243)。映像にお客が含まれていなければ(ステップ242でNO),映像表示領域141への映像表示は停止させられる。映像が終了するまで(ステップ244でNO),ステップ242および243の処理が繰り返される。上述の実施例では映像にお客が含まれていない場合には映像表示領域141への映像表示は停止させられているが,映像表示は行うが表示速度を速めたり,お客が含まれる映像の部分まで映像をスキップしたりしてもよい。
図34は,記録された映像データの再生処理手順の一例を示すフローチャートである。ドライブ・レコーダ1によって記録されたことが好ましいが,その他の記録装置によって記録されたものでもよい。この再生処理は,映像の中から所望の場面の映像を見つけるものである。
映像データが記録されているメモリ・カード25をパーソナル・コンピュータ80に装着し,再生ウインドウ130が表示装置92の表示画面に表示される。再生ウインドウ130のメニュー・バー131に含まれる「ツール」の文字がユーザによってクリックされると,「検索」項目を含むプルダウン・メニューが現れる。プルダウン・メニューの中から「検索」項目が指定されると,再生ウインドウ130上に,キーワードを入力するためのポップアップ・ウインドウが現れる。そのポップアップ・ウインドウに,入力装置96を用いてユーザが見つけ出したい映像部分の状況を表すキーワードを入力する(ステップ251)。CPU90によって映像データが解析され,入力されたキーワードに関連する場面の映像が見つけ出される(ステップ258)。見つけ出された場面の映像が映像表示領域141に表示される(ステップ254)。ユーザによって入力される映像部分の状況を表すキーワードは,たとえば,新幹線が含まれている映像というように明確なものだけでなく,明るい映像というようなあいまいなものでよい。そのあいまいなキーワードに対応する映像部分が見つけ出される。たとえば,明るい映像というものであれば,映像の中で相対的に輝度の高い映像部分が見つけ出される。また,映像データの記録時の車両の状況を表すキーワードを入力し,その状況の映像を見つけ出すようにしてもよい。たとえば,映像データを記録したドライブ・レコーダが設けられていた車両の状態,スピードを出した,急加速した,ウインカーを出した,というのをキーワードとして,そのキーワードに対応する映像部分を見つけ出すようにできる。車両の状態を表すデータは,映像データが格納されている映像ファイルのヘッダ記録領域31に記録時刻とともに記録されているので,そのデータを用いて映像部分を見つけ出すことができる。また,赤い車が青い車を追い越した後の映像部分を見つけるというように,動的な動きのあとの映像を探すようなキーワードを入力し,対応する映像部分を見つけるようにしてもよい。
図35は,トライブ・レコーダ1によって記録された映像データの再生処理手順の一例を示すフローチャートを示している。
ドライブ・レコーダ1に装着されていたメモリ・カード25がドライブ・レコーダ1から取り外され,パーソナル・コンピュータ80に装着される。パーソナル・コンピュータ80の表示装置92の表示画面には図14に示す再生ウインドウ130が表示される。
メモリ・カード25に格納されている映像ファイルのヘッダ記録領域31に記録されている車両の移動位置を示す緯度および経度をそれぞれ示すデータが読み取られ,車両の移動範囲がパーソナル・コンピュータ80のCPU90によって検出される(ステップ261)。検出された移動範囲を含む地図の画像データのリクエスト・コマンドがパーソナル・コンピュータ80からサーバに送信され,サーバからパーソナル・コンピュータ80に地図の画像デー
タが送信される。地図の画像データがパーソナル・コンピュータ80において受信されると,映像表示領域141に受信した画像データによって表される地図の画像が表示される(ステップ262)。さらに,映像データの記録時の車両の操作情報を表すデータが映像ファイルのヘッダ記録領域31から読み取られ,映像表示領域141に表示されている地図の画像上に,それぞれの位置において行われた車両の操作状況が表示される(ステップ264)。
図35は,映像表示領域141に表示される地図の画像の一例である。
地図の画像において,車両の移動状況が鎖線148によって示されている。この移動状況を表す鎖線148はヘッダ記録領域31に記録されている車両の移動位置を示すデータから得られる。さらに,その鎖線で示される移動状況において,車両の操作状況が吹き出し146によって表示されている。ユーザは,地図の画像を見ることにより,車両の移動範囲を比較的容易に把握できるとともに,その移動時においてどのような場所でどのような車両の操作を行ったかを比較的簡単に把握できる。
図37は,ドライブ・レコーダ1によって記録された映像データの再生処理手順の一例を示すフローチャートである。この実施例においては,ユーザの運転により得られた映像と第三者の運転により得られた映像とが映像表示領域141に表示される。
ユーザが運転していた車両に装着されているメモリ・カード25が取り外され,取り外されたメモリ・カード25がパーソナル・コンピュータ80に装着される。ユーザによる車両の運転により得られた映像データがメモリ・カード25から読み取られ,再生される(ステップ271)。また,ユーザの運転により得られた映像データの記録場所(車両の移動範囲)を示すデータ(緯度および経度のそれぞれを示すデータ)が映像ファイルのヘッダ記録領域31から読み取られ,第三者の運転により得られた映像ファイルが多数記憶されているサーバに送信される。サーバにおいて,ユーザが運転した場所と同じ場所を運転して得られた映像データを格納している映像ファイルが見つけ出され,パーソナル・コンピュータ80に送信される。ユーザの移動方向および移動範囲と完全に一致しなくともほぼ一致するような第三者の映像ファイルが見つけられればよい。見つけ出された第三者の映像ファイルがパーソナル・コンピュータ80において受信され(ステップ273),ユーザの運転により得られた映像と第三者の運転により得られた映像とが映像表示領域141に表示されることとなる(ステップ274)。
図38は,再生ウインドウ130の一例である。
映像表示領域141は,左右(左右でなく,上下でもよい)に二つの映像表示領域141Aと141Bとに分かれている。左側の映像表示領域141Aに,ユーザの運転により得られた映像(加工処理後の映像データにもとづく映像の一例である)が表示され,右側の映像表示領域141Bに,サーバにおいて見つけ出された映像ファイルによって表される第三者の運転により得られた映像が表示される。映像表示領域141Aにおいては,映像表示領域141Aに表示されている映像が記録された時のユーザによる車両の操作情報を示す吹き出し146Aが表示される。吹き出し146Aに表示される操作情報は,映像データが格納されている映像ファイルのヘッダ記録領域31に記録されている加速度データ等から得られるのはいうまでもない。同様に,映像表示領域141Bに表示されている映像が記録された時の第三者による車両の操作情報を示す吹き出し146Bも映像表示領域141Bに表示される。映像表示領域141Aに表示されている映像が示す位置と映像表示領域141Bに表示されている映像が示す位置とがほぼ一致するように,映像の表示の同期がとられるようにCPU90によって再生制御が行われることが好ましい。
映像表示領域141Aに表示されるユーザの運転の映像と映像表示領域141Bに表示される
第三者の運転の映像とを比較して見ることができるので,自分の運転と第三者の運転とを比較しながら,運転技能を向上させることができる。とくに,吹き出し146Aおよび146Bにより操作の一致,相違などもわかるので,他人の運転と一致しているか,相違しているかもわかるようになる。
さらに,ユーザの運転と第三者の運転とを比較して,ユーザの運転の評価を表す情報(第三者の運転とユーザの運転との比較にもとづく情報の一例である)を映像表示領域141に表示するようにしてもよい。たとえば,第三者の運転よりも運転技能が悪いとの評価となってしまう場合には,「第三者の運転を参考にして運転技能を向上させましょう。」などの注意情報を表示してもよいし,第三者の運転よりも運転技能が高いとの評価が得られる場合には,「運転技術は高いと思われます。」などの高評価を表す情報を表示してもよい。
図39は,再生ウインドウ130の一例である。
映像表示領域141に表示されている映像の記録時において車両の運転者がみるべき箇所およびその順序を示すアルファベットの文字が,映像に重畳されている。図39に示す例は,たとえば,車線変更時の映像であり,アルファベットで示される箇所をアルファベット順で見ることが好ましい。映像データの記録時に,上述のように運転者の視線を検出しておき,運転者の視線が,アルファベットで示す箇所をアルファベット順に動いているかどうかがCPU90によって検出される。運転者の視線が,アルファベットで示す箇所をアルファベット順に動いている場合には,たとえば,「理想的な運転です。」という文字列が映像表示領域141に表示される。ユーザは運転技能が悪くないことを確認できる。運転者の視線がアルファベットで示す箇所を動いていない場合には,「確認していない箇所があります。」というような文字列を映像表示領域141に表示し,未確認の箇所があったことをユーザに知らせる。また,運転者の視線がアルファベット順に動いていない場合には,「確認順序が理想的ではありません。」というような文字列を映像表示領域141に表示し,確認順序がよくないことをユーザに知らせる。ユーザは,運転中における視線の動きが適切かどうかを知ることができる。
さらに,図19に示す例では,視野範囲外の領域142をぼかす加工処理を行っていたが,一定時間内の間にユーザが見ていない範囲を検出し,その見ていない範囲をぼかすようにしてもよい。たとえば,右左折の開始から右左折の終了までの間にユーザが見ていない範囲を検出し,その見ていない範囲をぼかすようにしてもよい。映像データの記録時に運転手であるユーザの視線を検出しておき,その視線のデータを用いてユーザが見ていない範囲を検出するのはいうまでもない。たとえば,見ていない範囲が検出された場合には,図19に示すように視野範囲外の領域142と同じように見ていない範囲がぼかされたり,半透明化されたりする。
さらに,ドライブ・レコーダ1によって記録された映像データを再生する場合,運転手の記憶色となるような補正(加工処理の一例である)をCPU90によって行ってもよい。記憶色に補正するためには,得られた映像のコントラスト,トーン,彩度を調整するが,それぞれどの程度に調整をするかあらかじめ決められていてもよいし,いくつかのプリセット調整値を決めておき,再生時に選択するようにしてもよい。
さらに,映像の再生時において,パーソナル・コンピュータ80とともにコミュニケーション・ロボットを利用してもよい。
図40は,パーソナル・コンピュータ80の近くに置かれたコミュニケーション・ロボット280の一例である。
コミュニケーション・ロボット280は,胴体部281と頭部282とが含まれている。頭部282の目283の内部には眼カメラが設けられており,口284にはスピーカが設けられている。頭部282は,胴体部281に対して時計回りおよび反時計回りに回転自在である。パーソナル・コンピュータ80に向かって右側にコミュニケーション・ロボット280が配置されている。パーソナル・コンピュータ80の正面にユーザが座る。このように,パーソナル・コンピュータ80とコミュニケーション・ロボット280とユーザとの配置位置をあらかじめ定めておく。パーソナル・コンピュータ80の表示装置92の表示画面に再生ウインドウ130を表示させ,映像表示領域141に表示されている映像についてコメントを音声出力するときには表示装置92の方に向き,映像を閲覧しているユーザに対してコメントを音声出力するときにはユーザの方に向くようにコミュニケーション・ロボット280が制御される。
図41は,コミュニケーション・ロボット280の電気的構成を示すブロック図である。
コミュニケーション・ロボット280には,全体の動作を統括するCPU291,データ等を記憶するメモリ292,パーソナル・コンピュータ80,ドライブ・レコーダ1などと通信する無線通信回路294および無線通信回路294と接続されている無線LAN(local area network)ボード293が含まれている。また,コミュニケーション・ロボット280には,頭部282を回転させる頭部モータ296,眼カメラ298ならびにスピーカ300およびマイクロフォン301が含まれている。頭部モータ296は,モータ制御ボード295によって制御され,眼カメラ298によって撮影された映像データはセンサ・ボード297によってコミュニケーション・ロボット280に取り込まれる。さらに,スピーカ300からの音声出力,マイクロフォン301からの音声入力は音声入出力ボード299によって制御される。
図42は,コミュニケーション・ロボット280の処理手順を示すフローチャートである。コミュニケーション・ロボット280の動作プログラムはメモリ292に格納されているのはいうまでもない。
パーソナル・コンピュータ80の表示装置92の表示画面には,上述した再生ウインドウ130が表示され,再生ウインドウ130の映像表示領域にドライブ・レコーダ1によって記録された映像が表示される。パーソナル・コンピュータ80とコミュニケーション・ロボット280とが通信し,パーソナル・コンピュータ80からコミュニケーション・ロボット280に加速度データがパーソナル・コンピュータ80からコミュニケーション・ロボット280に送信される(加速度データ以外のデータ,映像ファイルのヘッダ記録領域31に記録されているデータ,イベント・データなどがパーソナル・コンピュータ80からコミュニケーション・ロボット280に送信されてもよい。映像を見て,コミュニケーション・ロボット280がユーザ等にアドバイスできるようなデータがパーソナル・コンピュータ80からコミュニケーション・ロボット280に送信されればよい)。
コミュニケーション・ロボット280に送信された加速度データにもとづいて,コミュニケーション・ロボット280のCPU291が表示されている映像を記録したドライブ・レコーダ1が取り付けられている車両の前後方向での急激な加速度の変化があったと判断した場合には(ステップ311),その車両の急ブレーキが踏まれたと考えられる。すると,図40に示すようにユーザの方向を向いていたコミュニケーション・ロボット280は,頭部282が時計回りに90度回転させられ(ステップ312),パーソナル・コンピュータ80の表示装置92の方向を向かされる。表示装置92の表示画面には急ブレーキを踏んだ場面の映像が表示されており,コミュニケーション・ロボット280が表示装置92の方に向くと,危険な運転な場面である旨がスピーカ300から音声出力される(ステップ313)。たとえば,「このような運転は危険です。」との音声が出力される。音声データはメモリ292に記憶されている。
その後,コミュニケーション・ロボット280の頭部282が反時計回りに90度動かされ(ステップ314),コミュニケーション・ロボット280はユーザの方に向く。コミュニケーション・ロボット280がユーザの方に向くと,表示装置92の表示画面に表示された映像の場面のような危険な運転はしないように注意を促す旨がスピーカ300から音声出力される(ステップ315)。たとえば,「安全運転を心がけましょう。」との音声が出力される。指導員のような人間ではなく,コミュニケーション・ロボット280からの注意なのでユーザは,素直に注意を聞くようになる。
図43は,上述したコミュニケーション・ロボット280を車内のダッシュボード311上に置いた様子を示している。
上述したように,ドライブ・レコーダ1がフロント・ガラス310の上部に取り付けられている。ドライブ・レコーダ1とコミュニケーション・ロボット280とが通信し,上述のように,車両が自動運転中であることがドライブ・レコーダ1において認識されると,ドライブ・レコーダ1からコミュニケーション・ロボット280に動作開始コマンドが送信される。コミュニケーション・ロボット280が動作し,車両の運転手等と話しを開始することとなる。
さらに,ドライブ・レコーダ1に記録された映像データを再生する場合に,ドライブ・レコーダ1が取り付けられた車両が走っている道路情報(たとえば,道幅が狭くなっている,行き止まりの道であるなどの情報)をCPU90が映像データから解析し,解析結果に応じて映像表示領域141に表示されている映像の表示を変えて表示してもよい。たとえば,検出した道路情報を示す文字列を映像に重畳して表示してもよいし,映像全体または一部の色相,明度および彩度のうち,の一部を調整してもよい。映像表示領域141に表示されている映像が変わるので,道路の状態に変化があることなどを知ることができる。
さらに,映像ファイルのヘッダ記録領域31に,イベント記録のトリガ情報を記録するようにしてもよい。たとえば,ウインカーの操作を行った情報,急ブレーキの操作を行った情報,ワイパーの操作を行った情報などをイベント記録のトリガ情報として記録する。さらに,ドライブ・レコーダ1による記録中にユーザが助手席に座り,ユーザの頭に眼鏡型ディスプレイ装置を取り付けてもよい。そのディスプレイ装置のディスプレイ画面には,運転時の注意情報が表示され,ディスプレイ画面を通して,運転中の車両の前方の景色(走行中の車から見える現実の風景の一例である)が見える。車両の前方の景色に重ねて,運転時の注意情報が表示されることとなる。あらかじめ走行する道路が定められており,その道路における注意情報がディスプレイ装置に表示されるのはいうまでもない。また,ユーザ以外の第三者(たとえば,自動車の指導員)が車両に同乗し,ディスプレイ装置に表示する注意情報を選択し,選択された注意情報がユーザのディスプレイ装置に表示するようにしてもよい。
上述の実施例では,ドライブ・レコーダ1は,車両の前方,側方,後方など全方位を記録できるものであったが,必ずしも全方位を記録できるものでなくともよい。
さらに,ドライブ・レコーダ1における記録は,通常の常時記録およびイベント記録を行っているほかに行われるようにしてもよい。たとえば,イベント記録であれば,加速度センサとトリガのスイッチで,前後を記録する。常時記録とは別にイベント記録として残しておく。加速度センサが反応した前後の30秒30秒の1分を記録してもよい。たとえば,1回目のイベントが発生し,2回目のイベントが発生,例えば,1回目カードレールにぶつかり,それで車が振られて2回目ガードレールにぶつかった場合の記録を行ってもよい。記録時間が重複した場合に一つのイベントとしてもよい。イベントとイベントとの間が
空いたら別のイベントとして記録してもよいし,重ならなければ2つのイベントとして処理してよい。
また,工場の中のラインで,工場のラインをきちんと流すために,ラインを構築して,ラインを監視,ラインを調整するカメラに上述のドライブ・レコーダ1を用いてもよい。工作機械で組み立てするときに,その組み立てを撮像するために,問題が起きそうなところに,仮にカメラを取り付ける。工場で新規にラインを立ち上げたときに,仮に3か月くらいつけて,不具合を検証してもよい。工場の工作機械でアラートを出した前後を記録しておいてもよいし,工作機械についている行灯(信号灯),緑,黄色,赤などのトリガに応じて,その前後を撮像するようにしてもよい。そのようなカメラから得られる映像データを,上述の再生ウインドウ130に表示してもよい。イベントだけ撮像してもよいし,常時撮像してもよい。
全天球型のドライブ・レコーダ(全方位撮影するドライブ・レコーダ),広角カメラのドライブ・レコーダであっても人間が見える範囲はカメラの撮像範囲と同じではなく,人間の年齢,個人差によって見える範囲が変わる。高齢者講習,免許の更新をする中で視野角が狭いと危なく,段差に乗り上げることがおおいので,ドライブ・レコーダ1を用いて運転している映像を記録し,段差に乗り上げていることを見せながら講習するとよい。弓座の見える範囲を表示することにより運転手の否定をするわけでなく,見えないのであれば,きちんと見てください,見えるように首を振ってください,という講習を行うことができる。たとえば,再生時に見える範囲がわかるように枠を表示させるとよい。
ドライブ・レコーダ1による運転状況(風景,景色)の記録時に,運転者の目の動向を同時に記録しておいて,視野範囲をずらしたら,視野範囲の中のどこを向いているかというベクトル,丸を表示してもよい。走行時に視線がどこを向いていたかというのを記録しておき,再生ウインドウ130において表示するときに,表示する範囲,枠を,向いている方向にずらすとよい。全天球(全方位)を撮影できるドライブ・レコーダ1であると,車両の前方,側方,後方の全部が記録されているので,運転手の向いている方向が画像認識でわかる。それに伴い,表示する枠を動かすとよい。時間軸に現在だけでなく,今,過去,未来で,どの程度確認していたか,今,まっすぐ見ていたが,過去は見ていない,ということを再生ウインドウ130で表示するとよい。たとえば,見ていない範囲を塗りつぶしていくとよい。まったく見ていない範囲がわかる。どこまで首を振っているか,視線,どこまで見ているかわかる。ドライブ・レコーダ1と視線検出センサとを接続し,センサで撮った視線を表示してもよい。ユーザが見ていない場所がわかる。通常走行,高速走行,交差点での走行などに応じて,撮像時間が変わる。教習所での運転時間,交差点止まっている前後の間,とか。教習所の中の各ポイントで見る範囲があらかじめ定められており,それとどのくらいマッチしたかを判定する。何パーセント以上見ていれば合格など,基準があればいい。普通の運転でも交差点のときに止まった時にどのくらい見たか,速度,時速40km/hから80km/h,80km/h以上とか,その速度に応じて,どのくらい見ているかを判定してもよい。高速になれば,横は見ないけど,バックミラーは見る,街中だと,横も気にしなければならない。20km/h以下の徐行運転は360度見ていなければならない,ミラー,死角も確認しながら運転しなければならない。ウインカー,ブレーキ,ハンドルの舵角にもとづいて,見る範囲が変わる。右側に曲がろうとすれば,右側は比較的正確に見なければならない。再生ウインドウ130を用いることにより,たとえば,ウインカーを出した前,ハンドルを回す前に確認しているということがわかる。さらに,高齢者教習のときに教習所の中で実際に高齢者が運転し,ドライブ・レコーダをつけて,あとからこのように運転していたと再生ウインドウ130で見せるとよい。シミュレータでもいいが,実際に運転しないと,高齢者は納得しないので,実際の映像で理解してもらうことができる。本人に理解してもらうのと,指導員がわかりやすいという二つの効果がある。指導員向けの情報も出してあげるといい。見ていない範囲を塗りつぶしているのは指導員向けの情報ととらえて
もよい。ミラー見ていない,ミラーなどの注視ポイントをあらかじめ,もっておいて,その計器類(スピード・メーターなど)を見ているかチェックしてもよい。泥酔眼鏡をかけさせたときの運転状況をドライブ・レコーダ1で記録し,その状況を見せてもいい。
バスのミラーは十何個あるので,運転手は全部見ているか,タコグラフに加えて,視覚関係での評価をしてもよい。視線(目線)を表示しておいて,運転中の何パーセントをここ見ているという評価ができる。ウインカーを出した前後,見ている箇所とみていない箇所との評価ができる。バスとか業務用の車両は必ずルーチンがあり,バス停,発車の前には確認するマニュアルがあり,フォークリフトでも,前後左右,確認をしているので,バス,電車,トラック,フォークリフトの通常のルーチンにしたがって運転しているかの評価ができる。乗客の動きも見せられる。
再生されている状態で,見ている状態,目線の履歴を残すと,ウインカーを出した瞬間などをトリガにして,その前後を解析することにより,きちんと死角などをみているかわかる。運転の場合,適切なときに適切な場所を見なければならないので,通常の視線解析と異なる。動画で車が進んでいる,トリガ,ウインカー,ハンドルを切る前には見る場所が決まっている。条件みたいのものが時間によって変わっていく。見たタイミングが遅かったりする。時間と対応づけて適切になっているが重要。本来見るところがある。見るべきところを示し,ユーザが底を見ていたか,というガイド的なお手本を見せる。交差点に近づいていたら,ここを見る,曲がっているときなら,ここを見る。トリガの種類,何をトリガにするか,速度,ウインカー,交差点という場所,赤信号,道路標識,横断歩道なら右と左確認しているか,バックに入れたときに後ろ見ているか,前見てバックしない。ミラーを見て確認する。バックモニターしか見ない。左右は見る。そのようなところを確認しているか,目線が前に向いているにも関わらず,バックはおかしい。後ろを見ているにも関わらず,ドライブはおかしい。運転者を撮像している映像から視線解析,向きがわかる。目を開けているかについても検出し,再生時に目を開けているかどうかの情報を表示するようにしてもよい。運転の悪かったところの場面を映画のフィルムのようにサムネイルで見せるようにしてもよい。たとえば,見ていなければならない箇所,車線変更でミラーを見ていない,ウインカー,アクセル,などを操作していないなど,所定の動作においてやるべきことがあるので,それで一致していないところを切り出してサムネイルとして表示するようにしてもよい。
運転の採点をする場合に,止まっているところは採点の対象外としてもよい。スムーズに動いたか,止まったか,急ハンドル,急ブレーキしていないかどうかで採点する。映像の中でビルが動いている,前の車は動いていない,どの場所がどのくらい動いていたときに,評価対象とする。車両が止まっているときは,評価対象としない。止まっているところは使わないで評価する。車両が止まっているところはパスして,次のところに映像を飛ばす,早送りするようにしてもよい。赤信号から青信号に変わったところに映像を進めてもよい。採点者が映像を見るときに,時間短縮できる。外側の映像だけでなく,内側でお客が乗った時,乗った時だけ,表示する。お客の変化があったときだけ,再生すれば,お客が乗ったときの特集となる。タクシーならお客の顔がわかればよいからである。
また,検索するときに,たしか明るいときとすると,明るい映像を見つけ,新幹線があったということであれば,新幹線の映像を見つけ,新幹線の映像をピックアップできる。このように,大体のものから,条件にあったものを映像の中からピックアップするとよい。一週間の映像があったときに,あいまいなことを言われたときに,探し出すようになる。プレゼンで見せたいときに,あのあたりだった,というのも探せる。スーパーの駐車場で光がこういう状況のものを見せたい,というのを検索してもよい。特定物なのか,こんな状況,こんな時間,記録していた車の状態,スピードを出した,急加速した,ウインカーを出した,というのをキーとして見つけ出すとよい。赤い車が青い車を追い越した後,
動的な動きのあとの映像を探す,動画の中のこの連続したシーンのあとから所望のシーンを探し出すとよい。
上部に実際の画像,下部に認識した画像を出したり,車種を画像で判別したり,輪郭で見せたりしてもよい。このような場面というあいまいさから,所望の映像の場面の候補を出し,選ばせるようにしてもよい。画像ごとに,ここに何があってという風にタグ付けし,そこにこれが,何分間あったとか。5分以上停止していたら,としてもよいし,映像を再生するソフトウエアに音声認識機能を付けてもよい。
再生時に,運転者がどこを見ていたか表示すると良い。よそ見していると判定されたときに,再生ウインドウ130にマークを付けてもよいし,よそ見をした瞬間に映像を赤にしてもよい。全天球カメラで撮像し,どこを見ているかがわかるからである。よそ見していたら,警報が鳴ってもよい。目をつぶっていたら警報が鳴ってもよい。その部分だけスキップして再生,その部分だけ再生してもよい。360度カメラのようなウェアラブル・カメラ以外のカメラであれば,ユーザが見た方向がわかるので,その方向を表示できる。ウェアラブル・カメラでもいい。ウェアラブル・カメラでなく,ウェアラブル・センサのように,頭に載せたり,ハチマキみたいなものを用いてカメラをユーザに取り付けたりしてもよい。運転手がどこを向いているのかわかるセンサはあってもいい。耳に加速度センサ(カメラ)をつけてもよいし,女性の髪留めにセンサ(カメラ)をつけてもよい。帽子のつばのところにクリップでセンサ(カメラ)を留めてもよい。それらのセンサと全天球画像とを組み合わせてどっちを向いているのかっていうのをわかるようにしてもよい。全天球画像で解析できる。反対側を出す,裏側の方に,視野範囲を示す枠領域があるということを知らせてもよい。枠を表示中だけど,今見えているものには無いという状況を知らせるようにしてもよい。外枠を緑枠にするとか,見えている範囲はきれいに見えており,それ以外はグレーがかつているようにしてもよい。確認することによりクリアな領域が広がっていくようにしてもよい。見ていない範囲が一目でわかる。頭の動きがない時間は,その範囲をクリアしてもよい。ハンドルをきった前後,ウインカーを出した前後の間だけ見えている範囲と見えていない範囲とを表示するようにしてもよい。下の地図に,カメラが向いている角度を表示してもよい。視線(目線)の角度と車の角度との両方を表示してもよい。映像自体の角度を表示してもよい。車の向きと目線の向きで,どの程度見えているかを見せてもよい。今とっている画角を表示してもよいし,表示しているエリアの画角を表示してもよい。
全天球カメラのドライブ・レコーダにおいてVR(virtual reality)表示ができるようにしてもよい。全天球カメラの映像は,360度まるまる取っているので,平面でのVRみたいな映像が得られる。そのとき,基準方向は,フロント・カメラ側を基準にしてもいいし,撮影している方向,北側などを基準としてもよい。基準方向を北とした方向とVRの視野角の範囲にどのくらいにマッピングすればいいのか決定する必要がある。ドライブ・レコーダ1の場合,前方方向が前となる。本体を動かした方向が見えるという再生装置としてもよい。この範囲が,自分が見えている範囲だが,10歳若い人はもっと見えている,ということを示せる。比較できるという機能を備えてもよい。今,これくらい見えているのが10年後,30年後は,こんなに見えなくなるということが分かる。年齢ごとの角度範囲を指導員が切り替える機能を持たせてもよい。年齢別で切り替えられてもよい。運転者の見える方向基準でVR表示してもよい。VRデバイスに表示できるような,ドライブ・レコーダ1で記録された映像の再生ソフトウエアを提供してもよい。VRデバイスで,加速度とかをオーバーレイで出してもいいし,OSD(オン・スクリーン・デバイス)で表示してもよい。加速度とかを立体表示してもいい。映像自体は3Dできないが,球体の中で見えている面より手前に,半透過で見せることができる。いらない領域にパネルを出すようにしてもよい。首を動かすだけでわかる。視線がどこに行っているというものは,手前にあればいい,オーバーレイ的なものは手前にある。見ている時間によって濃くなってもよ
いし,見ている頻度によって濃いところと薄いところができるようにしてもよい。横向いたら,横の画像が見え,上向いたら,上の画像が見えるようにしてもよい。向いている方向は,加速度センサ,地磁気センサ,ジャイロで検出するとよい。まっすぐ前というのはカメラが固定されているので,これから前の方向がわかる。球の中心が前とすればよい。カメラは常に前向いている。画像データをフレームワークに与えればいい。
管理者が見るときのという観点で,信号待ちとか停車中で映像に変化がない状態では見ても仕方がない映像で,そこは勝手に再生ソフトウエア(プログラム)が認識してスキップする機能を持たせるとよい。
地図上において,車両の動いた軌跡を表示し,その軌跡の点を指定したら,そこにジャンプする機能を持たせてもよい。地図のある点が,どの時間の映像かは,地図の点に対応して時間が書いてあり,カーソルを持ってくると時間が出るので,その時間の映像を見つけられる。ストリート・ビューを表示してもよい。ストリート・ビューの映像と,ドラレコで記録している映像とを切り替える機能を持たせてもよい。ストリート・ビューは,過去,現在のものがあるので,1年前は,こういう景色でしたということが分かる。走ったところの3年前の映像が見られる。ビルが建つ前と建った後の映像が見られる。別のウインドウでもいいので表示するとよい。地図自体も古いのに切り替えられるとよい。撮影した日が入っているのであれば,秋の映像が見たいとか,春の映像が見たいとか,所望の季節の映像を表示させてもよい。通勤で同じところを走っていると夏,冬の映像を表示させてもよい。今,走っているところとおなじ映像を表しするようにしてもよい。雨の日は,こんな感じだったとか表示するようにしてもよい。
再生ウインドウ130のプレイ・リスト表示領域172に,この映像はこの辺からこの辺に移動した映像であるという情報を表示してもよい。たとえば,岡崎市から豊田市まで行った映像であるという情報を表示してもよい。テキストで出してもいいし,地図の縮小表示としてもよい。非常にわかりやすくなり,使い勝手が良くなる。市町村と領域データがあれば,〇〇市から××市までという表示が可能となる。ロケーションAPI(Application Programming Interface)を利用し,緯度,経度を検索サーバなどに送信すると,その位置は〇〇市という情報が返ってくるので,その情報を出力すればよい。自動で映像ファイルの行先をつけることができる。映像が並んでいるとき,毎日車で通勤していると,通勤の映像はどうでもよい場合に,旅行の映像だけ見たいのであれば,ここからここまでは,通勤とカテゴライズするとより選択しやすい。今の〇〇市であれば,出発点と到着点とが同じところをカテゴライズし,レアなものを上に持っていくとよい。1回くらいしか行っていないところだと,それは旅行の可能性が高いと考えられるからである。
映像ファイルのヘッダ記録領域31にはGPSのデータがフレーム単位,1秒おき,0.5秒おきなど周期的で格納されている。映像ファイルのファイル名を,特定の地名,たとえば「東岡崎」とするためには,座標を位置検索サーバのAPIに送信し,サーバから戻ってきた情報を用いて映像ファイル名にすればよい。GPSデータを地図の画像を格納しているサーバに投げて,そのサーバから地図を持ってきて表示できる。パーソナル・コンピュータ80が地図データと地名情報とを持っていれば,外部のサーバに送信する必要はない。イベント情報を表示するようにしてもよい。イベントばかりのデータを再生ウインドウ130に表示し,この道を通ったときは,この場面,この場面でイベントが起きています,という情報を表示できる。どこで,急ブレーキ等をしたかということを地図上で出すようにしもよい。行きかえりの通勤の道であれば,どこでイベントが発生して変わったかっていうイベントをまとめて出すようにしてもよい。道を表示し,この道を通ったら,こういうイベントが発生したというのを重ねて,地図上に出すようにしてもよい。たとえば,地図におけるある道路,国道248号線をピッと押せば,国道248号線を通っているときに起きたイベントが,ある期間内の間,たとえば5年分,まとめて地図上に表示され,その場所
は,集中的に危ないというのがわかる。全部ログがでてきクリックするとログが出たり,心拍が出たり,自転車とかカテゴリ分けしてもよい。軽い事象が発生したところ,ここでアクセルをたくさん踏んでいるとか,場所によって事故しやすい場所を特定して集計して表示してもよい。カテゴライズして通勤の映像ファイルを表示し,クリックしたら全部地図上にマップされるようにしてもよい。
また,一定の区間ごと,たとえば,この交差点からこの交差点までという感じで,何かしらの運転評価が行われて,それが自動的にサーバに保存されるようにしてもよい。再生したときに,他人の評価データも区間ごとに随時蓄積されてくるので,他人の運転と比較して,自分の運転の評価がどうなのか,荒い運転なのか安全運転なのかというのが,再生ウインドウ130に再生しているときに評価が表示されるとよい。映像の下,近くに評価に応じて花丸,泣いた顔がでるようにしてもよいし,得点がでるようにしてもよいし,他人の平均点がでてきてもよい。
さらに,一定の区間ごとに,映像がサーバに保存され,同じ場所を比較してもよい。たとえば,ある道路,国道一号線のここからここまでとかを比較してもよい。運転の点数をつけるのに加速度センサ,速度,センサ,ジャイロ,ブレーキの踏み方というのでつけるが,逆にその道にとってその得点というのが,果たして,赤点なのか,合格点なのかということなのか。曲がりくねった道では当然ハンドルを何回も切るので,それで蛇行のし過ぎだといわれても,評価が適切でな良い。道が曲がっているからである。絶対評価ではなく,相対評価を出したり,他の人の運転したものを出したりしてもいい。一位の運転者の映像,あなたは30位です,素晴らしい運転の画像はこれですというのを表示してもよい。一位の映像を表示してもいいのかというのはあるが,それを許諾する機能を設ければよい。これを提供していいですか,というのを表示したり,他の人も見ることができるようにしますかというのを表示したり,アップロードというボタンをつけてもよい。カメラ(ドライブ・レコーダ1)自身が通信機能を持っていてアップロードしてもよいし,得点のデータを送信してもよい。再生ソフトウエアをパーソナル・コンピュータ80にインストールするときに確認してもよいし,インストール時に一括で行ってもよいし,アップロードする映像ファイルを一個一個で行うように選ばせるか,アップロードしようとした瞬間に許可ボタンがでるようにしてもよい。映像ファイルについては確認の上でアッブロードし,得点は確認せずにアップロードしてもよい。ユーザと,ユーザが居た情報とを結びつけるのはしない,という規約としてもよい。アップロードするときに,日付データとかを消してもよい。曜日と時間はあってもよいが,個人を特定する情報は消した方がよい。場所と時間だけで車種,個人名がなければ,そのデータが誰のデータかわからなければよい。
農道のような何もない道路は事故が起きる可能性が低いので,一応は撮影(記録)するが,解像度は下げて,街中は飛び出しがあるので,高解像度で撮影(記録)するというのを場所ごとに指定できるようにするとよい。ここからここまでの範囲は低解像度での記録,ここは高解像度の記録と指定できるようにするとよい。長時間撮影できるようになる。その場所を指定するのは再生ウインドウ130を用いて指定する。ユーザが,ここからここまではいいという範囲をあらかじめ指定する。地図で,丸で囲み,この範囲に入ったときには低解像度で撮影(記録)するように再生ウインドウ130で設定するとよい。録画設定をしたメモリ・カード25をドライブ・レコーダ1にセットする。すると,その通りに動くこととなる。液晶表示装置を持っているドライブ・レコーダ1であれば,ドライブ・レコーダ1で設定することもできる。ここは駐車監視のときも解像度を調整してもいい。走行中においても,解像度を変えるようにしてもよい。絶対ここでは何も起きないというのがあるからである。イベント記録で細かく撮影(記録)していればよい。クラウド(サーバ)側ですべてのデータを持っていれば,この場所ではイベントが発生しない,発生する,がわかるので,クラウド側で解像度調整できる。確率が低いところ低解像度(フレーム・レート),確率が高いところは高解像度で記録する。イベントの切り替えなので,イベントのあった
時には高解像度ということにするとよい。旅行先では高解像度,旅行先までの道中は低解像度で記録するようにしてもよい。高速道路で走っているときには,記録しなくてもよい。イベントが起きたときだけ記録(イベント記録)してもよい。たとえば,京都に行くとしたら,京都市内は高解像度で記録し,京都から離れると記録しない。1秒に1フレームにするとか,低フレーム・レートで記録してもよい。動画投稿サイトにアップしたい場所をあらかじめ設定しておいてもよい。たとえば,サーキットに行ったらサーキットのところは高画質で記録し,その道中は記録しないようにしてもよい。低フレーム・レート(低画質)で記録するエリアではなく,高フレーム・レート(高画質)で記録するエリアを指定してもよい。駐車監視で駐車しているときは低フレーム・レートで記録してもよい。
たとえば,京都は高解像度で撮影すると行ったときに,行きかえりも一応記録しておくとよい。記録しないとドライブ・レコーダとして意味がないし,京都に入って設定しようとしても,運転中なので設定できない。たとえば,清水寺の近くだけ高解像度で記録してもよいが,設定することを忘れてしまうので,未然に防止できる。また,峠での走行中は高解像度で記録するとよい。高速道路は高画質で記録して,一般道は低画質で記録してもよい。首都高は高画質で記録し,普通の高速道路は記録しないとしてもよいし,スピードが100km以上となったら記録する,コーナーで加速度がかかったときに記録する,としてもよい。エリアの設定というのは,ドライブ・レコーダ1に高解像度か低解像度かというスライド・スイッチを設けて切り替えればよい。
760MHzのITSサービス・システム,高度道路情報,というのが2016年くらいから実験サービスとして始まっているが,この情報をドライブ・レコーダ1の情報と一緒に記録できるとよい。情報には,たとえば,自車の近辺に他の自動車(位置,移動方向,加速度など),信号機(何メートル先か,赤になるまでの時間など),道路標識(何メートル先か,制限速度はなど),歩行者(位置,移動方向など),緊急車両接近通知,急ブレーキ警告,渋滞警告,故障信号車両警告,標識通知,二輪車接近通知,信号タイミング通知,工事情報通知,天候警告などがある。ITSには,路車間通信と車車間通信とがあり,路車間通信は道路と車との通信,車車間は車と車との通信である。路車間通信では,号機の情報とか,周囲の歩行者のセンサから得た情報の通信が行われる。車車間通信では,車がどちらの方向に行くかとか,今のアクセルについての情報などの通信が行われる。たとえば,路車間のデータが受信できたとき,映像と一緒に保存できたとすると,たとえば,LED信号機だったら点滅しており,ちょうど点滅の消えているところのフレームとカメラのフレーム・レートとが同期すると,まったく信号機の光が映像の中に映らないということが起き,状況によっては,ずっと暗いままということがある。もし,信号機の光が映っていなかったとしてもITSの情報で,信号機がどういう状態がデータとして記録できる。ITSの情報から,信号が青という情報がわかれば,再生ウインドウ130の端部に信号が青として情報を表示できる。情報が専用の周波数を用いて提供され始めているので,それを受信機で受信してドライブ・レコーダの映像と一緒に記録して,再生ウインドウ130に表示させることができる。
ITSサービスの情報をドライブ・レコーダ1で記録し,その情報を表示するとよい。隣から自動車が来ている,自転車が来ている,赤信号で渡った,黄色信号で渡った,黄色信号なのに手前からブレーキ踏んでない,などの情報をドライブ・レコーダ1でメモリ・カード25に記録できるとよい。自車の近辺にある他の自動車の情報(位置,移動方向,加速度),何メートル先に信号機があるとか,何メートル先で赤になるまでの時間,道路標識の種類,歩行者も検知して送信するので,それらの情報をドライブ・レコーダ1で受信し記録するとよい。緊急車両が近づいてきたら,その情報,前の車が急ブレーキしたときにバケツ・リレーで,車車間で送られてくるので,そのような情報をドライブ・レコーダ1がメモリ・カード25に記録できるとよい。また,何両先の車が急ブレーキしたというのが事前にわかるので,その情報も記録できるとよい。路車間の場合,それらの情報は交差
点近傍のアンテナから情報が送信される。そのアンテナから5メートルくらいのエリア内に入ると勝手に情報をドライブ・レコーダ1が受信する。車車間では,道路からの情報を受信できる車両は自分の情報を発信することもできる。今,時速何キロとか,カーナビをもとに次ぎは左に行くとか,今,ブレーキ踏んだとか,路車間で受信するときはドラレコで受信する。車車間もドラレコが受信する,となりの車が飛ばした情報も同じ周波数なので受信できる。ドラレコは発信せずに,受信するだけとするとよい。ITS用の装置が送受信機であり,ドラレコが付いている車と,違う車とが通信しているのを,ドライブ・レコーダ1で記録する。ただ,傍受するだけ。ドラレコにソフトを入れて,受信したら,他の車に送信するとしてもよい。
交差点にビルがあり,死角から車が来た場合に,その車がどういう挙動するか,多少ブレーキを踏んでいるか,という状況で一方の車から他方の車に通信して事故を防止するという場合によい。また,交差点にカメラを設置しておいて,歩行者がいる,という情報も知らせる。曲がるときに気を付けさせるようなシステムであるので,隠れた車がいるときに,ブレーキを踏んでいることがわかれば管理者が管理しやすい,車が報知しているにも関わらず,人がいるのにブレーキ踏まなかったとかが記録されるとよい。前の信号が赤信号であと10秒しないと青にならない,という情報が車に備え付けられているディスプレイに表示されているにも関わらず,スピードを落とさずにいたら燃費が悪いという指摘を受けるとよい。
再生ウインドウ130においては,ドライブ・レコーダ1を取り付けている車の情報というのは下に表示される。たとえば,速度とか,ウインカーの操作状況とかである。そのような情報とは別に,ITSシステムで得られた情報を別のところに出すとよい。
たとえば,右前方何メートルに車がいるということはわかるので,オーバーレイで,そこに車がいるような,前方何メートルの信号機がある場合に,その信号機が見えた瞬間に吹出を出して,その信号までの時間を表示するとよい。テキストで表示してもよい。テキストとかアイコンとかで表示してもよい。吹出はアイコンの一例である。
ドライブ・レコーダの映像は事故の状況を客観的に示す証拠として利用されているので,加工できないことが望ましい。改竄があったら改竄を検出できることが好ましい。また,ドライブ・レコーダ1が記録した映像っていうのは,運転手が記憶している風景を記録したものではなく,客観的にその場でドライブ・レコーダ1に含まれているカメラ(フロント・カメラ11,リア・カメラ12)の使用に沿った映像が記録されている。これは,ドライブ・レコーダ1の設置場所が運転者の目の位置と違う,ドライブ・レコーダ1の記録のシステムが人間の視覚システムと異なるからである。ドライブ・レコーダの撮影システムと人間の目の撮像のシステムの違いとしては,勿論その画角とか感度とか頭の動きとか眼球運動とかその光学系の違いとか,撮像センサというかと,その目の構造の相違というのもあるが,特には脳の認知構造が異なるので,運転者が記憶している映像というのを得て,ドライブ・レコーダ1に,それに近い映像をなるべく出せる機能をつけて,ドライブ・レコーダ1の記録していたその客観的な映像との違いに基づいて運転者を教育したり,運転者の認知のひずみを補正したりするとよい。
ドライブ・レコーダ1で記録された映像が,自分が思っていたのはこういう映像であったというように色などを加工できるようにするとよい。客観的に認識していた状態に映像を加工し,運転手が感じていた印象に近い映像を表示できるようにするとよい。
改竄の方の検出については,ドライブ・レコーダ1の映像を記録する際に記録するデータのハッシュ値を求め,ハッシュ値を映像に関連して記憶するとともにネットワークに接続されたP2P(ピア・トゥ・ピア)ネットワーク上のブロック・チェーンに記憶するとよ
い。今まではサーバに1人の主体が全部映像データを保存していたが,データ分散型のデータベースで,あらゆる人,インターネットにつながっているたくさんの人がそのデータというのを共有して,同じデータをそれぞれのサーバが持つようになる。それがインターネット上に投げられたブロックというものを,今までのブロック・チェーンにくっつけるっていう作業して,どんどんどんどんチェーンにする。そのチェーンのデータが全部のサーバで同じデータがデータベース上に記録される。特徴はみんなが同じデータを持っているので,過半数の人が改竄しない限り改竄が検出できるということである。
データの作り方も,ブロックを繋げていく時に前のブロックのハッシュ値を計算してそれを必ず次のブロックに入れていく。一か所のブロックを改竄するっていうことができなくて,その改竄するためにはそれより後のブロックを全部改竄していかなければならないので改竄が非常に困難となる。ブロック・チェーンの値を計算するのに大体ビットコインだと10分ぐらいかかるような計算量に設定されており,そのブロックを全部計算し直すっていうと時間的に不可能となる。契約の一連の流れ,っていうのを全部ブロック・チェーンに記録してもよいし,輸出入手続きの契約など,向こうの国の中の運送をする人,その中での決済する人,両替する人とか,注文をどうこうするとか,色んな契約の束を全部チェーンの中に記録してもよい。たとえば,何月何日にここを通しました。船に積みましたという情報を全部チェーンの中に記録して,後から全部検証できるようにしてもよい。利害が対立する領域で,検証できるような仕組みの所で使われてもよい。また,広告の出稿者が広告枠を買い,例えば7時から,ゴールデンタイムの7時から8時までの間に15秒のCMを何本1か月の間にうつという契約において,本当に広告うたれたか,全部検証する訳に行かないし,あるいは交通広告だったら,どこに張り出されているのか全部検証する訳にいかないし,ネットだと本当にそれだけのインプレッションが与えられたのか,表示が相手のブラウザにされたのかどうか,検証できないが,出稿した人と広告を実際に出す人の間で監査っていうことがされる場合に,ブロック・チェーンを利用してもよい。たとえば,ブロック・チェーンで広告出したらブロックの中に出しました,出しましたって,どんどんチェーンで繋げていく。そうすると,1000回出してくださいと言った人と,今800回出しているということの検証がブロック・チェーン上でできる。
改竄できないようにブロック・チェーン上に映像データ記録すればよい。例えばそのモーションJPEG(Joint Photographic Experts Group)にもとづく動画のように1フレームごと映像にデータを記憶する場合には,そのフレームのハッシュ値を求めて,ブロックとして送信して,ブロック・チェーン・システムの方でチェーンに繋いでもらえば改竄できないようになる。ある一定の範囲,1分ぶん全体の映像ファイルのハッシュ値を算出してもよい。
MPEGにもとづく映像データにおいて,Iフレームの直前のところで区切ると改竄が容易になってしまうので,どこかのPフレームの直前で区切るとよい。
パブリック型のブロック・チェーンでは,というのはビットコインとかのように誰でもそのブロック・チェーンに参加出来て,ブロック・チェーンに流れているブロックのデータは全部自分で見られるが,コンソーシアム型,プライベート型のブロック・チェーンでは,例えば銀行協会の中で閉じたもので,銀行協会に加盟している銀行の間だけでブロック・チェーンが使えるというものである。例えばパブリック型のそのブロック・チェーン・システムを利用すればよい。ハッシュ値だけじゃなくて,例えば,その位置の情報,ドライブ・レコーダの今のある位置の情報をブロック・チェーン・システムに送信すれば,そのブロック,何月何日に誰がどこにいますっていう情報が送信される。例えば,ドライブ・レコーダ901-1番というドライブ・レコーダがここにある,愛知県岡崎市にある,という情報がブロック・チェーン・システムに送信されると,全部のブロック・チェーンを管理するサーバがP2Pで同報する。映像データ等をブロック・チェーン・システム
に送信すれば,それが欲しいユーザがいれば,そのユーザに売ることができる。
同じように広告の配信も出来る。たとえば,特定の場所,愛知県岡崎市にいるユーザにある店の広告を送ろうして,その店の直前にいる人にだけピンポイントで広告を送るようにしてもよい。ブロック・チェーンはそのチェーンを維持するためにコストがかかるが,取引をした時に薄い金額,手数料として引かれ,サーバを管理しているユーザ,そのブロックを一番始めにつけたユーザに配分される。その支払われた通貨の情報もブロック・チェーン上に一緒に記録しておけばよい。例えば写真撮って,100円で撮ってって言ってやると,100円で撮ってって依頼した人の口座から引き落とされ,こちらのドライブ・レコーダのユーザに80円くらい入って,20円はそのサーバを維持している人の方に配分されるというような仕組みにしてもよい。
映像の再生中に,リモコンなどにより映像を拡大,縮小ができるとよい。さらに,たとえば,カーソルなどにより枠を動かせるようにし,その動かした枠の位置っていうのを映像の時間に関連づけて記憶するようにしてもよい。再生している時に枠を動かして,その動かした枠の位置を記録し,後でその記録した枠の位置の情報に基づいてその部分だけを取り出した映像をストリームとして動画ストリームを作り出すことができるとよい。
視野範囲を自動で検出せずに,ユーザが手動で動かすことができるとよい。たとえば,ジョイスティック,マウス,キーボードなどで枠を動かした場合に,その動かした位置を記憶しておき,再生時にその動かした枠を表示できるようにするとよい。これにより,運転時の集中度とか,年齢とか目の疾患次第によって目の見える範囲が異なるが,その人が見えていた範囲が他の人に認識してもらうことができるようになる。たとえば,この範囲が見えていた,この範囲を見ていたという主張ができる。また,主観的に認識した明るさ,色への補正,記憶色への補正ができるようにするとよい。とくに,客観的な映像と主観的な映像とを表示し,カメラにより撮影された映像とユーザが実際に見たと思っている映像とを比較できるようにするとよい。同じ場面における2種類の映像を表示すると,裁判の時にカメラは実際にこういう風に記録されているが,自分としてはこういう風に見えていたという説明ができる。刑事責任としては,1つは客観的な事故,結果の発生と,もう1つは故意が重要となる。その人が故意にぶつけたのか,過失でぶつけたのか,を立証することが重要である。客観的な映像は改竄できないが,主観的な映像は自分が思っていたものを別に見せ,両方一緒に見せることができるようになる。
さらに,車両が走行した位置情報,イベント情報のハッシュ値を算出し,ブロック・チェーン・システムに送信してもよい。これにより,急減速,加速度が発生したなどのイベント情報の改竄が困難となる。
さらに,主観的に認識した明るさ,色,記憶色へ調整するために,ドライブ・レコーダ1に明るさ調整スライダを設け,そのスライダを操作することにより明るさ,色,記憶色を調整してもよいし,再生ウインドウ130に明るさ調整ボタン,色調整ボタン,記憶色調整ボタンを設け,そのボタンを操作して明るさを調整してもよい。
さらに,自動車などの車両の自動運転において,運転手が車両を運転する手動運転中においてドライブ・レコーダ1が記録しているものか,自動で車両を運転する自動運転中においてドライブ・レコーダ1が記録しているものかを識別するデータを,上述のように映像ファイルのヘッダ記録領域31に記録するとよい。この場合に,好ましくは,自動運転のレベルについても映像ファイルのヘッダ記録領域31に記録するとよい。自動車のCAN(Controller Area Network)中に,自動運転中か手動運転中かの識別データ,自動運転中であれば自動運転のレベルを表すデータが送信される場合には,ドライブ・レコーダ1においてCAN内において通信されるデータを受信することにより(例えば,ドライブ・レコ
ーダ1をCANに接続したり,CAN内において通信されるデータを通信回路17において受信したりする),ドライブ・レコーダ1は映像ファイルのヘッダ記録領域31に,自動運転中か手動運転中かの識別データ,自動運転中であれば自動運転のレベルを表すデータを記録できる。映像データを再生する場合に,再生ウインドウ130に映像表示領域141に表示されている映像が自動運転中のものか,手動運転中のものかを表示させることができ,自動運転中のものであれば,自動運転のレベルについても表示させることができる。
自動運転と手動運転とで画質を切り替えてドライブ・レコーダ1において映像データを記録するようにしてもよい。自動運転の場合に相対的に高画質で記録し,手動運転の場合に相対的に低画質で記録してもよいし,その逆に自動運転の場合に相対的に低画質で記録し,手動運転の場合に相対的に高画質で記録してもよい。さらに,自動運転のレベルに応じて画質を変えてもよい。自動運転のレベルが高いほど画質を高くして記録してもよいし,自動運転のレベルが高いほど画質を低くして記録してもよい。
さらに,ドライブ・レコーダ1のように複数のカメラ(フロント・カメラ11,リア・カメラ12)が含まれている場合には,自動運転中か手動運転中かに応じて撮影するカメラを切り替えてもよい。たとえば,自動運転中はフロント・カメラ11のみで得られた映像データを記録し,手動運転中はリア・カメラ12のみで得られた映像データを記録したりしてもよいし,その逆でもよい。さらに,再生においては,自動運転のみの映像を再生し,手動運転の映像はスキップしたり,その逆に手動運転の映像を再生し,自動運転の映像をスキップしたりしてもよい。また,自動運転レベルのうち,いずれかのレベルの場合に記録された映像データを再生し,その他のレベルの場合に記録された映像データはスキップしてもよい。
さらに,映像データの再生する場合に,再生した映像の運転技術について,コミュニケーション・ロボットが指導してもよい。指導員が,指導を受けるユーザに対して直接説明すると指導を受けるユーザが怒ってしまうことがあるが,コミュニケーション・ロボットが「ここ危なかったよ」と言うと指導員,ユーザの両者の心理的負担が減る。コミュニケーション・ロボットは,再生するパーソナル・コンピュータ80の表示装置92等を見ている指導員およびユーザの近傍に配置される。たとえば,パーソナル・コンピュータ80の表示装置92の右側に必ずコミュニケーション・ロボットを置いて,指導員およびユーザの座る位置もあらかじめ決まっているとよい。コミュニケーション・ロボットを,パーソナル・コンピュータ80の表示装置92の右側に置いたとか,左側に置いたとか,ということを映像データの再生ソフトウエア(プログラム)で設定できてもよい。もちろん,コミュニケーション・ロボットにカメラが設けられており,そのカメラでコミュニケーション・ロボットの周囲360度を撮影し,周囲にある表示装置92,指導員,ユーザの位置などを認識するようにしてもよい。制服を着ている人物を指導員,その他の人物をユーザと認識すればよい。
さらに,ドライブ・レコーダ1の撮影によって得られる映像またはドライブ・レコーダ1の記録によって得られた映像データによって表される映像に含まれる道路の道幅を検出し,その道幅にもとづいて映像の処理を変更するようにしてもよい。たとえば,道幅が狭い所は左右方向の映像を表示したり,再生時の映像の種類を道路の状況(狭い,砂利道,一方通行など)に応じて変更したりするようにしてもよい。また,交差点の所であれば,記録時に映像を表示できるドライブ・レコーダ1であれば,正面の映像を表示したり,再生時にも同様に正面の映像を表示したりしてもよい。また,たとえば,道路の右側または左側の道がわかるような右または左の映像をドライブ・レコーダ1の表示画面3に表示してもよい。
さらに,ドライブ・レコーダ1による映像データの記録時において,ドライブ・レコー
ダが取り付けられている車両の少し先の映像を解析して,危険のある状況が発生しているかを画像解析し,危険が生じる何秒か前に映像をその危険が見やすいカメラへ切り替えるようにしてもよい。今表示している映像に,2秒後に危険があるというように,表示モードを切り替えてもよい。例えば前方で横切る車が2秒後にあったとすると,天球モード(車両の前後左右の状況を表示しているモード)で表示しているが,前方だけを表示するモードに切り替えるようにしてもよい。これにより,2秒後に危険の場面が見られる。その後に元の天球モードに戻してもよい。このように,何かおかしな所が起こりえる場合に自動的に表示形態を変えてもよい。また,自動であらかじめ映像ファイルを全部解析して,おかしなところを検出し,再生する映像にマークを付けてもよい。危険かどうかは映像の変化が大きいか,加速度の変化が大きいかどうかで判断すればよい。ユーザが切り替えボタンを操作しなくとも表示が変えられる。例えば,危険などの事象がおきる可能性がある数秒前,たとえば5秒前に切り替えられれば好ましい。
さらに,エンスタ,カー・セキュリティからの通信データをドライブ・レコーダ1において受信し,受信したデータをトリガとしてイベント記録を行うようにしてもよい。ドライブ・レコーダ1に,LTE(Long Term Evolution)にもとづく通信回路,Wi-fiにもとづく通信回路,Bluetooth(登録商標)にもとづく通信回路を設け,それぞれの通信状態を表すデータを記録し,それぞれの通信状態に応じて表示する映像の状態の変更処理を行うようにしてもよい。表示の変更処理は,ドライブ・レコーダ1の表示画面3に表示される映像の表示形態の変更でもよいし,再生時における再生ウインドウ130における映像の表示形態の変更でもよい。たとえば,カー・セキュリティのオンまたはオフという指令信号を受信したら,車両の左右方向,ドアの辺りを撮影する映像に自動的に切り替えるようにしてもよい。また,Wi-fiの信号を受信すると,家のエリアに入ったと考えられるので,映像を停止してもよい。通信手段が複数ある場合に,それぞれの通信手段に応じてそのどの映像を出すかっていうのを決めておくとよい。通信手段または通信の内容に応じて,表示態様を切り替えるようにしてもよい。Bluetooth(登録商標)を用いて車のドア解錠,エンジン・スタートするような場合であれば,Bluetoothの信号を受信したことに応じて,車両周辺映像表示状態から車内映像も合わせて表示する状態に切り替えてもよいし,車両周辺だけでなく,車内も撮影してもよい。これにより,エンジン・スタートする瞬間,車内の状態もわかる。エンスタの時とかは30秒程度で元に戻し,ドア解錠の時はドア施錠まで車両周辺と車内との両方を撮影する状態で維持し,その後に車両周辺だけまたは車両前方だけに切り替える,戻すようにしてもよい。
さらに,運行管理者,バスとかタクシーとか物流とかにおいては,必ず点呼が行われている。たとえば,今日の体調は万全かなど,アルコール・チェッカーも義務付けられている。その点呼の映像は記録される。その点呼の映像とドライブ・レコーダの映像とを一緒に再生ウインドウ130において見ることができるようにしてもよい。たとえば,点呼の映像ファイルを指定することにより,その点呼された運転手のドライブ・レコーダ1において記録された映像を再生するようにできるとよい。たとえば,順番に点呼して順番に乗ってく場合であれば,その時間的な関係性から点呼映像とドライブ・レコーダ1の映像とを関連づけることができる。
フォークリフトにドライブ・レコーダ1が取り付けられており,トラックのような自動車にもドライブ・レコーダ1が取り付けられている場合に,いずれのドライブ・レコーダ1において記録された映像をサーバに送信し,同一の運転手が運転した車両(トラック,フォークリフト)の映像を一元的に連続した一日の動きとして見せられるようにするとよい。たとえば,トラックを運転していてある場所に着き,ある場所においてフォークリフトを運転し,そのあと車に乗って配送先に行った場合に,その一連の映像を見ることができるようにするとよい。点呼の映像と組み合わせることにより,その運転手の1日の流れが全部見ることができる。
さらに,複合現実的なもので運転の指導等してもよい。たとえば,ユーザが一度運転し,ドライブ・レコーダに映像が記録される。その後,再生ウインドウ130において,その映像を再生して運転技術の評価が自動で行われる。この自動評価時において,注意点の情報を映像データに付加する。続いて,MR眼鏡をかけて同じ箇所を運転または助手席に同乗して,情報をMR眼鏡に表示する。ユーザは,実際の風景,景色に注意点の情報が重畳して見ることができる。たとえば,信号機を見る箇所,停止線を見る箇所という情報がMR眼鏡のレンズ(ガラス)に表示され,その情報を実際の風景を見ながら確認できる。
また,走行履歴データをドライブ・レコーダ1のメモリ21に記録しておき,過去に訪れた場所の近くに来たら,いつどこに行く為にどこを通ったかっていうのを出すようにしてもよい。走行履歴データを参照して,以前に走行したことがあるという表示,音声出力をしてもよい。
さらに,ドライブ・レコーダ1のリア・カメラ12で,車両のメータを撮影して,認識して映像データの記録の開始トリガとしてもよい。また,車両のルーム・ランプを撮影し,ルーム・ランプが付いていることが検出されると,イベント記録を開始し,ルーム・ランプが付いていることを示すデータをサーバに送信してもよい。そのサーバからたとえば,車両のユーザにルーム・ランプが付いていることを示すデータが送信されるようにしてもよい。ユーザは,ルーム・ランプが付いていることが分かる。
工場とかにある自動搬送車にドライブ・レコーダ(カメラ)をつけるようにしてもよい。自動搬送車にはLIDAR(Light Detection and Ranging)のセンサが設けられており,そのセンサによりレーザーで高速に走査して,周辺物を検知できる。周辺物の接近を捉えたときにトリガとしてイベント記録(トリガが与えられたことに応じて一定時間,たとえば,数十秒から数分の間記録する)を開始してもいい。
画像認識でフォークリフトのフォークが動いた瞬間にトリガにしてイベント記録をしてもよい。ドライブ・レコーダ1のフロント・カメラ11,リア・カメラ12などで撮影を行っておき,フォークリフトが動いたら,それをトリガにして記録してもよい。また,ヘルメットをした人がフォークリフト乗ったらトリガにしたり,逆にヘルメットをしていない人がフォークリフト乗ったらトリガにしたりして,イベント記録を開始してもよい。その場合,人が乗ったら記録を始めて人が下りたら記録停止してもよい。記録再生の開始終了を人の乗り降りで判定してもよい。フォークリフトの特徴として,フォークリフトの所有者はある会社だが,運転する人はその会社の従業員だけでなく,運送業者の人も運転する。運転する人が変わるので,そのような人が乗ったら記録を開始したり,人が来たら記録を開始したり,降りてから3分後まで記録し停止してもよい。フォークリフトの事故が問題となっているが,誰が壊したかわかるようになる。
さらに,写真を撮るとExif情報が付いており,JPEGデータの中にテキスト・データが埋め込まれている。そのときの撮影した露出とか,シャッタ速度とかが埋め込まれている。それらの情報を再生ソフトウエアで再生ウインドウ130に表示してもよい。動画の映像から静止画ファイルを生成し,その静止画ファイルのヘッダ記録領域にExif情報として記録してもよい。たとえば,再生ウインドウ130に表示される情報をヘッダ記録領域Exif情報として記録することが好ましい。たとえば,映像における一連の加速度の変化を履歴的に静止画ファイルのヘッダ記録領域に入れてもよい。GPSの情報と速度,ある範囲内を移動したときの加速度の最大値,自動車の速度,ブレーキ踏んだかどうか,ウインカーを出したかどうか,などをヘッダ記録領域にExif情報として記録してもよい。速度の一定範囲分全部記録してもよいし,あるイベントが起きたときの前後のプラスマイナス3秒以内に起きたイベントの種類についての全部の値,ドライブ・レコーダに複数のカメラがあった
場合に,どのカメラの映像か,何台のカメラで記録していたかを示す情報,車両のどこにつけられているカメラかを示す情報かなどをヘッダ記録領域にExif情報として記録してもよい。さらに,工場内の自動運転車にドライブ・レコーダが取り付けられる場合には,トリガの原因,行灯のエラーが赤だったのか黄色だったのか,フォークリフトの状態,フォークリフトの旋回の回転量,ジャイロ,バッテリィなどの状態をヘッダ記録領域にExif情報として記録してもよい。AWS(Automatic Guided Vehicle),CWS(Collision Warning System),ストッパ,車車間通信,路車間通信において得られる情報などもヘッダ記録領域にExif情報として記録してもよい。人がいる,人がいない,運転者がいる,運転者がいない,助手席に人がいる,いない,後部座席に座っている,座っていない,業務用車両,違う車両,タクシー,バス,バスの中に人がいる,いないなどの情報もトリガとしてもよいし,これらの情報もヘッダ記録領域にExif情報として記録してもよい。さらに,Exif情報として記録される情報をブロック・チェーン・システムに送信し,トランザクションとしてブロック・チェーンに記録してもよい。
さらに,再生ウインドウ130を表示する再生ソフトウエア(プログラム)を使用したことに応じてユーザにポイントを与えてもよい。たとえば,インターネットに接続して,取り込みというボタンの押下に応じて取り込んだデータがアップされ,ポイントが加算されるようにしてもよい。通信型のドライブ・レコーダ1であれば,一度許諾しておけば,自動的に映像データを送信することができる。
本発明の範囲は,明細書に明示的に説明された構成や限定されるものではなく,本明細書に開示される本発明の様々な側面の組み合わせをも,その範囲に含むものである。本発明のうち,特許を受けようとする構成を,添付の特許請求の範囲に特定したが,現在の処は特許請求の範囲に特定されていない構成であっても,本明細書に開示される構成を,将来的に特許請求の範囲とする意思を有する。
本願発明は上述した実施の形態に記載の構成に限定されない。上述した各実施の形態や変形例の構成要素は任意に選択して組み合わせて構成するとよい。また各実施の形態や変形例の任意の構成要素と,発明を解決するための手段に記載の任意の構成要素または発明を解決するための手段に記載の任意の構成要素を具体化した構成要素とは任意に組み合わせて構成するとよい。これらについても本願の補正または分割出願等において権利取得する意思を有する。
本発明の範囲は,明細書に明示的に説明された構成や限定されるものではなく,本明細書に開示される本発明の様々な側面の組み合わせをも,その範囲に含むものである。本発明のうち,特許を受けようとする構成を,添付の特許請求の範囲に特定したが,現在の処は特許請求の範囲に特定されていない構成であっても,本明細書に開示される構成を,将来的に特許請求の範囲とする意思を有する。
本願発明は上述した実施の形態に記載の構成に限定されない。上述した各実施の形態や変形例の構成要素は任意に選択して組み合わせて構成するとよい。また各実施の形態や変形例の任意の構成要素と,発明を解決するための手段に記載の任意の構成要素または発明を解決するための手段に記載の任意の構成要素を具体化した構成要素とは任意に組み合わせて構成するとよい。これらについても本願の補正または分割出願等において権利取得する意思を有する。
また,意匠出願への変更出願により,全体意匠または部分意匠について権利取得する意思を有する。図面は本装置の全体を実線で描画しているが,全体意匠のみならず当該装置の一部の部分に対して請求する部分意匠も包含した図面である。例えば当該装置の一部の部材を部分意匠とすることはもちろんのこと,部材と関係なく当該装置の一部の部分を部分意匠として包含した図面である。当該装置の一部の部分としては,装置の一部の部材としても良いし,その部材の部分としても良い。全体意匠はもちろんのこと,図面の実線部
分のうち任意の部分を破線部分とした部分意匠を,権利化する意思を有する。
1:ドライブ・レコーダ,2:取り付け部,3:表示画面,4:カメラ部,5:フロント・レンズ,6:リア・レンズ,7:文字列,10:コントローラ,11:フロント・カメラ,12:リア・カメラ,13:表示制御装置,14:表示装置,15:時計,16:路車間/車車間情報受信回路,17:通信回路,18:加速度センサ,20:入力装置,21:メモリ,22:GPS受信器,25:メモリ・カード,31:ヘッダ記録領域,32:映像記録領域,80:コンピュータ,81:表示制御装置,82:表示装置,90:CPU,92:表示装置,93:加速度センサ,95:メモリ・カード・リーダ/ライタ,96:入力装置,97:メモリ,98:通信回路,130:再生ウインドウ,131:メニュー・バー,132:フォルダ・アイコン,133:カメラ・アイコン,134:プリンタ・アイコン,135:リール・アイコン,136:FDアイコン,137:ログ・アイコン,138:ギア・アイコン, 141:映像表示領域,141A:映像表示領域,141B:映像表示領域,142:視野範囲外の領域,143:枠,143A:枠,144:マーク,144A:マーク,145:マーク,146:吹き出し,146A:吹き出し,146B:吹き出し,147:吹き出し,148:鎖線,151:地図画像表示領域,152:アイコン,161:車両情報等表示領域,162:車両状態表示領域,163:操作ボタン,166:時刻表示領域,168:加速度グラフ表示領域,171:プレイ・リスト表示領域,172:プレイ・リスト表示領域,280:コミュニケーション・ロボット,281:胴体部,282:頭部,283:目,284:口,291:CPU,292:メモリ,293:通信LANボード,294:無線通信回路,295:モータ制御ボード,296:頭部モータ,297:センサ・ボード,298:眼カメラ,299:音声入出力ボード,300:スピーカ,301:マイクロフォン,310:フロント・ガラス,311:ダッシュボード

Claims (6)

  1. 自動運転中か手動運転中かの判定結果に応じて撮影した映像データを格納するフォルダを異なるフォルダとする機能を備えたドライブレコーダ。
  2. 自動運転中か手動運転中かの判定結果に応じて格納する映像データの画質を異なるものとする機能を備えた請求項1に記載のドライブレコーダ。
  3. 指定された条件を満たすと、前記自動運転中及び前記手動運転中の画質よりも高い画質で記録する機能を備えた請求項2に記載のドライブレコーダ。
  4. 自動運転中か手動運転中かの判定結果に応じて映像データを記録するカメラを切り替える機能を備えることを特徴とする請求項1から3のいずれかに記載のドライブレコーダ。
  5. 前記映像データが手動運転時のものか自動運転時のものかを示すデータを前記映像データに関連づけて記録する機能を備えることを特徴とする請求項1から4のいずれかに記載のドライブレコーダ。
  6. 請求項1から5のいずれかに記載のドライブレコーダの機能をコンピュータに実現させるためのプログラム。


JP2022126803A 2017-08-09 2022-08-09 再生装置および再生方法ならびにそのプログラムならびに記録装置および記録装置の制御方法等 Active JP7450287B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022126803A JP7450287B2 (ja) 2017-08-09 2022-08-09 再生装置および再生方法ならびにそのプログラムならびに記録装置および記録装置の制御方法等
JP2024027250A JP2024059844A (ja) 2017-08-09 2024-02-27 再生装置および再生方法ならびにそのプログラムならびに記録装置および記録装置の制御方法等

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017154141A JP2019032739A (ja) 2017-08-09 2017-08-09 再生装置および再生方法ならびにそのプログラムならびに記録装置および記録装置の制御方法等
JP2022126803A JP7450287B2 (ja) 2017-08-09 2022-08-09 再生装置および再生方法ならびにそのプログラムならびに記録装置および記録装置の制御方法等

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017154141A Division JP2019032739A (ja) 2017-08-09 2017-08-09 再生装置および再生方法ならびにそのプログラムならびに記録装置および記録装置の制御方法等

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024027250A Division JP2024059844A (ja) 2017-08-09 2024-02-27 再生装置および再生方法ならびにそのプログラムならびに記録装置および記録装置の制御方法等

Publications (2)

Publication Number Publication Date
JP2022169621A true JP2022169621A (ja) 2022-11-09
JP7450287B2 JP7450287B2 (ja) 2024-03-15

Family

ID=65524295

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017154141A Pending JP2019032739A (ja) 2017-08-09 2017-08-09 再生装置および再生方法ならびにそのプログラムならびに記録装置および記録装置の制御方法等
JP2022126803A Active JP7450287B2 (ja) 2017-08-09 2022-08-09 再生装置および再生方法ならびにそのプログラムならびに記録装置および記録装置の制御方法等
JP2024027250A Pending JP2024059844A (ja) 2017-08-09 2024-02-27 再生装置および再生方法ならびにそのプログラムならびに記録装置および記録装置の制御方法等

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017154141A Pending JP2019032739A (ja) 2017-08-09 2017-08-09 再生装置および再生方法ならびにそのプログラムならびに記録装置および記録装置の制御方法等

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024027250A Pending JP2024059844A (ja) 2017-08-09 2024-02-27 再生装置および再生方法ならびにそのプログラムならびに記録装置および記録装置の制御方法等

Country Status (1)

Country Link
JP (3) JP2019032739A (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11159327B2 (en) 2018-08-06 2021-10-26 Tyson York Winarski Blockchain augmentation of a material exchange format MXF file
US10404467B1 (en) 2018-09-09 2019-09-03 Tyson York Winarski Blockchain digest augmention of media files including group-of-pictures video streams for MXF files
JP2020145564A (ja) * 2019-03-05 2020-09-10 株式会社デンソーテン 画像処理装置および画像処理方法
JP7276082B2 (ja) * 2019-11-11 2023-05-18 マツダ株式会社 運転者状態推定装置
JP7083331B2 (ja) * 2019-12-09 2022-06-10 本田技研工業株式会社 車両制御システム
EP3896987A4 (en) * 2020-02-28 2022-04-13 Beijing Baidu Netcom Science And Technology Co. Ltd. METHOD AND DEVICE FOR PLAYING VIDEO, ELECTRONIC DEVICE, AND STORAGE MEDIA
CN115556758A (zh) * 2022-09-26 2023-01-03 湖北大学 一种基于增强现实的预警系统及预警方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007072567A (ja) * 2005-09-05 2007-03-22 Denso Corp 車両走行情報記録装置
JP2008140376A (ja) 2006-11-10 2008-06-19 Fujitsu Ten Ltd 車両用情報記録装置、プログラムおよび記録媒体
JP5233711B2 (ja) 2009-02-06 2013-07-10 トヨタ自動車株式会社 走行状態記録装置
JP2010198214A (ja) 2009-02-24 2010-09-09 Fujitsu Ten Ltd ドライブレコーダ及び映像情報表示方法
JP5530146B2 (ja) 2009-09-30 2014-06-25 富士通テン株式会社 データ管理装置、データ読取方法及びプログラム
JP2011091667A (ja) 2009-10-23 2011-05-06 Fujitsu Ten Ltd ドライブレコーダ、記録方法、データ処理装置、データ処理方法及びプログラム
JP6710515B2 (ja) 2015-11-16 2020-06-17 株式会社デンソーテン ドライブレコーダ、表示システム、ドライブレコーダの記録方法およびプログラム

Also Published As

Publication number Publication date
JP7450287B2 (ja) 2024-03-15
JP2019032739A (ja) 2019-02-28
JP2024059844A (ja) 2024-05-01

Similar Documents

Publication Publication Date Title
JP7450287B2 (ja) 再生装置および再生方法ならびにそのプログラムならびに記録装置および記録装置の制御方法等
US20210357670A1 (en) Driver Attention Detection Method
US20200372792A1 (en) Crowdsourced realtime traffic images and videos
US9653001B2 (en) Vehicle driving aids
US11562550B1 (en) Vehicle and mobile device interface for vehicle occupant assistance
CA3087506A1 (en) Enhanced vehicle sharing system
CN106796755B (zh) 在抬头显示器上增强路面对象的安全系统
TW202325049A (zh) 用於車輛乘員輔助的車輛和行動裝置介面
US11972616B2 (en) Enhanced navigation instructions with landmarks under difficult driving conditions
JP2010211613A (ja) 情報処理装置及び方法、プログラム、並びに情報処理システム
US20230245462A1 (en) Systems and methods of legibly capturing vehicle markings
EP4140795A1 (en) Handover assistant for machine to driver transitions
JP2003178397A (ja) 道路表示等検出警告装置
JP2020080542A (ja) 車両の画像提供システム、サーバーシステムおよび車両の画像提供方法
JP5090891B2 (ja) 安全運転教示システム
Kashevnik et al. Context-based driver support system development: Methodology and case study
US20220105866A1 (en) System and method for adjusting a lead time of external audible signals of a vehicle to road users
JP6917426B2 (ja) 画像表示装置、画像表示方法、および、画像表示システム
RU2703341C1 (ru) Способ определения опасных состояний на дорогах общего пользования на основе мониторинга ситуации в кабине транспортного средства
US20240054733A1 (en) Systems and methods for enhanced outdoor displays via augmented reality
JP2023111732A (ja) 情報処理装置、及び情報処理方法
JP7434894B2 (ja) 車両用表示装置
JP2021164043A (ja) 撮影装置、システム及びプログラム
CN117652145A (zh) 用于提供与车辆移动相匹配的媒体内容的方法以及车辆
TW201440021A (zh) 頭戴式顯示器及其控制方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240227

R150 Certificate of patent or registration of utility model

Ref document number: 7450287

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150