JP2023151512A - システムおよびプログラム等 - Google Patents

システムおよびプログラム等 Download PDF

Info

Publication number
JP2023151512A
JP2023151512A JP2022061151A JP2022061151A JP2023151512A JP 2023151512 A JP2023151512 A JP 2023151512A JP 2022061151 A JP2022061151 A JP 2022061151A JP 2022061151 A JP2022061151 A JP 2022061151A JP 2023151512 A JP2023151512 A JP 2023151512A
Authority
JP
Japan
Prior art keywords
recording
function
information
image data
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022061151A
Other languages
English (en)
Inventor
康一 野口
Koichi Noguchi
春光 柏田
Harumitsu Kashiwada
勇喜 清水
Yuki Shimizu
圭三 高橋
Keizo Takahashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yupiteru Corp
Original Assignee
Yupiteru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yupiteru Corp filed Critical Yupiteru Corp
Priority to JP2022061151A priority Critical patent/JP2023151512A/ja
Publication of JP2023151512A publication Critical patent/JP2023151512A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Studio Devices (AREA)

Abstract

【課題】 撮影手段で撮影した画像データを記録手段に録画する電子機器に対する指示に関する技術を提供する。【解決手段】 録画指示の第1の音声情報と、第1の音声情報と異なる第2の音声情報を受け付ける受付機能と、第1の音声情報を音声認識した結果に基づき、車両に搭載される撮影手段により撮影された画像を示す画像データを記録手段に録画する録画機能と、第2の音声情報を音声認識した結果に基づいて録画以外の処理を行う処理機能を備える。【選択図】 図4

Description

本発明は、例えばシステムおよびプログラム等に関するものである。
従来、フロントガラスの内面に貼り付ける様にして装着するタイプのドライブレコーダー(特許文献1)や、ルームミラー一体型としたドライブレコーダーが知られている。
特開2022-20553
従来のドライブレコーダーでは、解決できていない様々な課題があった。本発明の目的の一つは、従来のシステム等よりも優れたシステム等を提供する。
上述した課題はそれぞれ独立したものとして記載しているものであり、本発明は、必ずしも記載した課題の全てを解決できる必要はない。本願の発明の目的はこれに限定されず、本明細書及び図面等に開示される構成の部分から奏する効果を得ることを目的とする構成についても分割出願・補正等により権利取得する意思を有する。例えば本明細書において「~できる」と記載した箇所を「~が課題である」と読み替えた課題が本明細書には開示されている。課題はそれぞれ独立したものとして記載しているものであり、この課題を解決するための構成についても単独で分割出願・補正等により権利取得する意思を有する。課題が明細書の記載から黙示的に把握されるものであっても、本出願人は本明細書に記載の構成の一部を補正又は分割出願にて特許請求の範囲とする意思を有する。またこれら独立の課題を組み合わせた課題も開示されている。
(1)録画指示の第1の音声情報と、前記第1の音声情報と異なる第2の音声情報を受け付ける受付機能と、前記第1の音声情報を音声認識した結果に基づき、車両に搭載される撮影手段により撮影された画像を示す画像データを記録手段に録画する録画機能と、前記第2の音声情報を音声認識した結果に基づいて録画以外の処理を行う処理機能を備えるシステムとするとよい。
第1の音声情報の音声認識の結果に基づいて車両に搭載される撮像手段によって撮像された画像を示す画像データを記録手段に録画させることができるとともに、第2の音声情報の音声認識の結果に基づいて録画以外の処理を行わせることができる。録画指示の第1の音声情報と、第1の音声情報と異なる第2の音声情報との順序はいずれも許容するようにしてもよい。また第2の音声情報が先で第1の音声情報が後の場合のみを許容するようにしてもよいが、第1の音声情報が先で第2の音声情報が後で認識される場合のみを許容するものとするとよい。録画指示の第1の音声情報が例えば「録画開始」で、第2の音声情報が例えば録画の種類を特定する情報を例えば「イベント記録」とすると、「イベント記録」「録画開始」の順でもよいが、「録画開始」「イベント記録」の順とするとよい。また、これらの順がいずれであるかに応じて処理内容を変更するようにするとよい。音声認識は、クラウドで行ってもよいが、ローカルで行うようにするとよい。
(2)前記第2の音声情報は、録画の契機となる種類を特定する情報であり、前記処理機能は、録画する画像データの種類を区別可能に記録する機能とするとよい。
ユーザが第2の音声情報を発すると、第2の音声情報で特定される画像データの種類を区別可能に記録できる。区別可能に記録されるため、例えば再生等する際に、特定の種類のものを選択でき、目的の画像データを容易に見つけられる。区別可能に記録は、例えば、画像データを種類毎に別々のフォルダに記録したり、例えば第2の音声情報をテキストに変換し、例えばその変換したテキストをタグ付けしたりするとよい。録画の契機となる種類を特定する第2の音声情報は、例えば、「あおり運転」、「事故」等の緊急性を要する状況を特定する言葉、例えば「綺麗な景色」、「絶景」、「野生動物」等の記録に残したい風景や撮影対象物を特定する言葉などとするとよい。
(3)前記処理機能は、前記第2の音声情報を音声認識によりテキスト化したテキスト情報を前記画像データに関連付けて記憶するように構成するとよい。
第2の音声情報をテキスト化したテキスト情報を、画像データに関連付けて記録することができる。第2の音声情報は、例えば、画像データの種類を特定する情報とするよい。このようにすると、テキスト情報を例えば特定の種類に属する画像データを検索する際の検索キーに利用することができる。ユーザは、例えばテキスト情報に基づいて検索し、所望の画像データを容易に見つけることができる。また、例えば、第2の音声情報が、画像データの内容を示すタイトル等の情報とするとよい。このような第2の音声情報は、例えば、「富士山」、「○○湖の遊覧船」、「キタキツネ」、「野生の猿が近づく」等のように、記録する画像データの内容を容易に想起できるものとするとよい。このようにすると、例えばユーザは画像データに関連付けられたテキスト情報を見ることで、画像データの内容を予想したり推測したりすることができ、例えば再生したい画像データを見つけやすくなる。
(4)前記第2の音声情報は、録画指示以外のサブ指示を示すものであり、前記処理機能は、前記録画機能が録画した前記画像データに対し、前記サブ指示を実行するように構成するとよい。
第1の音声情報の音声認識の結果に基づいて車両に搭載される撮像手段によって撮像された画像を示す画像データを記録手段に録画させることができるとともに、その録画した画像データについて第2の音声情報を音声認識されたサブ指示に応じた処理を行うことができる。サブ指示を示す言葉として、例えば、第2の音声情報の認識結果が「投稿」「通知」等のデータを送信する指示の場合、処理機能は、例えば予め設定していた投稿サイト、サーバ、メールアドレス、SNS等に、記録した画像データを送信するとよい。この画像データを送信する際に、投稿の場合には、例えば予め設定していた投稿のためのユーザ名、撮影した日時や場所を特定する情報等を関連付けて送信する機能を備えるとよい。また、データの送信先がメールアドレスやSNSなどの特定の相手の場合、例えば送信者を特定する情報(例えば、名前、ハンドルネーム、ID等)、撮影した日時や場所を特定する情報等を関連付けて送信する機能を備えるとよい。また、第2の音声情報の認識結果が、例えば「○○へ送って」等の場合、処理機能は、○○で特定される送信相手に画像データを送信するとよい。ここで「○○」は、例えば固有名詞、送信相手に割り立てたユニークな番号等とするとよく、「○○」と送信先のアドレス等を関連付けて記憶しておいた情報を利用するとよい。
第2の音声情報は、例えば、音声データを同時に記録するか否かを指定する情報とするとよい。このようにすると、ユーザの音声による指示に基づいて、画像データを音声データとともに記録することと、音声データなしで画像データのみを記録することができる。例えば音声データを記録する場合と記録しない場合のそれぞれについて第2の音声情報で指示をするようにしてもよいが、例えば一方の処理を原則にし、当該第2の音声情報がない場合には原則通りの処理を行い、第2の音声情報を受け付けた場合に原則でない処理を行うようにするとよい。原則の処理は、音声データを記録しないようにしてもよいが、音声データを記録する処理を原則とするとよい。第2の音声情報がない場合の判断は、例えば、第1の音声情報を受け付けた前後の所定時間内に音声の受付があるか否かにより決めるとよく、前後の所定時間は同じ時間としてもよいが異なる時間としてもよい。また、第1の音声情報を受け付けた前後の所定時間に音声の受付があった場合でも、音声認識の結果、音声データを同時に記録するか否を指定する情報がない場合には、指定無しと判断するとよい。
サブ指示に対応する第2の音声情報を音声認識して変換したテキスト情報を画像データに関連付けて記録するとよいが、第2の音声情報がサブ指示の場合にはテキスト情報を画像データに関連付ける処理は行わないように構成するとよい。
(5)前記撮影手段は、複数あり、前記第2の音声情報は、録画する画像データを撮影した1または複数の前記撮影手段を指定する情報とするとよい。
第2の音声情報の音声認識の結果に基づいて特定される撮影手段で撮影した画像データを録画できる。例えば、複数の撮影手段でそれぞれの撮影エリアを撮影している場合に、第2の音声情報に基づき録画する撮影手段を特定し、必要なエリアを撮影した画像データを選択して録画することで、例えば記録手段の容量を効率よく使用しつつ、所望の画像データを録画できる。音声による音声情報は、例えば無音を含むとよい。例えば、複数の撮影手段のうち、一部の撮影手段を指定する場合には、それを特定する音声(例えば、フロントカメラ、リアカメラ、室内カメラ等)を言い、無音の場合には、例えば全ての撮影手段を指定したことにするとよい。無音であるか否かは、例えば、第1の音声情報を受け付けた前後の所定時間内に音声の受付があるか否かにより決めるとよく、前後の所定時間は同じ時間としてもよいが異なる時間としてもよい。また、第1の音声情報を受け付けた前後の所定時間に音声の受付があった場合でも、音声認識の結果、撮影手段を指定する情報がない場合には、無音と判断するとよい。また、上述したように無音の場合に全ての撮影手段を指定したことにするものに限らず、無音の場合に予め定めた所定の撮影手段を指定したものとするとよく、そのように無音の場合に指定する撮影手段をユーザ設定により登録する機能を備えるとよい。
(6)手動操作による録画開始指示を受け付ける受付手段を備え、前記手動操作に基づいて行う録画と、前記第1の音声情報に基づいて行う録画は、別の種類のものとして行うように構成するとよい。
手動操作による録画開始指示の受け付けに基づき、車両に搭載される撮像手段によって撮像された画像を示す画像データを記録手段に録画させることができ、第1の音声情報の音声認識の結果に基づいて車両に搭載される撮像手段によって撮像された画像を示す画像データを、手動操作に基づくものと別の種類のものとして録画させることができる。
別の種類のものとして録画を行う処理として、例えば、それぞれを区別して録画するとよい。区別して録画は、例えばフォルダを変えること、タグなどの情報を付加することなどとするとよい。また別の種類のものとして録画を行う処理は、例えば区別して録画するか否かにかかわらず、例えば、録画条件を種類毎に設定したり、設定によりその録画条件を変更可能にしたりするとよい。録画条件は、例えば録画する秒数を変えるとよい。このようにすると、例えば一方の種類の動画を簡単に読み出したり、それぞれの状況に応じた録画条件で録画したりすることができる。
(7)音声認識機能を備え、その音声認識機能と、前記受付機能と、前記録画機能と、前記処理機能は前記車両側からの電源供給を受けて動作するように構成し、前記車両が走行できない状態の際に、一部の電源供給を停止しつつ前記音声認識機能を動作させる部分については電源供給を継続する機能と、前記音声認識機能の認識結果に基づき、所定の処理を行う機能を備えるとよい。
車両側からの電源供給を受けている間は、各機能が動作し、例えば録画や録画以外の処理等を行うことができる。車両側からの電源供給の停止された場合には、一部の電源供給を停止することで電力消費を抑えつつ、音声認識機能は動作可能な状態を維持できる。そして、音声認識機能が音声認識をすると、認識結果に基づく所定の処理が実行される。
車両が走行できない状態は、例えばエンジンの停止、EV車両のスイッチがオフの状態などがある。音声認識機能を動作させる部分について電源供給を継続する機能は、例えば、車両のバッテリに接続し、車両が走行できない状態でも電源供給可能にしてもよいが、例えば内蔵するバッテリや、車両以外の別途用意した例えば補助バッテリ等の外部電源装置等を利用するとよい。一部の電源供給を停止は、音声認識機能以外の全ての機器に対して電源供給停止してもよいし、音声認識機能とともに所定の機器(例えばセンサ等)に対して電源供給を継続してもよい。少なくとも一部の電源供給をOFFにすることで電力消費を抑えられる。また例えば車両側からの電源供給が停止してから、所定時間内に音声が認識されない場合、継続した電源供給を停止する機能を備えるとよい。例えば、「駐車監視しない」/「電源オフ」などの積極的に動作を停止する音声情報の入力が所定時間なくても、電源供給を停止し、電力消費を抑制するとよい。
(8)前記音声認識機能は、所定の言葉を認識するものであり、前記所定の処理を行う機能は、前記電源供給を継続する機能による電源供給対象を、前記音声認識機能が認識した前記所定の言葉に対応付けられたものに変更するものとするとよい。
音声認識機能が所定の言葉を認識すると、その所定の言葉に対応づけられた電源供給対象に対して電源を供給できる。これに伴いその電源供給対象が動作可能となる。所定の言葉は、例えば「近接センサオン」「表示部オン」などのように電源供給対象物を直接指定してもよいが、例えば「感度設定」「駐車監視」等のようにこれから行いたい作業・処理を特定する言葉のように電源供給対象物を間接的に指定するようにするとよい。間接的な指定の場合、認識結果の言葉に対応する処理を実行するのに必要なものを電源供給対象物とするとよい。例えば、「駐車監視」の場合、駐車監視に必要な機器(例えばセンサ等)をオンにするとよい。また、例えば「感度設定」の場合、感度設定するために表示部やCPU等をオンするとよい。電源供給対象を変更とは、例えば、音声認識機能への供給を継続しつつ、供給対象機器を増やす場合、音声認識機能への供給を停止し必要な機器に対して電源供給を行う場合、電源供給対象物を削減或いは全て削除するとよい。例えば間接的な指定に対して電源供給をオン或いはオフする電源供給対象物の関係を示す情報を記憶保持しておき、その情報に基づいて電源供給の制御を行うとよい。
(9)前記録画機能は、録画条件を満たした場合に前記撮影手段により撮影された画像を示す画像データを記録手段に録画する機能を備え、前記録画条件を満たして行われる録画中或いは録画後に受け付けた音声情報を音声認識した結果が録画不要を示す場合、その画像データの録画を行わず、前記録画条件を録画が行われにくくなる方向に変更する機能を備えるとよい。
録画条件を満たした場合に、所定の画像データが録画される。この録画中或いは録画後に受け付けた音声情報を音声認識した結果、録画不要を示すものの場合、画像データは記録されず、録画条件が録画されにくくなるように変更される。録画中に指示を受け付けた場合、録画を中止し、録画後に指示を受け付けた場合には、録画した画像データを削除する処理を行うとよい。ユーザは、例えば録画中或いは録画後の適宜のタイミングで、録画が不要なことを音声で指示することで、録画中或いは録画した画像データは記録手段に録画しない。これによりユーザは、例えば、録画された画像データを探し、その画像データのファイルを削除するなどの手間が不要となる。さらに、録画条件が変更されることで、次回以降で今回録画開始されたのと同じ状況が発生した場合、録画されないか、されにくくなる。
例えば録画条件の調整を行う場合、例えば設定メニュー画面を操作して行う場合があり、そのような操作は煩雑である。また、例えば録画条件がある閾値を超えた場合に録画するような場合、閾値を大小どちらに変更すると録画されにくくなるかがわかりにくく、間違って逆方向の調整をしてしまうおそれがある。また、例えば録画条件が複数存在する場合、どの録画条件を調整すればよいが直ぐに理解できない場合がある。ユーザは、例えば録画が不要なことを音声で指示することで必要な録画条件の調整が行われるので、これらの不具合が生じない。
録画条件が、例えば、Gセンサの検出値が設定した閾値を超える場合や、前方や後方の車両との車間距離が設定した閾値以下になった場合や、レーダーの受信電界強度が閾値以上になった場合など、録画条件が複数存在する場合、電子機器は、録画処理を行う契機となった録画条件を特定し、その特定した録画条件の閾値を、録画されにくくなるように変更するとよい。例えば、Gセンサにともなう記録ならGセンサ感度を弱くし、接近に伴う記録なら、接近距離を短くし、レーダー受信なら受信電界強度の閾値を高くしたり対象から外したりする処理を自動的に行うとよい。例えば録画条件に対する録画されにくくなる変更方向の関係を示す情報を記憶保持しておき、その情報に基づいて録画条件の調整を行うとよい。
(10)現在位置が撮影に影響のあるエリアに存在していることを検知する機能と、その検知する機能により現在位置が撮影に影響のあるエリアにいると検知された場合、前記撮影手段の設定を、影響を低減するように調整する機能を備えるとよい。
現在位置が撮影に影響のあるエリアに存在していることが検知されると、撮影手段の設定が、影響を低減するように調整される。例えば撮影に影響のあるエリアに入ったことが検知されると、撮影手段の設定が調整され、例えば調整前よりも鮮明な画像が撮影される。例えば、撮影への影響を与える要素が周囲の明るさの場合、周囲の明るさが変わると、撮影手段の感度を調整することで鮮明な画像を撮影できる。例えばセンサ等で周囲の明るさを検知して感度を変える場合には明るさが変わってから適切な感度に調整されるまでにはタイムラグがあり、その間は例えば真っ暗な画像や白飛びした画像が撮影されてしまうおそれがある。そのような事態を発生するエリアに入ることを事前に得て、例えば現在の位置情報に基づいて適切なタイミングで感度切り替えを行うことで例えばタイムラグなく設定の調整ができ、鮮明な映像を記録することができる。撮影に影響のあるエリアは、例えば明暗差が大きい箇所、例えばトンネルや高架下等であり、設定は撮影手段の感度とするとよい。また感度調整は、なだらかに変えるとよい。
(11)前記検知する機能は、撮影に影響のある地点の位置情報と現在位置との関係に基づいて現在位置が撮影に影響のあるエリアに存在していることを検知するようにし、前記撮影に影響のある地点の位置情報は、他の電子機器に登録された登録地点の位置情報であり、前記電子機器から出力される前記登録地点の位置情報を表す音情報を受け付け、その受け付けた音情報を音声認識した認識結果に基づき前記撮影に影響のある地点の位置情報として記録する機能を備えるとよい。
撮影に影響のある地点の位置情報と現在位置が所定の関係になった場合、撮影手段の設定が、影響を低減するように調整される。このとき基準となる撮影に影響のある地点の位置情報は、他の電子機器に登録された登録地点に関する位置情報を利用することができ、その位置情報を音情報を利用して取得することで、電子機器は無線通信や有線通信を用いることなく位置情報を取得できる。
他の電子機器は、例えばカーナビやレーダー探知機等の車両に搭載される電子機器を用いるとよい。この種の電子機器には、例えばPOI(Point of Interest)などと称される多数の登録地点についての内容や位置情報等が登録されているので、それを利用するとよい。他の電子機器は、例えばユーザから指定された一又は複数の登録地点の位置情報を音情報として出力する機能や、他の電子機器における処理結果に基づいて抽出される一又は複数の登録地点の位置情報を音情報として出力する機能等を備えるとよい。他の電子機器における処理結果は、例えば電子機器が経路検索機能を備え、経路検索して得た経路とするとよい。その経路上に撮影に影響のある登録地点が存在する場合、他の電子機器はその登録地点に関する位置情報を音情報として出力するとよい。音情報は、人に聞こえる帯域の音を利用してもよいが、人に聞こえない帯域(例えば20kHz以下)の音を利用するとよい。
(12)予め地点登録された報知対象に接近した際に報知する報知機能と、音声に基づき報知対象を登録する機能を備え、前記報知機能は、音声に基づいて登録した報知対象に対する報知は、前記予め地点登録された報知対象に対する報知と異なる対応で行うように構成するとよい。
予め地点登録された報知対象に接近した際に報知することができるとともに、音声に基づいて登録した報知対象に接近した際に報知することができる。報知対象を音声に基づいて登録することができる。例えば、運転中でハンドルから手を離すことなく登録でき、走行中であっても安全に報知対象を登録できる。
また音声により登録した報知対象に対する報知であることがわかるように報知されるので、ユーザは、現在報知された報知対象が、予め地点登録されたものに基づくものか、ユーザが登録したものに基づくかを理解できる。
異なる対応は、例えば、報知のメッセージを変えるとよい。例えば、「音声登録した目標物に接近しています」のように具体的に音声登録に基づく報知を行うとよい。予め地点登録した接近対象については、報知対象までの距離とともに接近していることを報知し、音声に基づいて登録した報知対象に対して接近する場合には報知対象までの距離を報知しないようにするとよい。音声情報に基づいて報知対象を登録した場合、例えばその位置情報が実際の位置とずれていたり、例えば必ずしも具体的な位置を報知したいわけではなくその付近にいることを知らせたりしたい場合があり、距離を報知しないことで誤った情報を報知してしまうことを抑制できる。
また、報知を行うタイミングを変えるとよく、例えば、音声に基づいて登録した報知対象をより遠くから報知を開始するとよい。例えば、通常は1km手前で報知するところ、1.5km手前などで報知するとよい。例えば、走行中に音声で地点登録を指示した場合、目標物を通過し所定距離だけ既に走行している場合があるが、より手前から報知することで、実際の目標物の適度な手前で接近報知ができ、直前で報知することを回避できる。
(13)前記車両の車室内を撮影する撮影手段が撮影した画像データに基づき、少なくとも運転者の口の動きを検出する検出機能を備え、前記録画機能は、前記運転者の口の動きに基づき、前記車両に搭載される撮影手段により撮影された画像を示す画像データを記録手段に録画する機能を備えるとよい。
運転者の口の動きに基づき、撮影手段が撮影した画像データの録画を行うことができる。口の動きをトリガとして録画するようにすると、例えば、車内でロードノイズやカーオーディオなど騒音が大きく、音声認識で録画指示が受け付けられなかったり、受け付けにくい状況であったりする場合でも、運転者の口の動きに基づいて録画指示が行える。
口の動きは、意味のある言葉を発する際の口の動きとしてもよいが、特定の言葉の意味を持たない口の動きとするとよい。特定の言葉の意味を持たない口の動きは、運転者が発話している際にされることはなく、例えば音声による指示の言葉と同じ言葉を会話中に発した場合に録画や所定の処理を実施されるおそれが可及的に抑制される。
また画像データ中の運転者の口の動きに基づき、読心術機能により話している言葉を認識する機能を備え、その認識した言葉が第1の音声情報に基づく録画開始と同じ言葉の場合に録画を行うように構成するとよい。このようにすると、ユーザは、例えば音声による録画指示の言葉を覚え、その言葉を発話すると、例えば電子機器は音声認識機能により録画が開始し、或いは口の動きの検知に基づく録画を開始する。よって、例えば車内がロードノイズやカーオーディオなど騒音が大きいか否かにかかわらず、ユーザは同じ言葉を発話することで録画を開始することができる。
また、このように読心術機能を用いて口の動きに基づいて話している内容を認識する機能を備えた場合、録画機能に加え、第2の音声情報に基づいて所定の処理を行う処理機能にも適用し、音声認識と同様に動作するように構成するとよい。
(14)前記車両の車室内を撮影する撮影手段が撮影した画像データに基づき、運転者が同乗者と会話しているか否かを判断する会話判断機能を備え、その会話判断機能の判断結果に基づき、前記録画機能と前記処理機能の動作の有無を制御するように構成するとよい。
運転者が同乗者と会話しているか否かの判断結果に基づき、録画機能と処理機能の動作の有無が制御される。例えば、判断結果が会話していない場合には、運転者が一人で発話し、音声による指示を行っている可能性が高く、音声認識に基づく通常の動作を行うとよい。例えば録画機能は第1の音声情報が録画指示の場合には録画を行い、処理機能は第2の音声情報に基づく所定の処理を行うとよい。
そして、判断結果が会話している場合には、例えば録画機能は録画を行わず、処理機能も処理を行わないようにするとよい。このようにすると、例えば音声による指示の言葉と同じ言葉を会話中に発した場合に、誤って録画等が行われない。録画等を行いないための制御は、例えば受け付けた第1の音声情報や第2の音声情報に対する音声認識を行わないようにするとよいが、例えば音声認識を行い認識結果が録画等の所定の指示の場合にその指示を実行しないようにするとよい。
また、上記とは逆に判断結果が会話している場合に、例えば録画機能は録画を行い、処理機能も処理を行い、判断結果が会話していない場合に、例えば録画機能は録画を行わないようにするとよい。特に、車両の車室内を撮影する撮影手段が撮影した画像データを記憶手段に録画するとよい。このようにすると、運転者と同乗者が会話している際の室内を撮影した画像データを効率よく記録できる。
(15)前記車両の車室内を撮影する撮影手段が撮影した画像データ中の話者を特定し、その特定した話者がわかるように画像を加工して表示させる機能と、その話者がわかるように加工した画像データを録画する機能を備えるとよい。
画像データ中の話者がわかるように加工した画像データを録画することができる。例えば録画した加工した画像データを再生した場合、誰が話しているかが理解できる。例えば、車両に設置した電子機器の表示部で再生する場合、表示部は小さい場合があるが、話者を容易に特定できる。また例えば、その加工した画像データの再利用ができる。再利用は、例えば投稿したり、管理者等に転送したりするとよい。また、加工した画像データと、加工する前の画像データをそれぞれ録画するとよく、それぞれの画像データを別のフォルダに録画するとよい。話者がわかるように画像を加工して表示さる機能は、例えば、特定した話者にマークを付して表示させたり、その特定した話者にモザイクを掛けて表示させたりするとよい。マークは、例えば、話者にアイコンを付したり、話者の顔または体の領域にボックスを表示したりするとよい。また、話をしている場面の映像を抽出して取り出し別のファイルに書き出す機能を備えるとよい。
(16)前記車両の車室内を撮影する撮影手段が撮影した画像データ中の顔の表情を検出する表情検出機能と、その表情検出機能の検出に基づき、車両に搭載される撮影手段により撮影された画像を示す画像データを記録手段に録画する機能を備えるとよい。
検出した顔の表情をトリガとして撮影した画像を録画できる。例えば、あおり運転を受けたり、前方車両や後方車両との車間距離が接近したりすると、運転者や同乗者は、例えば驚いたり怒ったりする。そこで、例えば驚きや怒りをトリガとして録画するとよい。表情認識結果の誤認識を排除するため、別の情報(例えば、音声、加速度、車両接近等)を加味して行うとよい。顔の表情の検出は、例えば顔の表情認識エンジンを用いて行うとよい。
また、前記車両の車室内を撮影する撮影手段が撮影した画像データ中の顔の表情を検出し、得られた表情の種類を、前記画像データに関連付けて記録する機能を備えるとよい。このようにすると、例えば検出された運転者、同乗者等の顔の表情の種類を関連付けて記録することができる。そのように画像データに顔の表情の種類を関連付けることで、例えば表情の種類を検索キーにして目的の画像を検索しやすくなったり、例えば同じ種類の画像を読み出したりすることができる。表情は、例えば認識結果が、一定以上の確度のものを採用するとよい。
(17)音声以外の環境音を検出する機能を備え、その検出した前記環境音の種類に基づき所定の処理を行う機能を備えるとよい。
このようにすると音声以外の音響を検出した場合、検出した環境音に基づき所定の処理を行うことができる。音声以外の環境音を検出する機能は、例えば音声認識と同一の認識エンジン(例えば認識プログラム)を用いてもよいが、異なる認識エンジン(例えば認識プログラム)を用いるとよい。
環境音に基づく所定の処理は、例えば、環境音を検出したことを予め登録した通知先に通知するとよく、通知は、特定の環境音(例えば、子どもや愛玩動物の声等)を検出した場合に行うようにするとよい。また、所定の処理は、例えば環境音の検出をトリガとして録画を行うとよく、音声情報に基づく録画と区別して、別の種類のイベントとして、録画する機能を備えるとよい。また、所定の処理は、環境音の種類を特定する特定情報を求め、その特定情報を前記環境音を検出した際に撮影した画像データに関連付けて記録するとよい。また、検出した環境音の音声データや、音声認識して変換したテキストデータを画像データに関連付けて記録するとよい。上記の特定情報、環境音の音声データ、環境音を音声認識したテキストデータ等を画像データに関連付けて記録する場合、車両の走行中と、駐車時の監視中の両方に行うとよく、走行中と監視中を区別して記録するとよい。検出した環境音の種類を特定する特定情報を、その環境音を検出した際に撮影した画像データに関連付けて記録した場合、画像データに環境音の種類が関連付けられているので、ユーザは、例えば環境音の種類を特定する特定情報を検索キーにして目的の画像を検索したり、同じ種類が関連付けられた画像データを読み出したりすることができる。環境音の種類は、例えば、犬や猫等の愛玩動物の鳴き声、カラスその他の野生の動物の鳴き声、子どもの声、衝突音、警笛、クラクション、緊急車両のサイレンなどとするとよい。
また例えば環境音の発生場所を特定する機能を備え、特定した発生場所に応じた処理を行うとよい。例えば発生場所として車内と車外を区別するようにした場合に、例えば、車内での環境音が検出された場合には、予め設定した通知先に通知するとよい。通知先に車内での環境音が検出されたことが通知されるので、通知先に設定された機器等を保有・管理する人は、その環境音の発生の事実を知ることができる。通知先を例えばユーザの携帯端末等に設定すると、ユーザは、車両から離れていても、車内で環境音が検出されたことを知ることができ、例えばそれを契機に車両に戻り状況を確認することができる。また、通知先を例えば監視するサーバ等に設定すると、そのサーバを管理する人が、例えば駐車等により運転者が車両を降りて不在になった状況で、車内で環境音が発生したことを知ることができ、例えば運転者等に伝えたり、駐車位置を知っている場合に車両を見に行ったりすることができる。また、通知する場合、そのイベントのきっかけとなる内容の情報、例えば特定情報等を併せて送るとよい。また、例えば車両の駐車中等、運転者が不在の場合に通知するとよく、運転者が車内に存在する場合には通知しないようにするとよい。運転者の不在の有無は、例えば車内を撮影する撮影手段を備えている場合、運転席に人が居るか否かにより判断し、また例えばエンジンがオフなどして車両が走行できない状態でドアロックされたことを検知した場合など各種の方法を採るとよい。例えば、駐車中に車内で音が発生すると、子どもやペットの置き去りの可能性があるが、その可能性をユーザの携帯端末等に通知し、ユーザ等に知らせることができる。
また、発生場所に応じた所定の処理は、撮影手段で撮影した画像データの録画の有無を制御するとよい。録画の有無の制御は、複数の撮影手段を備えている場合に、全体を一斉に録画したり録画しなかったりする制御をしてもよいが、発生場所に応じて一部の撮影手段で撮影した画像データは録画し、別の撮影手段で撮影した画像データは録画しない制御をするとよい。録画対象とする一部の撮影手段は、環境音の発生場所を撮影するものとするとよい。
また発生場所に応じた所定の処理は、複数の撮影手段を有する場合に、環境音の発生場所を撮影する撮影手段で撮影した画像データに対して、特定情報の関連付けを行い、別の撮影手段で撮影した画像データに対しては特定情報を関連付けしないようにするとよい。
(18)運転者を撮影した画像データに基づき前記運転者のバイタル情報を取得する機能と、その取得したバイタル情報を前記画像データに関連付けて記録する機能を備えるとよい。
運転者のバイタル情報を画像データに関連付けて記録することができる。例えば録画された画像データを再生し、それに関連付けて記録された運転者のバイタル情報を確認することで、バイタル情報と運転状況の相関の解析等を行うことができる。
(19)ユーザの携帯端末と情報を送受する機能を備え、前記第1の音声情報と前記第2の音声情報の音声認識は、前記携帯端末側で行い、音声認識結果を取得して利用するように構成するとよい。
第1の音声情報と第2の音声情報は、ユーザが携帯する携帯端末側で行い、システムはその携帯端末側で行った音声認識結果を取得し、その取得した結果に基づいて所定の処理が実行される。携帯端末側で行う音声認識は、携帯端末が音声認識サーバ等に転送して音声認識を行うとよいが、携帯端末が備える音声認識機能により行うとよい。このようにすると、システムは音声認識機能を備えないようにしたり、備える場合でも例えばボイストリガなどの限られた言葉を検出する簡易なものにしたりすることができる。
携帯端末側で行う音声認識の対象となる第1の音情報と第2の音情報の取得は、システムから送られてくるものを用いるとよいが、携帯端末のマイクロホンが直接拾った音情報とするとよい。
携帯端末と電子機器との間の情報の送受は、Wi-FiやBluetooth(登録商標)等の近距離無線通信を利用するとよいが、音声情報を利用して行うとよい。音声情報を利用する場合、例えばともに音をスピーカから出力し、マイクロホンで拾うようにするとよい。さらに音は、人が聞こえる周波数帯の音を用いるとよいが、人が聞こえない周波数帯の音を用いるとよい。
(20)(1)から(19)のいずれかに記載の電子機器に用いられる機能をコンピュータに実現させるためのプログラムとするとよい。
上述した(1)から(20)に示した発明は、任意に組み合わせることができる。例えば、(1)に示した発明の全て又は一部の構成に、(2)以降の少なくとも1つの発明の少なくとも一部の構成を加える構成としてもよい。特に、(1)に示した発明に、(2)以降の少なくとも1つの発明の少なくとも一部の構成を加えた発明とするとよい。また、(1)から(20)に示した発明から任意の構成を抽出し、抽出された構成を組み合わせてもよい。本願の出願人は、これらの構成を含む発明について権利を取得する意思を有する。また「~の場合」「~のとき」という記載があったとしても、その場合やそのときに限られる構成として記載はしているものではない。これらはよりよい構成の例を示しているものであって、これらの場合やときでない構成についても権利取得する意思を有する。また順番を伴った記載になっている箇所もこの順番に限らない。一部の箇所を削除したり、順番を入れ替えたりした構成についても開示しているものであり、権利取得する意思を有する。
本発明の一実施形態のシステムの構成を説明する図である。 撮影装置の一例を示す外観図である。 ブラケットの一例を示す外観図である。 撮影装置の電気的構成を示すブロック図である。 撮影した画像を表示部に表示した一例を示す図である。 撮影に影響のあるエリア、地点の位置情報を説明する図である。 本発明の別の実施形態の電子機器の概要を説明する図である。 その電子機器の一例を示す外観図である。 ブラケットの一例を示す外観図である。 電子機器の電気的構成を示すブロック図である。 電子機器の別の例を示す外観図である。 さらに別の撮影装置とそれを取り付けるブラケットを示す外観図である。 その撮影装置とブラケットの保持する構造を示す図である。 さらに別の撮影装置とそれを取り付けるブラケットを示す外観図である。
以下、本発明の実施形態について、図面を参照して説明する。これらの図面は、本発明が採用しうる技術的特徴を説明するために用いられるものである。記載されている装置の構成や形状等は単なる説明例であり、本発明は、これに限定されて解釈されるものではなく、本発明の範囲を逸脱しない限りにおいて、当業者の知識に基づいて、種々の変更、修正、改良を加え得るものである。以下の説明における、第1、第2、・・・という数値を用いたラベリングは各要素を識別するためのもので、要素の数を定めるものではない。以下の実施形態は、このような課題を解決するための実施形態の一例である。
[1.システムの全体構成]
図1は、本実施形態のシステムの構成を説明する図である。図1には、車両400を側面側から見た場合の模式図が示されている。システム1は、車両400に配置された、第1の撮影装置としての撮影装置100と、第2の撮影装置としての撮影装置200と、を有する。車両400は、例えば四輪の自動車であるが、四輪の自動車に限定されるものではなく、撮影装置100及び撮影装置200を設置することが可能な車両であればよい。車両は、例えば、自動車、バス、トラック等の四輪以上の大型輸送車や、自動二輪車、自転車等の二輪車、その他の車両等であってもよい。車両は、例えば、電車、モノレール、リニアモーターカー等の交通機関の車両でもよい。
撮影装置100は、車両400の前方側に配置されたフロントカメラである。撮影装置100は、例えば、車両400の車室における前方側の所定の位置に取り付けられ、フロントガラス越しに、車両400の前方を撮影方向として撮影する。撮影装置100は、ドライブレコーダーである。具体的には、撮影装置100は、撮影する機能と、撮影した画像を示す画像データを記録する機能と、撮影装置200から取得した画像データを記録する機能と、を有する。
撮影装置200は、車両400の後方側に配置されたリアカメラである。撮影装置200は、例えば、車両400の車室における後方側の所定の位置に取り付けられ、リアガラス越しに、車両の後方を撮影方向として撮影する。撮影装置200は、撮影する機能と、撮影した画像を示す画像データを撮影装置100に出力する機能と、を有する。
撮影装置100と撮影装置200とは、ケーブル300を介して接続される。ケーブル300は、撮影装置100と撮影装置200とを接続する有線の通信路である。ケーブル300は、例えば、撮影装置100から撮影装置200へ動作用の電力を供給する電源線と、撮影装置100と撮影装置200との間で各種の信号を伝送するための信号線と、を有する。撮影装置200は、ケーブル300を介して、撮影装置100からの電力の供給を受けて動作する。なお、撮影装置100と撮影装置200とが、有線の通信路ではなく、Wi-Fi(登録商標)やBluetooth(登録商標)、その他の規格の無線の通信路によって接続されてもよい。また、撮影装置100は、撮影装置200と通信により接続することなく使用されてもよい。
[2.撮影装置100の外観構成]
図2は、撮影装置100の外観構成の一例を示す図である。図2(A)は、撮影装置100を前方側の右斜め上方向から見た図である。図2(B)は、撮影装置100を後方側の右斜め下方向から見た図である。撮影装置100は、筐体101を有する。筐体101は、上下方向よりも左右方向に長く、かつ厚みは比較的小さい直方体状である。筐体101は、車両400に取り付けられたときに上方を向く上面1011と、第1の側面1012と、第2の側面1013と、第2の側面1013の反対側に位置する第3の側面1014と、上面1011の反対側に位置する第4の側面1015と、を有する。
上面1011には、ジョイントレール102と、カメラジャック191と、が設けられている。ジョイントレール102は、撮影装置100を車両400の所定の取付位置に取り付けるためのブラケット(例えば、後述するブラケット600)を着脱可能である。取付位置は、例えば、車両400のフロントガラス(例えば、フロントガラスにおける上端付近)、又は車両400のルームミラーや車室内の天井等としてもよい。撮影装置100が車両400に取りけられたとき、第1の側面1012が車両400の前方側を向く。このとき、第2の側面1013は、車両400の後方側から見て右側を向く。第3の側面1014は、車両400の後方側から見て左側を向く。第4の側面1015は、車両400の後方側を向く。
カメラジャック191は、ケーブル300の一端が接続される端子である。カメラジャック191は、例えばUSB TypeCの規格に対応し、撮影装置100が撮影装置200とイーサネット規格の通信を行うための端子としてもよい。
第1の側面1012には、撮像レンズ151と、放音孔103と、マイク孔104と、が設けられている。撮像レンズ151は、撮影装置100が備える撮影部(例えば後述する撮影部15)が有する集光用のレンズである。放音孔103は、撮像レンズ151の上方に設けられ、撮影装置100が有する音声出力部(例えば後述する音声出力部14)が出力した音声を、筐体101の内部から外部に透過させる孔である。マイク孔104は、撮像レンズ151の下方に設けられ、外部からの音を筐体101の外部から内部に透過させる孔である。筐体101の内部に透過した音は、撮影装置100が有するマイクロホン(例えば後述するマイクロホン121)に入力される。
第2の側面1013には、イベント記録ボタン122が設けられている。イベント記録ボタン122は、撮影部15が撮影した画像の記録(例えば録画)の開始、又はその記録の終了を指示するための操作手段である。イベント記録が行われていないときに、ユーザによりイベント記録ボタン122が操作されると、撮影装置100はイベント記録を開始する。イベント記録について詳しくは後述する。イベント記録ボタン122は、右ハンドルの車両400の運転者が操作しやすいように、運転者席側を向く第2の側面1013に設けられている。
第3の側面1014には、端子192と、記憶媒体挿入口181と、が設けられている。端子192は、外部の機器から電力の供給を受けるための端子である。端子192は、例えばDCジャックである。端子192は、電源用のコード(例えば、シガープラグコード)の一端側のコネクタが接続される。電源用コードの他端側のコネクタは、例えば車両400側に設けられた給電用の端子(例えば、シガーソケット)に接続される。
端子192は、車両400のOBDII(「II」は「2」のローマ数字である。)コネクタに接続可能なOBDIIアダプタが接続されてもよい。OBDIIコネクタは、故障診断コネクタとも称され、車両のECU(Engine Control Unit)に接続され、所定の期間毎(例えば、0.5秒毎)に各種の車両情報が出力される端子である。端子192が、OBDIIアダプタを用いてOBDIIコネクタと接続されることで、撮影装置100は、動作用の電力の供給を受けるとともに、車両情報を取得することができる。
車両情報は、車両400の状態に関する情報である。車両情報は、例えば、車両400の速度(車速)、エンジン回転数、エンジン負荷率、スロットル度、点火時期、残り燃料の割合、インテークマニホールドの圧力、吸入空気量(MAF)、インジェクション開時間、エンジン冷却水の温度(冷却水温度)、エンジンに吸気される空気の温度(吸気温度)、車外の気温(外気温度)、燃料タンクの残り燃料の量(残燃料量)、燃料流量、瞬間燃費、アクセル開度、ウインカー情報(左右のウインカーの動作(ON/OFF))、ブレーキ開度、ハンドルの回転操舵角、ギヤポジション、及びドア開閉状態の情報等の少なくとも1つ以上とするとよい。
記憶媒体挿入口181は、外部の記憶手段としての記憶媒体500を、撮影装置100の内部に挿入するための挿入口である。記憶媒体500は、撮影装置100又は撮影装置200で撮影された画像が記録される記憶媒体で、例えばSDカードである。SDカードは、例えば、SDメモリカード、miniSDカード、及びmicroSDカード等のいずれの形状も含む。記憶媒体500は、さらに、記憶した画像をパーソナルコンピュータ等の情報表示端末で再生するためのビューア(例えば、専用ビューア)のプログラムを記憶してもよい。
第4の側面1015には、操作部123と、表示面131と、発光部21と、が設けられている。操作部123は、第1のボタン1231と、第2のボタン1232と、第3のボタン1233と、第4のボタン1234と、を有する。第1のボタン1231、第2のボタン1232、第3のボタン1233、及び第4のボタン1234は、表示面131の右側の一辺に沿って上下に並べて配置される。これら各ボタンに割り当てられる機能としては、例えば以下の機能がある。
第1のボタン1231は、長押しされた場合に画像を切り替えるためのボタンとして機能し、短押しされた場合に記憶媒体500のフォーマットを指示するためのボタンとして機能する。表示面131に表示される画像は、例えば、撮影装置100で現在撮影されている画像、及び撮影装置200で現在撮影されている画像の一方又は両方である。記憶媒体500をフォーマットすることは、記憶媒体500を初期化することであり、例えば、記憶媒体500に記憶された画像等のデータを消去すること、撮影装置100が記憶媒体500を使用できる状態にする(例えば、画像の記録及び読み出しをすることができる状態にする)ために、動作設定の内容を示す設定情報を記憶媒体500に書き込むこと、及び記憶媒体500を特定のファイル状態にすること、の少なくともいずれかとして把握される。
第2のボタン1232は、撮影装置100が再生する画像を選択する選択画面を表示するためのボタンである。第3のボタン1233は、撮影装置100、及び撮影装置200の設定に関するメニューを表示するためのボタンである。第4のボタン1234は、画像の記録の開始、及び停止を指示するためのボタンである。例えば、後述する常時記録機能による記録中に、第4のボタン1234が短押しされた場合、その記録が一時停止する。その一時停止中に、第4のボタン1234が短押しされた場合、常時記録機能による画像の記録が再開する。第4のボタン1234が長押しされた場合、画像を記録する際のフレームレートを変更することができる。
表示面131は、撮影装置100が有する表示部(例えば後述する表示部13)が表示する画像が表示される領域である。表示面131は、例えば、長方形又は正方形の領域である。表示面131に重ねてユーザのタッチ操作を検出するためのタッチセンサ124が設けられている。
発光部21は、第1のボタン1231よりも上方に設けられ、所定の色で発光する。
なお、撮影装置200も、ドライブレコーダーとしての機能を有してもよく、例えば撮影装置100と同様の構成を有してもよい。また、撮影装置100と通信により接続される撮影装置として、撮影装置200に代えて又は加えて、他の方向を撮影する1又は複数の撮影装置が用いられてもよい。他の方向として、車両400の右斜め後ろ、左斜め後ろ、車幅方向(例えば側方)等の方向がある。
[3.ブラケットの構成]
図3は、ブラケット600の構成を示す図である。図3(A)は、ブラケット600を前方側の右斜め上方向から見た図である。図3(B)は、ブラケット600を側面側から見た図である。図3(C)は、ブラケット600を前方側の右斜め下方向から見た図である。ブラケット600は、撮影装置100を車両400に取り付ける取付部材の一例である。
ブラケット600は、ボールジョイント機構を用いた取付部材である。ブラケット600において、平板状のベース部610は、車両400のフロントガラスに貼り付ける取付面611を有する。ベース部610は、ボールスタッド620の支柱に対して所定角度だけ傾斜する。取付面611に両面テープ等の接着部材を貼り付け、その接着部材を介して、車両400のフロントガラス等に貼り付けられる。
ボールスタッド620は、ベース部610のうち取付面611とは反対側の面から起立した部位である。ソケット部630は、ボールスタッド620のボール部621が装着される。ナット640は、ソケット部630の周囲に着脱自在に取り付けられる。ソケット部630の外周には、ネジ溝が形成されている。ソケット部630の外周に当該ネジ溝に嵌め合うナット640が装着される。ボールスタッド620のボール部621がソケット部630内に装着された状態で、ナット640が締め付けられる前は、ソケット部630はボール部621の周面に沿って所望の方向に回転して、ベース部650の姿勢及び位置を変位可能である。ナット640が締め付けられると、ベース部650の姿勢及び位置が固定される。
ベース部650は、ソケット部630と一対に形成され、撮影装置100に装着するための部位である。ベース部650は、一対のガイドレール651を下面に有する。一対のガイドレール651は、撮影装置100のジョイントレール102に沿ってスライド可能に構成される。ベース部650の先端部には爪状の先端部652が設けられている。先端部652が、ジョイントレール102の撮影装置100の前方側の端部付近に引っ掛けられることで、ブラケット600が撮影装置100に取り付けられる。
[4.撮影装置100の電気的構成]
図4は、撮影装置100の電気的構成を示すブロック図である。制御部11は、撮影装置100の各部を制御する。制御部11は、例えば、プロセッサ111、及びメモリ112を含むコンピュータである。プロセッサ111は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application-Specific Integrated Circuit)、及びFPGA(Field Programmable Gate Array)等を有する。メモリ112は、例えば、RAM(Random Access Memory)、及びROM(Read Only Memory)等を有する主記憶装置である。プロセッサ111は、メモリ112のROMから読み出したプログラムをRAMに一時的に記憶させる。メモリ112のRAMは、プロセッサ111に作業領域を提供する。プロセッサ111は、プログラムの実行中に生成されるデータをRAMに一時的に記憶させながら演算処理を行うことにより、各種の制御を行う制御部11は、さらに、時刻を計る計時部113を備える。計時部113は、例えばリアルタイムクロックである。計時部113は、プロセッサ111のマザーボードに実装されていていてもよいし、プロセッサ111に外付けされてもよい。
入力部12は、ユーザからの情報の入力を受け付ける。入力部12は、例えば、上述したマイクロホン121、イベント記録ボタン122、操作部123、及びタッチセンサ124を有する。マイクロホン121は、マイク孔104等を介して入射した音を電気信号に変換する。マイクロホン121は、例えばコンデンサマイクである。タッチセンサ124は、表示面131においてユーザによりタッチされた位置を検出する。タッチセンサ124は、例えば静電容量方式である。
表示部13は、表示面131に画像を表示する。表示部13は、例えば液晶ディスプレイ(LCD;Liquid Crystal Display)である。
音声出力部14は、音声を出力する。この音声としては、例えば、報知音や、BGM、音声メッセージ等がある。音声出力部14は、例えば音声処理回路及びスピーカを有する。
撮影部15は、撮影し、撮影により得られた画像データを生成する、撮影部15は、例えば、撮像レンズ151、及び撮像レンズ151により集光された光を撮像する撮像素子を有する。撮像素子は、例えば、CMOS(Complementary MOS)又はCCD(Charge Coupled Device)とする。撮影部15は、例えば赤(R)、緑(G)、青(B)の色成分からなるカラー(多色)の画像を生成する。
通信部16は、外部の装置と通信する。通信部16は、例えば、Wi-Fi(登録商標)、Bluetooth(登録商標)その他の無線LAN(Local Area Network)通信や近距離無線通信により、外部の装置と無線通信するための通信回路を有する。通信部16は、例えば、LTE(Long Term Evolution)、4G、5G等の移動通信システムの規格等に準拠した通信を行うための通信回路を有してもよい。
センサ部17は、各種のセンサを有する。センサ部17は、例えば、加速度センサ、ジャイロセンサ、気圧センサ、及び照度センサの少なくともいずれかを有する。加速度センサは、例えば車両の前後、左右、上下の加速度を検出する3軸の加速度センサである。ジャイロセンサは、撮影装置100の傾きを検出するセンサである。加速度センサ及びジャイロセンサは、例えば、GNSS衛星からの信号が受信できない場合に、自律航法により車両400の位置を推測するのに使用されてもよい。気圧センサは、気圧を測定する。気圧センサは、例えば、高低差を検知して、高速道と一般道を判定するために用いられる。照度センサは、撮影装置100の周辺である車室内の明るさを示す照度を検知するセンサである。照度センサは、例えば表示部13の表示の輝度の調整に使用される。
リーダライタ18は、記憶媒体挿入口181から撮影装置100の内部に挿入された記憶媒体500を保持する媒体保持部として機能する。リーダライタ18は、記憶媒体500にデータを書き込んだり、記憶媒体500からデータを読み出したりする。リーダライタ18は、記憶媒体500を1つだけ保持するものでもよいが、2つ以上の記憶媒体500を同時に保持することが可能に構成されてもよい。
端子部19は、外部の装置と電気的に接続するための端子を有する。端子部19は、上述した、カメラジャック191及び端子192を有する。端子部19に接続される装置として、車両400側からの給電がなくても、撮影装置100及び撮影装置200が動作できるように、外付けのバッテリが用いられてもよい。端子部19に接続される装置は、例えば、ユーザの安全運転を支援する機能を有する装置であってもよい。このような装置として、例えば、運転手(例えば顔)を撮影して、わき見及び居眠り運転に例示される運転手の状態を検出して報知する機能を有する装置や、車両400の周辺の障害物を検知して報知する機能を有する装置(例えば、前方車両追突警報システム(例えばFCWS:Forward vehicle Collision Warning Systems)のための車両検知に使用される装置)がある。端子部19に接続される装置は、その他にも、レーダー探知機、レーザー探知機、カーナビゲーション装置、ディスプレイ装置等の車載装置としてもよい。
位置情報取得部20は、撮影装置100の位置(より具体的には、現在位置)を示す位置情報を取得する。撮影装置100の位置は、撮影装置100が配置された車両400の位置、車両400に配置された撮影装置200の位置、及び車両400に乗車している運転手その他の人の位置と同視することができる。位置情報取得部20は、例えば、GNSS(Global Navigation SatelliteSystem:全球測位衛星システム)の一つであるGPS(Global Posisioning System)からの信号に基づき、撮影装置100の位置情報(例えば緯度情報、及び経度情報)を取得する。位置情報取得部20は、QZSS(Quasi-Zenith Satellite System:準天頂衛星システム)として、みちびきを併せて利用してもよい。
発光部21は、所定の色で発光する。発光部21は、例えば、発光ダイオードを有する。
電源制御部22は、撮影装置100の各部や、撮影装置200への電力の供給を制御する。電源制御部22は、例えば、電源スイッチや電源制御回路を有する。電源制御部22は、端子部19を介して車両400側から供給された電力を、撮影装置100の各部や、撮影装置200へ供給する。電源制御部22は、さらに、蓄電手段として、二次電池やボタン電池、電気二重層コンデンサ(例えばスーパーキャパシタとも呼ばれる。)を有してもよい。
撮影装置100は、さらに、フラッシュメモリ(例えばeMMC、SSD)に例示される補助記憶装置を内部の記憶手段として有してもよい。補助記憶装置としては、光学式記憶媒体、磁気記憶媒体、及び半導体記憶媒体に例示される各種の記憶媒体を用いることができる。
[5.撮影装置100の画像記録機能]
撮影装置100は、画像記録機能として、以下の1つまたは2つ以上の機能を有する。画像記録機能は、撮影装置100が撮影した画像を、所定のファイル形式の画像データとして記録する機能である。画像データは、動画形式の画像データとするとよく、例えばMPEG(Moving Picture Experts Group)形式(例えば、MPEG2、MPEG4)であるが、AVI、MOV、WMV等である。
<5-1.常時記録機能>
常時記録機能(例えば常時録画機能ともいう。)は、撮影装置100の動作中は、撮影装置100及び撮影装置200の一方又は両方により撮影された画像を継続して記録する機能である。制御部11は、常時記録機能を実行しているときには、車両400のエンジンの始動から停止まで撮像した映像データを記憶する。エンジンの始動は、例えば、車両400のアクセサリ電源のオンにより検出され、エンジンの停止は、アクセサリ電源のオフにより検出される。
<5-2.イベント記録機能>
イベント記録機能は、特定のイベントが発生したことに応じて、撮影装置100及び撮影装置200の一方又は両方により撮影された画像を記録する機能である。イベントは、撮影装置100又は撮影装置200により撮影された画像を記録すべき事象であり、例えば、車両400の走行中におけるユーザの急ハンドル、急ブレーキ等の操作時、車両400の他の物体との衝突時等とする。制御部11は、イベントが発生したことを、例えば、センサ部17の加速度センサによる計測値に基づいて、判定する。具体的には、制御部11は、加速度センサの計測値が所定の閾値以上となった場合又は所定の時間的変化を示した場合に、イベントが発生したと判定する。イベントの発生の判定条件はこれに限られない。制御部11は、車両情報に基づいて、例えば車速や操舵状態等の車両400の状態が所定の条件を満たした場合に、イベントが発生したと判定してもよい。制御部11は、撮影部15又は撮影装置200により撮影された画像を解析し、車両400又は他車両の危険運転(例えばあおり運転、接近、又は異常接近)を検知した場合に、イベントが発生したと判定してもよい。制御部11は、前方或いは後方の車両との車間距離を計測するセンサの出力に基づき、車両400又は他車両の危険運転(例えば後方車両との車間距離の変動が激しいあおり運転、接近、又は異常接近)を検知した場合に、イベントが発生したと判定してもよい。制御部11は、イベント記録ボタン122が操作された場合にも、イベントが発生したと判定する。
制御部11は、イベントが発生したと判定した場合、そのイベントの発生前後の所定期間(以下「イベント記録期間」という。)において撮像された画像を、記憶媒体500に記録する。制御部11は、例えば撮影部15及び撮影装置200により撮影された画像をメモリ112(例えば、RAM)に一時的に記録しておき、イベントが発生したと判定した場合は、メモリ112から読み出したイベント記録期間の画像を記憶媒体500に記録するとよい。制御部11は、例えば、イベントの発生前20秒、及びイベントの発生後20秒の合計40秒の画像を1つのファイルとする。イベント記録期間は一例であり、イベントの種類に応じて異なっていてもよいし、ユーザが変更可能であってもよい。制御部11は、1つのイベントの発生につき、複数のファイルからなる画像を記憶媒体500に記録してもよい。制御部11は、さらに、イベント記録期間にセンサ部17で計測された値(例えば、3軸の各方向の加速度)や、位置情報取得部20で取得された位置情報を、画像と関連付けて、記憶媒体500に記録してもよい。
<5-3.駐車監視機能>
駐車監視機能は、車両400の駐車中に撮影装置100及び撮影装置200の一方又は両方により撮影された画像を記録する機能である。駐車監視機能は、駐車中の車両400の内部又は車両400の周辺の外部を監視するための機能である。制御部11は、車両400のエンジンオフ状態では、外付けバッテリからの電力の供給を受けて、記憶媒体500に画像を記録する。車両400の駐車中であるか否かについて、制御部11は、例えば、アクセサリ電源がオフされたこと、エンジンがオフされたこと、外付けバッテリからの電源供給が開始されたこと、車速が0km/h又は所定速度以下であること、及び位置情報取得部20が取得した位置情報が所定の位置情報(例えば、自宅や勤務先、駐車場の位置情報)であること、の1つ又は複数に基づいて判定する。
駐車監視機能は、タイムラプスモード、及び動体検知モードを有してもよい。具体的には、制御部11は、タイムラプスモードがユーザにより選択された場合、常時記録機能及びイベント記録機能等の他の画像記録機能よりも、フレームレートを間引いて画像を記録する。例えば、他の画像記録機能のフレームレートが20~30フレーム/秒であるのに対して、タイムラプスモードのフレームレートは1フレーム/秒とする。動体検知モードは、移動体の検知に応じて画像を記録するモードである。具体的には、制御部11は、動体検知モードがユーザにより選択された場合に、撮影装置100及び撮影装置200により撮像された画像の変化から動体を検知したときは、その検知前後の所定期間に撮影された画像を、記憶媒体500に記録する。フレームレートは、常時記録機能及びイベント記録機能等と同じフレームレートとしてもよい。
なお、撮影装置100、200として、全天球、半天球といった天球画像を撮影する撮影装置が用いられてもよい。また、撮影装置100として、表示部13を有しない撮影装置が用いられてもよい。また、撮影装置100の筐体は、直方体状のものでなくてもよく、例えば円筒状等の撮影機器であってもよい。
[6.撮影装置100の音声入力に伴う処理機能]
撮影装置100は、マイクロホン121を介して取得した音声情報の音声認識結果に基づき、各種の処理を行う機能として、以下の1つまたは2つ以上の機能を有する。音声認識は、撮影装置100が音声認識機能を備え、ローカルで実施してもよく、また、取得した音声情報をクラウドに送り、クラウドの音声認識機能により変換されたテキスト情報を取得するようにしてもよい。音声認識機能は、例えば認識プログラムとして制御部11の一機能として実装したが、音声認識チップ等のICチップその他の制御部11とは別の音声認識手段として実装するとよい。
<6-1.第1の音声情報と第2の音声情報を用いた録画等を行う機能>
マイクロホン121を介して取得した音声情報に対する音声認識結果が録画指示の第1の音声情報と、第1の音声情報と異なる第2の音声情報の場合、制御部11は、録画指示の第1の音声情報に基づき撮像された画像を記憶媒体500に記録する録画機能と、第2の音声情報の音声認識結果に基づいて録画以外の処理を行う処理機能を備える。
第1の音声情報は、例えば「録画して!」、「録画開始」、「録画スタート」、「録画」などの録画指示を意味する各種の言葉とするとよいが、予め決めた1または数個の言葉とするとよい。数を限定すると、認識すべき用語が減ることも相まって、簡易な音声認識でも対応可能となり、例えば撮影装置100に実装する音声認識エンジンを用いたローカルでの認識でも精度よく対応が可能となり、迅速な処理が行える。
また第2の音声情報は、例えば、(1)録画の記録方式を決定するもの、(2)録画の契機となる種類を特定する情報、(3)録画指示以外のサブ指示を示すもの、(4)撮影装置を指定する情報などとするとよい。
第1の音声情報と第2の音声情報の受付順、すなわち、ユーザの発話の順は、順番を問わずに何れを先にしてもよいし、順番を決めるようにしてもよいが、本実施形態では、順番を決め、第1の音声情報→第2の音声情報の順で受け付けたものを有効とする。第1の音声情報を先に受け付けるようにするとで、録画指示がされたことを早く認識でき、記憶媒体500への画像データの記録をいち早く行うことができる。また、ユーザが指示する場合、まず録画指示を伝え、次に録画に関連して行う所定処理を指示する方がスムーズに言いやすい。
<6-1-1.第2の音声情報に基づき記録方式等を決定する機能>
第2の音声情報が、例えば<5-1>に記載の「常時記録」、<5-2>に記載の「イベント記録」、<5-3>に記載の「駐車監視」などの録画の記録方式を決定するものとするとよい。
例えば、ユーザは運転中等において、周囲の車両から煽られていたり、不審な車両が走っていたりするなど、トラブルに巻き込まれそうになったとき、例えば、ユーザが、「録画して!」と「イベント記録」を適宜の順で発話すると、それを受け付けた撮影装置100は、音声情報を音声認識した結果に基づき、イベント記録を開始するとよい。例えば制御部11は、イベント記録期間において撮像された画像を、記憶媒体500に記録する。
ユーザの操作や動作に基づくイベント記録は、<5-2>で記載したようにイベント記録ボタン122に対する操作によっても開始されるが、緊急性を伴う場合にハンドルから手を離すことはできない場合がある。係る場合であっても、運転者は、ハンドルを握ったまま「録画して!」等の決められた言葉を発話するだけでイベント記録ができ、緊急時に安全に録画開始することができる。この音声情報に基づく録画は、イベント記録であり、常時録画とは別のフォルダに保存し、上書きされないようにするとよい。
また、携帯端末やAIスピーカその他の音声認識機能対応の電子機器に対し、音声認識させる場合、具体的な指示内容(例えば第1の音声情報や第2の音声情報等)を発話する前に、ボイストリガ等と称される所定の掛け声を必要とするものがある。本実施形態では、そのようなボイストリガ等の掛け声を不用として、最初から第1の音声情報である録画指示の言葉を発話し、それに基づき動作するように構成する。これにより、緊急時により迅速に録画が開始される。また、ボイストリガに続いて録画指示の言葉を発話するようにしてもよい。このようにボイストリガを適用してもよいことは、具体的にボイストリガについての適用について記載されているか否かにかかわらず、以下に示す各実施形態でも同様である。
また、例えば、ユーザが、「録画して!」と「駐車監視」を適宜の順で発話すると、それを受け付けた撮影装置100は、音声情報を音声認識した結果に基づき、車両400のエンジンオフ状態で、撮影した画像データを記憶媒体500に記録する。また、例えばこの「録画して!」「駐車監視」の音声情報を走行中に受け付けた場合、駐車監視する状況でないので指示を無視するようにしてもよいが、かかる指示を記憶しその後にエンジンオフ状態で駐車に移行した場合に、駐車監視を行うとよい。また、第2の音声情報は、「駐車監視」のように記録方式を指定するのに変えて、或いは指定とともに、駐車監視する時間や、画像データを記録する間隔(例えば長め/短めや具体的な時間指定等)等の動作条件を指定するとよい。
なお、走行中における音声入力に基づく録画の記録方式を例えば一種類、例えばイベント記録方式に限定した場合、第2の音声情報の入力を省略し、車両の走行中に例えば「録画して!」等の第1の音声情報の入力を検知すると、制御部11は、予め決められた記録方式での記録、例えばイベント記録を行うようにするとよい。同様に、駐車中に行う記録方式が、一種類の駐車監視モードの場合、第2の音声情報の入力を省略し、例えばアクセサリーオフやエンジンオフの状態で「録画して!」等の第1の音声情報の入力を検知すると、制御部11は駐車監視モードでの録画を開始するとよい。
<6-1-2.録画する画像データの種類を区別可能に記録する機能>
第2の音声情報は、録画の契機となる種類を特定する情報とし、制御部11は、録画する画像データの種類を区別可能に記録する処理機能を備えるとよい。ユーザが第2の音声情報を発すると、第2の音声情報で特定される画像データの種類を区別可能に記録できる。画像データを区別可能に記録されるため、例えば再生等する際に、特定の種類のものを選択でき、目的の画像データを容易に見つけられる。第2の音声情報に基づき種類を区別可能に記録され、ユーザは、例えばボタン操作、メニュー画面操作など不要で簡単、迅速にできる。例えば操作部123のボタン操作や、タッチセンサ124に対するタッチ操作に基づくものでは例えばメニュー画面操作が煩雑で、タグ付けすることが難しいが、本実施形態のように音声認識の認識結果に基づくことで画像データの種類を区別可能に記録できる。
区別可能に記録する処理は、例えば、画像データを種類毎に別々のフォルダに記録したり、例えば第2の音声情報をテキストに変換し、例えばその変換したテキストを画像データにタグ付けしたりするとよい。録画の契機となる種類を特定する第2の音声情報は、例えば、「あおり運転」、「事故」等の緊急性を要する状況を特定する言葉、例えば「綺麗な景色」、「絶景」、「野生動物」等の記録に残したい風景や撮影対象物を特定する言葉などとするとよい。
また、第2の音声情報を変換したテキストをそのままタグ付けするのではなく、例えば「あおり運転」「事故」「綺麗な景色」など予め何種類からの音声認識する言葉と、番号を対応付けたテーブルを用意し、そのテーブルを参照し認識結果に対応する番号を取得し、その番号を画像データに関連付けて記録するとよい。
さらに、このようなタグや番号等の録画する画像データの種類を区別する情報は、1つの画像データのファイルに対して複数登録できるようにするとよい。複数の言葉としてとは、例えば、「あおり運転」「前もあった」「割り込み」「急ブレーキ」「後方から接近」等とするとよく、これらから複数の言葉を組み合わせて画像データに関連付けることで、より詳しい状況をタグから理解することができる。
また、第2の音声情報として、<6-1-1>の記録方式についての指示がなく、それ以外の指示された場合、記録方式は予め決めた方式で記録するとよい。このように記録方式の指示を省略することで、ユーザは、短い言葉で指示を与えることができる。予め決めた方式は、例えばイベント記録とするとよく、また、ユーザ設定で変更できるようにするとよい。例えば、あおり運転を受けている場合に、ユーザは「録画して! あおり運転」や「あおり運転 録画して!」等を発話すると、撮影装置100の制御部11は、音声認識結果に基づき、撮影した画像データを記憶媒体500にイベント記録を行い、また、「あおり運転」のテキストをタグ付けする。例えば、「録画して! あおり運転 イベント録画」のように複数の音声情報を発話して記録方式も指定してもよいが、省略することでユーザは簡単に指示できる。このことは、以下に示す各実施形態でも同様である。
<6-1-3.録画指示以外のサブ指示に基づき動作する機能>
音声認識の結果、第2の音声情報が録画指示以外のサブ指示の場合、制御部11は、第1の音声情報の音声認識の結果に基づいて撮像された画像を示す画像データを記憶媒体500に録画させるとともに、その録画した画像データについて第2の音声情報を音声認識されたサブ指示に応じた処理を行う。
サブ指示は、例えばサブコマンド、予約語などとも称され、録画以外の指示を与えるもので例えば、「投稿」「通知」等のデータを送信する指示、「上書き禁止」、「音声無し」、「画像のみ記録」、画像データに対する加工(例えば一部をマスクしたり、解像度を替えたりする等)の指示などがある。また、第2の音声情報は、例えば本実施形態のサブ指示、上記の<6-1-2>で記載した録画の契機となる種類を特定する情報、その他のテキスト化してタグ付け等する付加情報等があり、適宜組み合わせて構成するとよい。例えば、「録画開始 あおり運転 投稿」と発話した場合、「あおり運転」は、音声認識の結果タグ付けされ、「投稿」についてはサブ指示のため画像データの投稿処理が実行される。
係るサブ指示の処理を実行するため、メモリ112、記憶媒体500等の記憶手段に、サブ指示の言葉とそれに対応する処理を実行するために必要な情報を関連付けて記録する。サブ指示を示す言葉が、例えば、「投稿」「通知」等のデータを送信する指示をする言葉の場合、処理を実行するために必要な情報として、例えば、少なくとも投稿サイトやサーバ等のURL、SNSのアカウント、メールアドレス等の画像データの送信先を特定する送信先情報を記憶し、さらに、送信者を特定する情報(例えば、名前、ハンドルネーム、ID等)や、IDやパスワード等のサイトやサーバ等の送信相手に対するアクセス許可を得るため情報等を、サブ指示の言葉に対応づけて記憶するとよい。
取得した音声情報の認識結果が、「投稿」、「通知」、「○○へ送って」等のデータ送信を要求するサブ指示の場合、制御部11は、記憶媒体500にアクセスして音声情報を受け付けた際の画像データを記録したファイルを読み出し、また、上記の送信に必要な情報を記憶した記憶手段にアクセスしてサブ指示の言葉に関連付けられた送信先情報等を取得する。そして、制御部11は、読み出した画像データを取得した送信先情報に送信する。また、制御部11は、この画像データを送信する際に、投稿の場合には、例えば予め設定していた投稿のためのユーザ名、撮影した日時や場所を特定する情報等を関連付けて送信する機能、データの送信先がメールアドレスやSNSなどの特定の相手の場合、例えば送信者を特定する情報(例えば、名前、ハンドルネーム、ID等)、撮影した日時や場所を特定する情報等を関連付けて送信する機能を備えるとよい。
またサブ指示は、例えば、音声データを同時に記録するか否かを指定する情報とするとよい。音声データの記録の有無を指示するようにすると、ユーザの音声による指示に基づいて、画像データを音声データととともに記録することと、音声データなしで画像データのみを記録することができる。例えば音声データを記録する場合と記録しない場合のそれぞれについて第2の音声情報で指示をするようにしてもよいが、例えば一方の処理を原則にし、当該第2の音声情報がない場合には原則通りの処理を行い、第2の音声情報を受け付けた場合に原則でない処理を行うようにするとよい。原則の処理は、音声データを記録しないようにしてもよいが、音声データを記録する処理を原則とするとよい。
サブ指示に対応する第2の音声情報を音声認識して変換したテキスト情報を画像データに関連付けて記録するとよいが、第2の音声情報がサブ指示の場合にはテキスト情報を画像データに関連付ける処理は行わないように構成するとよい。
<6-1-4.第2の音声情報をテキスト化して記録する機能>
制御部11は、第2の音声情報を音声認識によりテキスト化したテキスト情報を画像データに関連付けて記憶する処理機能を備えるとよい。このテキスト化する情報は、<6-1-2>の第2の音声情報の「録画の契機となる種類を特定する情報」に限ることはなく、各種の音声情報を対象とするとよい。テキスト化して関連付けて記憶する音声情報は、予め登録したものと同じ場合に限定してもよいが、ユーザが発話する任意の言葉とするとよい。任意の言葉とすることで、バリエーションに富んだテキスト情報を画像データに関連付けることができる。
第1の音声情報と第2の音声情報の順序を限定しない場合、制御部11は、第1の音声情報の前後の所定期間に発生された音声情報を第2の音声情報として音声認識をする。上記のように第2の音声情報が、任意の言葉とした場合、音声認識は例えばクラウド・サーバに用意したAIを用いた高度の音声認識エンジンを利用するとよい。このようにクラウド等の外部の音声認識エンジンを利用する場合、所定のボイストリガの認識を撮影装置100側で行い、ボイストリガに続いて一定時間内で受け付けた音声情報をクラウド等に送り、認識結果を取得するとよい。また、第1の音声情報に続いて第2の音声情報を受け付けるように発話順を決めておくと、例えば第1の音声情報をボイストリガとしても利用することができ、例えば常時はローカルで音声認識を行い、必要に応じてクラウド等の外部の高性能な音声認識を利用することができる。例えば録画指示の第1の音声情報は撮影装置100側で音声認識して検出するようにし、録画指示の第1の音声情報が検出された、それから一定時間に受け付けた音声情報を第2の音声情報としてクラウド等に送り音声認識された結果を受け取るようにするとよい。
第2の音声情報は、例えば、画像データの種類を特定する情報とするよい。このようにすると、テキスト情報を例えば特定の種類に属する画像データを検索する際の検索キーに利用することができる。ユーザは、例えばテキスト情報に基づいて検索し、所望の画像データを容易に見つけることができる。また、例えば、第2の音声情報が、画像データの内容を示すタイトル等の情報とするとよい。このような第2の音声情報は、例えば、「富士山」、「○○湖の遊覧船」、「キタキツネ」、「野生の猿が近づく」等のように、記録する画像データの内容を容易に想起できるものとするとよい。このようにすると、例えばユーザは画像データに関連付けられたテキスト情報を見ることで、画像データの内容を予想したり推測したりすることができ、例えば再生したい画像データを見つけやすくなる。
<6-1-5.音声認識により撮影装置を指定する機能>
システムは、車両400の前方を撮影方向として撮影する撮影装置100と、車両400の後方を撮影方向として撮影する撮影装置200を備えている。そして第2の音声情報は、録画する画像データを撮影した1または複数の撮影装置100,200を指定する情報とするとい。制御部11は、第2の音声情報の音声認識の結果に基づいて特定される撮影装置100と撮影装置200の一方或いは両方で撮影した画像データを記憶媒体500に記録する。
撮影装置を特定する音声情報は、例えば、フロントカメラ、リアカメラ、室内カメラ等のように具体的に撮影装置を指定する場合や、前方撮影、後方撮影、室内撮影などのように撮影エリア、撮影方向を指示することで間接的に撮影装置を指定する場合などとするとよい。例えば、「録画して! リアカメラ」と発話した場合、それを受け付けた撮影装置100は、指定された撮影装置200が撮影した画像データを記憶媒体500に記録する。この記憶媒体500への記録方式は、例えばイベント記録とするとよい。
また、撮影装置を特定する音声情報は、例えば無音を含むとよい。無音の場合には、例えば全ての撮影装置を指定したことにするとよい。無音であるか否かは、例えば、第1の音声情報を受け付けた前後の所定時間内に音声の受付があるか否かにより決めるとよく、前後の所定時間は同じ時間としてもよいが異なる時間としてもよい。また、第1の音声情報を受け付けた前後の所定時間に音声の受付があった場合でも、音声認識の結果、撮影手段を指定する情報がない場合には、無音と判断するとよい。
撮影装置を特定する言葉を最初に発声するようにするとよい。特定する言葉を認識した場合、対応する撮影装置に対して処理を行い、撮影装置を特定する言葉なく、いきなり指示があった場合には、全ての撮影装置に対して処理を行うとよい。このようにすると、上記の無音の判断が待ち時間なく容易に行える。
無音の場合に予め定めた一部の撮影装置を指定したことにしたり、ユーザ設定により無音の場合に特定する撮影装置を登録する機能を備えたりするとよいが、上述したように全てを指定したものとするのがよい。
上述した実施形態では、音声認識により指定された撮影装置が処理を行う機能として、録画機能の動作について説明したが、例えば、後述する感度設定など、各種の処理について適用するとよい。例えば、「リア」「フロント」の明示がない場合には、両方の撮影装置・カメラの映像に対して音声認識の結果を実行する。例えば、「リア感度下げる」のように撮影装置の設置位置等の区別の指示がある場合には、指示された撮影装置に対する処理を実行し(例えば感度を下げる)、指示されていないカメラに対しては処理を実行しない(例えば感度は変更しない)ようにするとよい。
<6-1-5.携帯端末側で音声認識>
撮影装置100は、ユーザのスマートフォン等の携帯端末と情報を送受する機能を備え、第1の音声情報と第2の音声情報の音声認識は、携帯端末側で行い、撮影装置100が音声認識結果を取得して上記の各種の処理を行うように構成するとよい。
携帯端末側で行う音声認識は、携帯端末が音声認識サーバ等に転送して音声認識を行うとよいが、携帯端末が備える音声認識機能により行うとよい。このようにすると、撮影装置100は音声認識機能を備えないようにしたり、備える場合でも例えばボイストリガなどの限られた言葉を検出する簡易なものにしたりすることができる。
携帯端末側で行う音声認識の対象となる第1の音情報と第2の音情報の取得は、撮影装置100から送られてくるものを用いるとよいが、携帯端末のマイクロホンが直接拾った音情報とするとよい。
携帯端末と撮影装置100との間の情報の送受は、Wi-FiやBluetooth(登録商標)等の近距離無線通信を利用するとよいが、音声情報を利用して行うとよい。音声情報を利用する場合、例えばともに音をスピーカから出力し、マイクロホンで拾うようにするとよい。さらに音は、人が聞こえる周波数帯の音を用いるとよいが、人が聞こえない周波数帯の音を用いるとよい。
<6-2.音声に基づくものとボタン操作に基づくものを区別して記録>
音声認識を契機とするトリガと、音声認識によらない(例えばボタン操作、センサ出力等)トリガとで、共通の項目(例えば録画開始)を備え、共通の項目であっても、別のトリガとして扱うようにするとよい(例えば別種別として記録したり、別のフォルダに記録したりする)。
例えば音声に基づくイベント記録と、イベント記録ボタン122の操作に基づくイベント記録は、ともにユーザの行為に起因するもので、ユーザがイベント記録したいという意思に伴い行う記録である。このように共にユーザの行為に伴うイベント記録ではあるが、制御部11は、音声に基づいてイベント記録期間において撮像された画像を記憶媒体500に記録する場合、イベント記録ボタン122の操作に基づいて行うイベント記録とは別の種別のイベントとして記録する機能を備える。また、例えば音声に基づくイベント記録と、センサ出力が所定の値にイベント記録も、イベント記録開始という共通の項目を有し、所定の条件を満たし常時記録ではなくイベント記録として残したいという点で共通するものである。
別の種別のイベントとして記録することで、同一の種別に属する画像のファイル数が少なくなり、所望の画像にアクセスしやすくなる。例えば、上述したようにあおり運転などトラブルに巻き込まれそうになったとき等に、「録画して!」等と発話してイベント記録を行った画像を後で見たい場合に、手動操作に基づいてイベント記録を行った画像を検索対象から外すことができる。また、それとは逆に、イベント記録ボタン122の操作に基づいて記録した画像を見たい場合に、音声に基づいてイベント記録を行った画像を検索対象から外すことができる。別の種別のイベントとして記録することは、いずれの種別かが後でわかるように行うとよく、例えば、記録するフォルダを替えたり、異なるタグ、フラグなどの情報を付加したりすることなどとするとよい。
別の種別のイベントとして記録するに際し、両方とも上書き禁止に設定してもよいが、ユーザ設定等により、一方或いは両方に対し、個別に上書き禁止/上書き許可の設定を行う機能を備えるとよい。また、フォルダを別に記憶するようにした場合、ユーザ設定により、フォルダ毎に上書き可否の設定をする機能を備えるとい。
<6-3.音声に基づくものとボタン操作に基づくもののイベント記録時間>
画像を記録するイベント記録期間は、音声に基づくイベント記録の場合と、イベント記録ボタン122の操作に基づくイベント記録の場合で異なる設定とするとよい。撮影装置100は、音声に基づくイベント記録用の第1イベント記録期間と、イベント記録ボタン122の操作に基づくイベント記録用の第2イベント記録期間を記憶保持する。そして、制御部11は、取得した音声情報に対する音声認識結果が録画指示の第1の音声情報の場合、設定された第1イベント記録期間を読み出し、イベント発生の前後の第1イベント記録期間において撮像された画像を、記憶媒体500に記録する。また、制御部11は、イベント記録ボタン122に対する操作を検知した場合、設定された第2イベント記録期間を読み出し、イベント発生の前後の第2イベント記録期間において撮像された画像を、記憶媒体500に記録する。
第1イベント記録期間と第2イベント記録期間は、出荷時等においてそれぞれ予め設定されている。そして、ユーザ設定により変更する機能を備えるとよく、さらに、イベント発生の前側の時間と、後側の時間をそれぞれ変更可能にする機能を備えるとよい。また、設定により第1イベント記録期間と第2イベント記録期間を等しくすることを許容するようにするとよい。
第1イベント記録期間と第2イベント記録期間の長短は、ユーザが指示を与えにくい方を相対的に長くするとよい。例えば、指示を与えにくい入力手段を利用する場合、ユーザが録画したいと思ったときから、実際に撮影装置100がイベント発生と認識するまでのタイムラグが相対的に長くなる場合がある。イベント記録期間を長くすることで、ユーザが録画したいと思った契機付けの画像をより確実に記録することができる。また、上記の<5-2>では、イベント記録期間の一例として、「イベントの発生前20秒、及びイベントの発生後20秒の合計40秒」とし、イベントの発生前と発生後の時間を等しい例を示したが、ユーザが指示を与えにくい方を長く、或いはユーザが指示を与えやすい方を短くする場合、少なくともイベント発生前の時間を長く或いは短くするとよい。
撮影装置100がフロントガラスの上端側に取り付けられている場合、運転者が撮影装置100に設けたイベント記録ボタン122を操作するためにはハンドルから手を離すとともに、撮影装置100の方に手を伸ばす必要がある。そのため、イベント記録ボタン122の操作は、音声に基づくものに比べるとユーザが指示を与えにくい場合が多い。イベント記録ボタン122の操作に基づくイベント記録期間を上述した実施形態のように前後20秒ずつとした場合、ユーザが指示を与えやすい音声に基づいた場合のイベント記録期間を、例えば「イベントの発生前15秒、及びイベントの発生後20秒の合計35秒」のように前側のみ短くするとよい。なお、この時間は一例であり、他の秒数を設定してよく、前後を同じ秒数にしてもよい。また、指示を与えやすい音声に基づくイベント記録時間を「イベントの発生前20秒、及びイベントの発生後20秒の合計40秒」のようにし、イベント記録ボタン122の操作に基づくイベント記録時間をより長い時間(例えば前後それぞれ30秒や1分等)に設定してもよい。また、イベント記録の指示を与えるボタンを例えばハンドルなど操作しやすい場所に設けた場合、ボタン操作に基づくイベント記録期間は例えば「イベントの発生前20秒、及びイベントの発生後20秒の合計40秒」とし、音声に基づくイベント記録時間をそれよりも長い時間に設定するとよい。
またイベント記録の長短の設定は、上述したように指示の与えやすさに基づいて決定するものに限ることはなく、例えば、緊急性の有無や記録する目的等に基づいて差を設けるとよい。音声に基づくイベント記録は、例えばあおり運転などトラブルに巻き込まれそうになったとき等、緊急性があり比較的長い時間撮影したい場合がある。そこで、音声に基づくイベント記録期間の方を長くするとよい。この場合、イベント発生の前後の記録時間をそれぞれ長くするとよい。イベント発生前の記録時間を長くすると、例えばあおり運転をされていることに気が付くのが遅れた場合も、運転者等が気付く前から繰り返し行われていたあおり運転されている状況を記録できる。イベント発生後の記録時間を長くすると、運転者等が気づいた後、比較的長時間にわたりあおり運転を受けている状況を記録できる。
<6-4.撮影の感度の調整機能>
撮影装置100の制御部11は、音声認識結果に基づいて撮影装置100や撮影装置200の撮影の感度を調整する機能を備えるとよい。ユーザの音声に基づく感度調整指示により、例えば明るくしたり暗くしたりするなどの感度の調整を行うことができる。
例えば、トンネル内や街灯のない夜間など、暗い場所で撮影する場合に、昼間の屋外と同じ感度で撮影すると感度が低く例えば画面が真っ暗になるおそれがある。一方、トンネル内等の暗い場所から昼間のトンネルの外に至った際にトンネル内と同じ感度設定で屋外を撮影すると、白飛びした画像になるおそれがある。例えば、照度センサ等で周囲の明るさを検知して適切な感度に変える機能を備えるとよいが、係る機能を備えた場合、明るさが変わってから適切な感度に調整されるまでにはタイムラグ(例えば1~2秒)があり、その間は例えば真っ暗な画像や白飛びした画像が撮影されてしまうおそれがある。また、ユーザは、そのようにセンサに基づき自動的に調整された感度よりも明るく/暗くしたいと感じる場合もある。
ユーザが適切なタイミングで、例えば「明るく!」「暗く!」などの音声による感度調整の指示を与えることで、綺麗な画像を撮影することができる。また、撮影装置100が周囲に明るさにあわせて自動的に明度を調整した場合に、ユーザの好みの明るさで撮影することができる。また例えばユーザがここぞという場所で明るくしたいときは、「ユピテル!明るく!」「明るく」等の音声を発することで感度の調整が可能となる。
上記例示した音声情報のうち、「ユピテル」(登録商標)はボイストリガであり、「ユピテル」の部分を撮影装置100が備える音声認識機能で認識すると、それにつづく音声データをクラウドに送る。ボイストリガをブランド名とするとよい。クラウドは、受け取った音声データをクラウドが備える音声認識機能で音声認識をし、その認識結果をテキストデータとして撮影装置100に返す。そこで撮影装置100は、返信されてきたテキストデータを取得し、テキストデータの内容に応じた処理を行う。この実施形態では、「明るく」「暗く」等の明度・明るさといった撮影の感度調整を指示する言葉の場合、制御部11は、内容に沿った感度の調整を行う。
感度をユーザ操作で変更する場合、例えばボタン操作や、パソコン、スマートフォン等を操作して設定を変える機能を備えている場合、係る機能では例えば運転中にタイムリーに設定変更することが難しいが、走行中に音声だけで設定ができ、利便性が向上する。
感度調整を行うための音声情報は、例えばボイストリガを用いなくてもよいが、その場合に「明るく」だけだと短く認識機能の性能等によっては認識しにくい場合がある。係る場合、例えば「カメラ映像明るく」などある程度以上の文字数からなる音声情報を用いて指示するとよい。
<6-5.センサ感度の調整機能>
<5-2>に記載の特定のイベントが発生したことに応じて、イベント記録が行われる場合に、その録画中或いは録画後に受け付けた音声情報を音声認識した結果が録画不要を示す場合、制御部11は、録画を行わず、イベント発生の録画条件を検出し、その検出したイベント発生の条件を録画が行われにくくなる方向に変更する処理を行う。これにより不要なイベント記録を減らし、イベント記録の上書きを避けたり、録画時間を延ばしたりできる。
ユーザは、例えば録画中或いは録画後の適宜のタイミングで、録画が不要なことを音声で指示することで、録画条件が変更され、次回以降で今回イベント記録が行われたのと同じ状況が発生した場合、イベント記録はされないか、されにくくなる。なお、次回同じ状況で再度イベント記録がされた場合、ユーザは録画不要の指示を改めて発することで、さらにイベント記録が行われにくくなる方向に変更するとよい。また、例えば峠道等の加速度の変化が激しい箇所を走行する場合、例えば最初にイベント記録がされた際に「録画不用」を指示することで、それ以降の走行中にイベント記録がされにくくなる。
例えば、急発進、急停車、急ハンドルに伴いGセンサ出力が閾値を超えてイベント記録が行われた場合に、例えば「録画しない」「録画不用」「今のは記録しない」「今のはいらない」「今の衝撃なら記録しないで」「今の揺れなら記録しないで」等の録画不用を示す音声情報の指示があると、直前に記録したトリガ(例えばGセンサ出力)を判断し、Gセンサ値の現在の閾値を録画が行われにくくなる方向に変更、例えば、閾値を一段階高い値に変更する。また、車間距離に基づくあおり運転をトリガ(「後続車両が所定距離以下に接近」「接近離反を繰り返す」など)としてイベント記録が行われた場合に、例えば録画不用を示す音声情報の指示があると、直前に記録したトリガ(例えば車間距離に基づくあおり運転)を判断し、現在のあおり運転の閾値を確認し、現在の閾値を一段階厳しく(例えば現在が5mのところ4m)に設定変更する。
また、本実施形態のように前方を撮影する撮影装置100と、後方を撮影する撮影装置200のように複数の撮影装置がある場合、どの撮影装置が起因するかを特定し、起因する撮影装置について感度調整を行い、起因しない撮影装置は感度調整は行わないようにするとよい。例えば、撮影装置100と撮影装置200のそれぞれにGセンサを実装している場合に、撮影装置100に実装したGセンサが閾値を超えてイベント記録が行われた場合には、撮影装置100と撮影装置200の両方の感度を調整するとよいが、撮影装置と100のみの感度を調整するとよい。また、車間距離に基づくイベント記録の場合、例えば後方車両が接近するなどしてイベント記録を行った場合、後方側の車間距離の閾値を調整するとよく、前方車両が急減速や低速走行や蛇行運転などして車間距離が縮まり、イベント記録を行った場合、前方側の車間距離の閾値を調整するとよい。
また、録画不用を示す言葉は、上記例示したもの以外に各種のものをとれるが、予め決めた1または数個の言葉を登録しておき、その言葉を受け付けた場合にイベント記録しない処理と、感度の調整を行う処理を行うとよい。録画並びに録画以外の所定の処理を行うための音声情報の言葉は、メーカ側で登録しておいた言葉を用いるとよいが、ユーザ設定で登録できるようにするとよい。このようにユーザ設定する機能は、他の音声情報においても同様である。
イベント記録後に録画不用を示す言葉を受け付け、上記の処理を行う場合における当該言葉の受付は、イベント記録後の期間は制限せずに直前のものに対して行うとようが、イベント記録後、一定の期間内に受け付けた録画不要を示す音声情報を受け付けた場合に当該処理を行い、一定の期間経過後に受け付けた場合には、処理をしないようにするとよい。これにより、例えば、直前のイベント記録が比較的長期間の昔に行われた場合、ユーザの勘違い、装置側の誤認識により、検索された対象となるイベント記録された画像データが、ユーザが想定しているイベント記録のものと相違するおそれがあり、変えてほしくない条件が変更されてしまうおそれを抑制できる。
一定の期間は、例えば○○分、○○時間のように固定した期間としてもよいが、例えば、今回の運転中のように、エンジンをオンしてから現在までとするとよい。また、録画不要の指示を受け付け、サーチしたが該当する画像データが存在しない場合、無い旨の報知をするとよい。
また、イベント記録を行う場合、イベント記録を行うことを報知するとよい。例えば、「ピピピ 衝撃がありました。イベント記録開始します。」のような案内があると、ユーザは、イベント記録が行われることを知るとともに、イベント記録する録画条件・トリガ(例えばGセンサに基づく衝撃や加速度に基づくもの、車両の接近等に基づくものなど)を認識しやすくなり、録画不要か否かの判断を行いやすくなる。
また、制御部11は、録画不要の指示に基づき、感度調整の対象となる条件を特定するが、そのまま感度を変更せずに、「感度を下げますか」等の確認メッセージを出力し、その回答に応じた処理をするとよい。確認メッセージは、表示部13に表示してもよいが音声とするとよい。回答は、例えばボタン操作や表示部13へのタッチなどの撮影装置100に対して接触操作により行うようにしてもよいが、音声を用いて回答するようにするとよい。
また、各種の警報や記録を行った際に、不用の指示を受け付けた場合、制御部11は、関連する提案をするとよい。関連する提案は、次に同じ現象で警報や記録などの処理が行われないようにする提案、例えば閾値条件を変更する提案とするとよい。上記と同様に提案に対する回答に応じて設定を変更する処理を行う機能を備えるとよい。
また、「Gセンサ感度上げて/感度下げて」や、「車間距離の閾値を短くして/長くして」のように調整内容を直接指示してもよいが、ユーザが具体的に指示するのは難しく、「録画不要」であることを音声で伝えることでイベント記録を行う契機となる設定を変えることを間接的に指示するようにするとよい。例えば録画条件の調整を行う場合、例えば設定メニュー画面を操作して行う場合があり、そのような操作は煩雑である。また、例えば録画条件がある閾値を超えた場合に録画するような場合、閾値を大小どちらに変更すると録画されにくくなるかがわかりにくく、間違って逆方向の調整をしてしまうおそれがある。また、例えば録画条件が複数存在する場合、どの録画条件を調整すればよいが直ぐに理解できない場合がある。ユーザは、例えば録画が不要なことを音声で指示することで必要な録画条件の調整が行われるので、これらの不具合が生じない。この感度調整は、例えば各録画条件に対し、それぞれ録画がされにくくなる方向や、変更する量などを関連付けて記憶保持しておき、調整対象となる録画条件が決まると、その記録保持した情報に基づき感度調整を行うとよい。
また、録画の有無と関係なく、音声により具体的な感度調整の指示を受け付ける機能を備え、制御部11は、受け付けた指示に応じて感度を調整する機能を備えるとよい。例えば、「Gセンサ感度上げて/感度下げて」のように調整内容を直接指示を受け付けた場合、加速度センサの感度を上下させ、また、例えば「後方の車間距離の閾値を短くして/長くして」のような指示を受け付けた場合、車間距離の閾値を変更する。これにより、例えば、峠道等の加速度変化が激しい箇所を走行することがわかっている場合、事前に「ユピテル!Gセンサ感度下げて」のように指示することで感度を低くなるように調整することができる。これにより、上述したように峠坂等の急カーブが続き、頻繁に閾値を超える箇所を運転中に「録画不要」などの指示をするのは音声であっても煩雑な場合があり、また、音声での指示が遅れて2番目以降のイベント記録に対して録画不要の指示を受け付けた場合、最初のイベント記録は自動的に削除されない事態を生じるが、事前に感度を変えることで係る事態の発生抑止できる。よって、不要なイベント記録を減らし、イベント記録の上書きを避けたり、録画時間を延ばしたりすることができる。
また、イベント記録されない状況で、「今のは記録して」等、録画を促す指示を受け付けた場合に、録画されやすくする方向に感度を調整するとよい。この場合、どのセンサに基づく感度を調整するかが特定できない場合があり、例えば各センサの出力値と閾値とを比較し、閾値に近いものを候補として「加速度の感度を上げますか」「広報の車間距離を長くしますか」等の確認メッセージを出力し、回答を受けて感度調整を行うとよい。また、<6-1>の第2の音声情報として、感度調整する対象を指定するとよい。
[7.口の動きに基づいて行う録画機能]
システムは、車両400の車室内を撮影する撮影手段を備える。この撮影手段は、例えば、撮影装置100の撮影部15の撮影領域に車室内を含むようにしたり、図示省略する別の撮影装置を備えたりするとよい。撮影装置100で車室内を撮影する場合、その撮影部15は、例えば、半天球カメラ、360°カメラ等を用い、カメラが下向きになるように撮影装置100を車両400にとり付けることで、前方と車室内を撮影領域に含むようにしたり、前方と車室内をそれぞれ撮影するカメラを複数も受けたりするとよい。また、車室内を撮影する撮影装置は、画像を記録するために画像を撮影する撮影装置に限ることはなく、例えば運転者を撮影し所定の挙動の際に警報を発するわき見・居眠り運転警報器その他のドライバーモニタリングシステム(DMS)のカメラ等の各種の車載機器のカメラで撮影した画像データを利用するとよい。
制御部11は、車室内を撮影した画像データに対し、例えば顔認識機能を用いて運転者の顔の部分を抽出し、時系列で撮影した画像データから運転者の口の動きを検出する機能を備える。制御部11は、口の動きに基づき、イベント記録を行う機能を備えるとよい。
口の動きをトリガとして録画するようにすると、例えば、車内でロードノイズやカーオーディオなど騒音が大きく、音声認識で録画指示が受け付けられなかったり、受け付けにくい状況であったりする場合でも、運転者の口の動きに基づいて録画指示が行える。さらに車内では、人の位置や顔の向きがある程度固定されるので顔検出、さらには口の動きを比較的容易に検出することができる。また、口の動きをウェイクトリガーにしたり、口の動きと音声の両方を利用して録画のトリガとするとよい。
口の動きは、意味のある言葉を発する際の口の動きとしてもよいが、特定の言葉の意味を持たない、言葉に紐付けない口の動きとするとよい。特定のパターンの口の動きに基づくと簡単に行える。特定の言葉の意味を持たない口の動きは、運転者が発話している際にされることはなく、例えば音声による指示の言葉と同じ言葉を会話中に発した場合に録画や所定の処理を実施されるおそれが可及的に抑制される。例えば通常の会話等では発生しない口の動き、例えば、大きく開けて閉じる動作を所定回数(例えば3回等)繰り返すことをトリガとすることで、誤認識がなくなる。また、口の動きに基づいて録画する場合、実際に声を出してもよいが、出さないで行うとよい。
また画像データ中の運転者の口の動きに基づき、読心術機能により話している言葉を認識する機能を備え、その認識した言葉が第1の音声情報に基づく録画開始と同じ言葉の場合に録画を行うように構成するとよい。このようにすると、ユーザは、例えば音声による録画指示の言葉を覚え、その言葉を発話すると、例えば電子機器は音声認識機能により録画を開始し、或いは口の動きの検知に基づく録画を開始する。よって、例えば車内がロードノイズやカーオーディオなど騒音が大きいか否かにかかわらず、ユーザは同じ言葉を発話することで録画を開始することができる。
また、このように読心術機能を用いて口の動きに基づいて話している内容を認識する機能を備えた場合、録画機能に加え、第2の音声情報に基づいて所定の処理を行う処理機能にも適用し、音声認識と同様に動作するように構成するとよい。
<7-1.会話の有無に基づく録画制御>
制御部11は、車両400の車室内を撮影する撮影装置が撮影した画像データに基づき、運転者が同乗者と会話しているか否かを判断する会話判断機能を備える。そして制御部11は、会話判断機能の判断結果に基づき、所定の動作を行うとよい。
会話しているか否かの判断は、例えば、運転者と同乗者が写っている画像データに基づき、運転者と同乗者のそれぞれの口の動きを検知する。そして、運転者の口が動いている期間と、同乗者の口の動いている期間を比較し、例えば運手者のみが口を動かし、同乗者は口が動いていない場合には会話していないと判断し、運転者と同乗者が交互に口を動かしている場合には会話していると判断するとよい。交互に口を動かしているかは、例えば、一方の口の動きの後、所定時間内に他方の口の動きがあれば会話していると判断するとよい。また、一方の口の動きの終わりの区間と、他方の口の動きの始まりの区間が一部重なる場合、会話していないと判断してもよいが、例えば重なる時間が一定時間以内の場合には会話していると判断するとよい。通常の会話で、一方が話し終わる前に他方が話し始めることがあり、かかる現象を想定できる長さの重なりの場合には会話していると判断するとよい。
判断結果に基づく所定の動作は、例えば、判断結果が会話していない場合には、運転者が一人で発話し、音声による指示を行っている可能性が高いため、音声認識に基づく上述した各種の動作を行う。各種の動作は、例えば各種の記録方式で画像データを記憶媒体500に記録したり、画像データを投稿や通知したり、感度調整を行ったり、その他の所定の処理を行ったりするとよい。
一方、判断結果が会話している場合には、音声認識に基づく録画その他の所定の処理を行わないようにするとよい。このようにすると、例えば音声による指示の言葉と同じ言葉を会話中に発した場合に、誤って録画等が行わることを防止できる。録画等を行わないための制御は、例えば受け付けた音声情報に対する音声認識を行わないようにするとよいが、例えば音声認識を行い認識結果が録画等の所定の指示の場合にその指示を実行しないようにするとよい。
また、上記とは逆に判断結果が会話している場合に、音声情報に基づく録画や所定の処理を行い、判断結果が会話していない場合に、例えば録画を行わないようにするとよい。このように会話をトリガとして記録してもよく、例えば一人でしゃべっているときは記録しないが、時間的な連続性のある会話がある場合には、記録するとよい。
このような処理は、例えば、車両の車室内を撮影する撮影装置が撮影した画像データを記憶媒体500に記録する場合に用いるとよい。このようにすると、運転者と同乗者が会話していない状況下では画像データを記憶媒体500に記録せず、運転者と同乗者が会話している際の室内を撮影した画像データを効率よく記録できる。運転者と同乗者が会話していない期間に撮影した画像データが記憶媒体500に記録されるのを抑止できる。また、このように会話を契機として画像データを記憶媒体500に記録する場合、例えば「運転席・助手席・会話」等の会話に基づいて記録したことがわかるタグを付けて映像を音声付で記録するとよい。
車内の人数も限られるので、撮影装置100で撮影された画像に映っている人だけが話しているのか、他の席と会話しているのかを推測する機能を備えるとよい。例えば、口の動きと音声の発声のタイミングを検出し、音声の発声と、映っている人の口の動きが一致する場合は画像に映っている人だけが話していると推測し、口の動きがなく音声のみ発声している場合には他の席と会話しているのかを推測するとよい。
[8.映像から表情を認識してトリガとする録画制御]
撮影装置100は、顔の表情認識エンジンを備え、車両400の車室内を撮影する撮影装置が撮影した画像データ中の運転者の顔の領域を検出し、その抽出した領域内の画像を顔の表情認識エンジンに与える。顔の表情認識エンジン、喜怒哀楽等の何れの表情かを確度(例えば○○%)とともに出力する。制御部11は、認識結果が予め定めた表情の場合、画像データを記憶媒体500に記録する。
人間、すなわち運転者は、例えば車両の走行状態や、車両の周囲の状況に応じて感情が変化し、その感情の変化が顔の表情に表れる。そこで、運転者の顔の表情の認識結果が、所定の表情になった場合、イベント記録を行うように構成するとよい。
例えばあおり運転を受けたり、他の車両が急接近してきたり、車両400が急発進・急停止、急カーブなどの走行をしたりした場合、驚いたり、怒ったりするため、表情認識結果は「驚き」「怒り」等となり、確度も高い数値が出現される可能性がある。そこで表情認識結果が「驚き」「怒り」等の場合をトリガ(例えば驚きトリガ、怒りトリガ)として、イベント記録を行うように制御する。
イベント記録を行う表情の種類は、「怒り」等に限ることなく各種の設定をすることができ、例えば綺麗な景色や、楽しい事象が発生した場合は、表情認識結果は「喜び」となる場合があり、係る「喜び」をトリガとしてイベント記録を行うようにしてもよい。そして、何れの種類の表情をトリガとしてイベント記録するかは、ユーザが設定により1または複数を選択できるとよい。
また検出された運転者の顔の表情の種類を、画像データに関連付けて記録(例えばタグ付け)する機能を備えるとよい。そのように画像データに顔の表情の種類を関連付けることで、例えば表情の種類を検索キーにして目的の画像を検索しやすくなったり、例えば同じ種類の画像を読み出したりすることができる。また例えば認識結果が所望の表情の場合に、イベント記録を行うようにするとよいが、一定以上の確度の場合にイベント記録を行うようにするとよい。
また、表情認識結果の誤認識を排除するため、例えば別の情報を加味して録画を行うか否かを決定するするとよい。例えば、以下に示す4つの情報のうち所望のものを選択して組み合わせ判断するとよい。複数の情報を「併用」するときはいずれを先に使うかを設定できるようにするとよい。
(1)「音声も併用」 表情認識の結果が驚きで、音声も発している場合には、イベント記録を行い、表情認識の結果は驚きであっても、音声を発していなければ、イベント録画は行わないように制御する。
(2)「同乗者の映像も併用」 運転者の顔と、同乗者の顔のそれぞれに対して表情認識を行い、それぞれの認識結果を加味して録画の有無を決定するとよい。例えば、あおり運転や車両の急接近など車外の事象の発生の場合、運転者と同乗者はともに驚いたり怒ったりすることが多い。そこで、運転者と同乗者の両方の顔の表情の認識結果が、ともに例えば「驚き」や「怒り」等の場合、イベント記録を行い、一方の人の顔の表情の認識結果が「驚き」「怒り」の表情があっても他方の人の表情の認識結果が「驚き」「怒り」の表情がない場合には、イベント記録を行わないようにするとよい。また、例えば「急発進」「急カーブ」等は、運転者は自己のハンドル操作やアクセル操作に基づく車両の状態変化のため、加速度がかかることがわかっているので、顔の表情に変化がない或いは少なく、同乗者は驚く場合がある。また、同乗者が居眠りや、外を見ていない等から車外の事象発生に気がつかず表情の変化が発生しない場合もある。そこで、上述したように「驚き」の表情が片方のみ(例えば同乗者のみ/運転者のみ)の場合も驚きトリガとしてイベント記録を行うとよい。そして、イベント記録を行った際のトリガの種類がわかるように区別して記録するとよく、例えば、「運転者驚き」、「同乗者驚き」、「運転者・同乗者驚き」など種別も分けて画像データにタグ付けしたり、記憶するフォルダを分けたりするとよい。また、同乗者以外の映像も併用するとよい。
(3)「他のカメラの映像を併用」 例えば、撮影装置100の前方を撮影する撮影部15のカメラや、後方を撮影する撮影装置200のカメラ等で撮影した画像の内容と、顔表情の認識結果を組み合わせて判断するとよい。例えば、表情認識結果が「驚き」で、動物等の飛び出し、前方車両急ブレーキ、車両接近等の画像が撮影されていた場合、驚きの確度をアップし、例えばイベント記録がされる方向に判定するとよい。また、表情認識結果が「驚き」でも、撮影した画像に特別な変化がない場合には、イベント記録を行わないようにしてもよい。
(4)「加速度センサの値を併用」 加速度センサの値が大きくない場合には、表情認識結果が驚きであってもイベント記録を行わないようにするとよく、驚きの確度と、加速度センサのセンサ値の相関に基づいてイベント記録の有無を決定するとよい。
[9.映像から推定した運転者の情報に基づく設定機能]
<9-1.映像から運転者の年齢を推定して撮影装置100等の設定を変更>
車室内を撮影する撮影装置で撮影した運転席の座っている人の顔が存在する領域の画像に基づき、運転者の年齢或いは年代を推定し、推定した結果に基づいて撮影装置100の設定を変更する機能を備える。
設定変更は、例えば20代若者ならば衝撃の感度を緩くし、車両が揺れても録画されにくくするが、例えば40代や50代の場合には加速度センサの感度を上げ細かい動きでも画像データが記録されやすくする設定にするとよい。また、高齢者であれば、例えば設定変更をできないようにするとよい。
<9-2.映像から運転者の性別を推定して撮影装置100等の設定を変更>
車室内を撮影する撮影装置で撮影した運転席の座っている人の顔が存在する領域の画像に基づき、運転者の性別を推定し、推定した結果に基づいて撮影装置100の設定を変更する機能を備える。例えば男性と女性により声の高さに違いがあるため、性別にあわせて音声認識エンジンの特性を変化させ、認識しやすい設定するとよい。
[10.音声以外の環境音に基づく処理]
撮影装置100は、音声以外の環境音を検出する環境音検出手段を備え、制御部11は、環境音検出手段が検出した環境音が予め定めたものの場合、環境音を検出したことをトリガとして、イベント記録期間において撮像された画像を、記憶媒体500に記録する。また制御部11は、音声情報に基づく画像の記録と、環境音に基づく画像の記録は、別の種類のイベントとして区別可能に記録するとよい。区別可能な記録は、例えば別々のフォルダに記録したり、例えばタグ付けしたりするとよい。
環境音検出手段は、例えば音声情報を音声認識するものと同一の認識エンジン(例えば認識プログラム)を用いてもよいが、異なる認識エンジン(例えば認識プログラム)を用いるとよい。
環境音は、例えば、犬や猫等の愛玩動物の鳴き声、カラスその他の野生の動物の鳴き声、子どもの声、衝突音、警笛、クラクション、消防車・パトカー・救急車等の緊急車両が発するサイレンなどとするとよい。画像を記録する環境音は、上記例示したものなど全てとしてもよいが、ユーザが設定した種類の環境音とするとよい。また、環境音に基づくイベント記録は、環境音の種類に関係なく1つのイベントとして記録してもよいが、音響音の種類に基づき、別々のイベントとして記録するとよい。別々のイベントとして記録する場合、愛玩動物の鳴き声と野生の動物の鳴き声は、1つの動物の鳴き声に基づくイベントとしてまとめてもよいが、分けた方がよく、さらに動物の種類ごとに分けるとよい。別々のイベントとして記録する場合、例えば環境音の種類を特定する特定情報を求め、求めた特定情報を、環境音を検出した際に撮影した画像データに関連付けて記録する。環境音の種類は、例えば環境音の音声認識したテキストデータと種類を関連付けたデータベースを用意し、データベースにアクセスして取得した環境音のテキストデータに対応する種類を求めるとよいが、AI(artificial intelligence)を用いて種類を特定するとよい。また、AIを用いる場合、取得した環境音の音データをAIに与え環境音の種類を特定するようにするとよい。
このように画像データに環境音の種類が関連付けられているので、ユーザは、例えば環境音の種類を特定する特定情報を検索キーにして目的の画像を検索したり、同じ種類が関連付けられた画像データを読み出したりすることができる。
また、環境音の検出に基づく処理は、車両の走行中と、駐車監視中の両方に行うとよく、走行中と監視中で異なるイベントとして区別して行うとよい。例えば走行中に検出した犬の鳴き声は、車内での犬の鳴き声の可能性が高く、駐車監視中に検出した犬の鳴き声は、番犬が鳴いており周囲に不審者がいる可能性があり、両者の意味合いが異なる。また、駐車監視中でも、車内に犬が居て鳴く場合がある。よって、例えば走行中に犬の鳴き声を検出した場合は、例えば車室内を撮影する画像がある場合には、その画像をイベント記録したり、何もイベントを行わないようにし、駐車監視中に犬の鳴き声を検出した場合、周囲を撮影する画像がある場合には、その画像をイベント記録したり、ユーザ等に通知をしたりするとよい。また、通知は、検出した環境音の種類、例えば「犬の鳴き声」などを合わせて通知するとよく、さらには、車室内およびまたは車外を撮影した画像データを合わせて送信するとよい。このようにすると、ユーザは、例えば犬を車両に置き去りしてしまった場合にそれを思い出すきっかけとなり、また、意図的に車室内に置いてきた場合には、犬が騒いでいることを知り早急に車両に戻ることができる。また、車内に犬を置いてきていない場合には、不審者を撮影できる場合があり、また、用心のために車両に戻る対応も適切に行うことができる。また、子どもが泣いたり騒いだりする声があった場合も同様の処理をするとよい。
また例えば環境音の発生場所を特定する機能を備え、特定した発生場所に応じた処理を行うとよい。例えば、環境音を受け付けるマイクロホンは、例えば撮影装置100や撮影装置200の設置場所、すなわち車内にある。それとは別に車外の音を拾うマイクロホンを備え、車内の音と車外の音を区別して拾えるようにするとよい。また、例えばリアカメラを構成する撮影装置200を、車外、例えばナンバープレートの横などに設置するとよく、また、撮影装置200は上述した実施形態のようにリアガラスに貼り付けていても、マイクロホンだけは外のナンバープレートの横などに取り付けてもよい。
撮影装置100,200のように複数の撮影装置を備えたシステムの場合、一方の撮影装置のマイクロホンを車両の外に取り付けるとよく、その場合にフロントカメラを構成する撮影装置100のマイクロホン121を外に取り付けてもよいが、上述したようにリアカメラを構成する撮影装置200のマイクロホンを外に取り付けるとよい。撮影装置100のマイクロホン121は車内の運転者や同乗者の声を拾いやすいので、車室内に設けるとよい。
例えば発生場所として車内と車外を区別するようにした場合に、例えば、車内での環境音が検出された場合には、予め設定した通知先に通知するとよい。通知先に車内での環境音が検出されたことが通知されるので、通知先に設定された機器等を保有・管理する人は、その環境音の発生の事実を知ることができる。通知先を例えばユーザの携帯端末等に設定すると、ユーザは、車両から離れていても、車内で環境音が検出されたことを知ることができ、例えばそれを契機に車両に戻り状況を確認することができる。また、通知先を例えば監視するサーバ等に設定すると、そのサーバを管理する人が、例えば駐車等により運転者が車両を降りて不在になった状況で、車内で環境音が発生したことを知ることができ、例えば運転者等に伝えたり、駐車位置を知っている場合に車両を見に行ったりすることができる。
例えば犬が鳴いている場合でも、車外の場合は録画するだけでよいが、車内で鳴いている場合には緊急性があるので、録画するとともに、或いは録画することなく所定のスマートフォン等の携帯端末やパソコン等に通知するとよい。
また、通知する場合、そのイベントのきっかけとなる内容の情報、例えば特定情報等を併せて送るとよい。また、例えば車両の駐車中等、運転者が不在の場合に通知するとよく、運転者が車内に存在する場合には通知しないようにするとよい。運転者の不在の有無は、例えば車内を撮影する撮影手段を備えている場合、運転席に人が居るか否かにより判断し、また例えばエンジンがオフなどして車両が走行できない状態でドアロックされたことを検知した場合など各種の方法を採るとよい。
また、発生場所に応じた所定の処理は、撮影装置100,200で撮影した画像データの録画の有無を制御するとよい。録画の有無の制御は、複数例えば2個の撮影装置100,200で撮影した画像をともに記憶媒体500に記録したり、記録しなかったりする制御をしてもよいが、発生場所に応じて一方の撮影装置で撮影した画像データは記録し、別の撮影装置で撮影した画像データは記録しない制御をするとよい。録画対象とする一部の撮影装置は、環境音の発生場所を撮影するものとするとよい。例えば撮影装置100が車室内を撮影するカメラを備えている場合、車室内で環境音が発声した場合には、撮影装置100で撮影した画像データをイベントに基づく記録をするようにし、撮影装置200で撮影した画像データは記録を行わないようにするとよい。また、両方の撮影装置で撮影した画像データをそれぞれ記録する場合、環境音の発生場所を撮影する撮影装置で撮影した画像データに対して、特定情報の関連付けを行い、別の撮影装置で撮影した画像データに対しては特定情報を関連付けしないようにするとよい。
[11.音声情報に基づく駐車時の処理]
撮影装置100は、エンジンがオンの状態では、車両のバッテリ側から電源供給を受け、エンジンがオフの状態になると、補助バッテリからの給電に切り替わる。エンジンのオフになり補助バッテリから給電に切り替わった場合、電源制御部22は、撮影装置100,200に対する一部の電源供給を停止しつつ少なくとも音声認識を動作させる部分については電源供給を継続するように制御し、音声認識機能の認識結果に基づき、所定の処理を行う。所定の処理は、例えば駐車監視、各種の設定、動画再生等とするとよい。また、一部の電源供給を停止は、音声認識機能とともに所定の機器(例えばセンサ等)に対して電源供給を継続してもよいが、音声認識をするのに必要十分な箇所のみ電源供給するとよい。ボイストリガ等の起動トリガを検出するまでは、少なくともSOCやカメラなどの消費電量の大きい部分はオフにしておくとよい。
制御部11は、この切り替わりを検知し、切り替わりから所定時間の間に、録画指示の音声情報を受け付けると駐車監視に基づく録画を行い、その所定時間の間に「録画指示」がない場合には駐車監視を行わないとするとよい。補助バッテリからの給電の切り替えの検知は、制御部11側からアクティブに行ってもよいし、補助バッテリからの通知を受けて行うようにしてもよい。また、所定時間は、例えば、1分や3分等とするとよい。
制御部11は、エンジンがオフで車両が走行できない状態で「録画しておいて」等の録画指示の音声を認識したら、駐車監視録画を行う。このとき行う駐車監視は、一定時間間隔で画像を記録する常時記録や、イベント発生時にイベント記録期間中の画像データを記録するイベント記録などを行うとよい。
また制御部11は、駐車監視を行った場合、エンジンが始動されると、駐車監視中の異常の有無を判断し、その有無の結果を報知するとよい。例えば、制御部11は、エンジンがかけられたら「おかえりなさい」「異常はありませんでした」「異常がありました」「再生しますか」等の報知を行い、異常な場面を再生する機能を備えるとよい。
また、音声認識結果が感度設定などの設定を行う指示を受け付けた場合、制御部11は、上述した音声に基づく感度設定や、メニュー画面操作等による設定を行う機能を起動する。また、例えば、「駐車監視しない」/「電源オフ」などの積極的に動作を停止する音声情報の入力を受け付けた場合、制御部11は、所定時間経過前に所定の処理としてシャットダウン処理を行い、電源供給を停止し、電力消費を抑制するとよい。
音声による指示を受け付けた場合、制御部11は、例えば電源供給対象を、音声認識機能が認識した所定の言葉に対応付けられたものに変更するとよい。例えば音声認識機能が所定の言葉を認識すると、その所定の言葉に対応づけられた電源供給対象に対して電源を供給し、その電源供給対象が動作可能になる。所定の言葉は、例えば「近接センサオン」「表示部オン」などのように電源供給対象物を直接指定してもよいが、例えば「感度設定」「駐車監視」等のようにこれから行いたい作業・処理を特定する言葉のように電源供給対象物を間接的に指定するようにするとよい。間接的な指定の場合、認識結果の言葉に対応する処理を実行するのに必要なものを電源供給対象物とするとよい。例えば、「駐車監視」の場合、駐車監視に必要な機器(例えば焦電センサやマイクロ波センサ等の人を検知するセンサ等)をオンにし、その他の多くの機器の電源はオフのままにしておき、センサにより人を検知した際に機器の電源をオンにして録画可能にし、所定のトリガに基づき撮影した画像の記録を開始するとよい。また、例えば「感度設定」の場合、感度設定するために表示部13やCPU等をオンするとよい。
[12.話者がわかるように画像を加工して表示等する機能]
撮影装置100は、車両の車室内を撮影した画像データ中の話者を特定し、その特定した話者がわかるように画像を加工して表示させる機能を備える。さらに撮影装置100は、その話者がわかるように加工した加工画像データを記憶媒体500に記録する機能を備える。記憶媒体500には、車室内を撮影した加工前の画像データと、話者がわかるように加工した加工画像データの両方をそれぞれ記録するとよく、それぞれの画像データを別のフォルダに記録するとよい。またこれらの各機能は、例えば制御部11が備えるとよい。話者がわかるように画像を加工して表示するのは、例えば、話者にマークを付したり、モザイクをかけたりするとよい。
<12-1.話者にマークを付して表示等する機能>
撮影装置100は、車両の車室内を撮影した画像データ中の話者を特定し、その特定した話者がマークを表示させる機能を備える。さらに撮影装置100は、そのマークを付した加工画像データを記憶媒体500に記録する機能を備える。記憶媒体500には、車室内を撮影したマークが付されていない画像データと、マークを付した加工画像データの両方をそれぞれ記録するとよく、それぞれの画像データを別のフォルダに記録するとよい。またこれらの各機能は、例えば制御部11が備えるとよい。
例えば図5に示すように、画像データ中に運転者Aと助手席に座っている同乗者Bが写っている場合に、例えば口の動きから話者を特定するとよい。制御部11は、例えば運転者Aが話者の場合、例えばマークMを運転者Aの付近或いは重なる位置にスーパーインポーズで、撮影した画像に重ねて描画するとよい。図示の例では、マークMは矢印型のアイコンで話者を指している状態を描画しているが、ウサギの耳、眼鏡などの各種のアイコンを顔の位置にあわせて描画するとよい。さらに話者の顔または体の領域にボックスを表示したりするとよい。
そして、このようにマークMを付した加工画像データを記録することで、例えば加工画像データを再生した際に誰が話しているかが一目でわかる。例えば、車両400に設置した撮影装置100の表示部13で再生する場合、パソコン等に比べて表示部13は小さいが、話者を容易に特定できる。また例えば、その加工した画像データの再利用ができる。再利用は、例えば投稿したり、管理者等に転送したりするとよい。
また、マークMは、話者がわかるように表示するとよく、例えば、運転者Aと同乗者Bが会話している場合、例えば運転者Aと同乗者Bの両者の顔または体の領域にボックスを表示するとともに、現在話している人の表示態様を他と異ならせるとよい。例えば会話に参加している人は青色のボックスとし、現在発話している人は赤色のボックスとしたり、現在発話している人のボックスを点滅させたりするとよい。図示するように後部座席も撮影されていて、その後部座席にも人が乗っている場合に、例えば運転者と後部座席の人が会話している状況の場合、運転者と後部座席の同乗者にはボックスを付し、助手席の同乗者にはボックスを表示しない制御を行う。そして、現在発話している人のボックスの表示態様を異ならせる。このようにボックスを表示することで、会話に参加している人が誰で、さらに現在誰が話しているのかが一目でわかる。また、マークMを付した加工画像データを記録するので、話しているシーンが記録されるように構成するとよい。
<12-2.話者にモザイクをかける機能>
話をしている人にモザイクをかける機能を備えるとよい。このモザイクをかける機能は、<12-1>で記載のマークMの部分をモザイクに替えたものとするよい。記録した画像データを投稿する場合に、モザイクをかけたいという要求があり、このモザイクをかけた加工画像データを記録することで、容易に投稿が行える。
また、会話中において現在話している人にモザイクをかけ、話を聞いている人はモザイクをかけないようにしてもよいが、両者にモザイクをかけ、現在話している人のモザイクを他の人のモザイクと異なる態様で表示するとよい。特に、会話している人全員にモザイクをかけると、例えば顔を隠して投稿したい要求がある場合に、加工画像データをそのまま投稿するとよい。また、全員にモザイクがかけられていても、現在発話している人のモザイクの態様を変えることで、どの席に座っている人が話しているかが一目でわかるとともに、モザイクの態様が変わる面白みのある映像が再生できる。異なる態様は、例えば色を変えたり、形状を変えたり、隠す部分を変えたりするとよい。隠す部分を変える場合、例えば現在の話者を大きくしてもよいが、小さくするとよい。
モザイクする場合、モザイク対象は、例えば目の部分/顔全体/体全体等あり、ユーザ設定で指定できる機能を備えるとよい。また、話をしている場面の映像を抽出して取り出し別のファイルに書き出す機能を備えるとよい。その場面の映像を抽出して別のファイルの書き出す機能は、マークを付すものなど、話者がわかるように加工したものについても適用するとよい。
<12-3.他への適用>
本実施形態では、上記の話者がわかるように画像を加工するのは、撮影装置100が備え、撮影した通常の画像データを記憶媒体500に記録するとともに、話者がわかるようにした加工画像を生成し、その加工画像データも記憶媒体500に記録するようにしたが、例えば撮影装置100ではかかる加工は行わず、記憶媒体500に記録した画像データを再生するビューワーの機能として実装するとよい。このようビューワーに実装すると、色々なドライブレコーダー等の撮影装置で撮影した画像データを再生する場合に、話者の特定が容易に行える。また、ビューワーが再生時に例えばマークを付したりモザイクをかけたりした場合、その加工データを記録する機能を備えるとよい。
また、ビューアまたは撮影装置100に、録画済みファイル(例えば常時録画ファイルなど)を解析して、トリガを新たに自動設定したり、話者を特定したりする機能を備えるとよい。特にドライブレコーダーより高速に処理できるパソコンやサーバ、専用機で処理するとよい。
[13.現在位置に基づき撮影装置の設定を調整する機能:音声連動]
撮影装置100は、撮影に影響のあるエリアに関する情報を記憶しておき、現在位置が撮影に影響のあるエリアに存在していることを検知した場合、制御部11は、撮影部15の設定を、影響を低減するように調整する機能を備える。これにより撮影に影響のあるエリアに入った場合、撮影部15の設定が調整され鮮明な画像を撮影できる。
例えば、撮影への影響を与える要素が周囲の明るさの場合、周囲の明るさが変わると、撮影手段の感度を調整することで鮮明な画像を撮影できる。撮影に影響を与える要因は、例えば周囲の明るさがあり、例えば明暗差が大きい箇所を通過すると、明るさが変わると撮影部15の感度設定が周囲の明るさと合わず、撮影した画像は真っ暗になったり白飛びしたりする。通常は、明暗差をセンサで感知し、感知した明るさに適した感度に調整する機能を備えるが、適切な感度に調整されるまでにタイムラグ(例えば1~2秒)を生じたり、センサが感知しないで感度調整が適切に行われなかったりする場合もある。感度設定が適切でない間は例えば真っ暗な画像や白飛びした画像が撮影されてしまうおそれがある。本実施形態では、現在の位置情報に基づいて適切なタイミングで感度を変更し鮮明な映像を記録しつづけることができる。明暗差が大きい箇所は、例えばトンネルや高架下等がある。
撮影に影響のあるエリアに関する情報は、例えば図6に示すようにトンネルTの設置区間t1のように一定の領域や、トンネルの入り口P1やトンネルの内外の所定位置にある目標物P2など、ピンポイントの地点とし、そのピンポイントの地点の位置情報とそこからの距離等とするとよい。設置区間t1のようにエリアが指定されている場合には、現在位置がそのエリア内にあるか否かを判断し、エリア内にある場合には、感度をエリア内のものに調整し、エリア外の場合には感度をエリア外のものに調整する。
また、P1やP2のようにピンポイントの地点の位置情報が登録されている場合、撮影に影響のある地点の位置情報と現在位置が所定の関係になった場合に、感度を調整する。例えばトンネルの入り口P1のように切り替わるポイントの位置情報が登録されている場合、現在位置がP1の手前側から接近していき、P1の位置或いはその直前の所定範囲内に位置した際に、感度をエリア内のものに調整する。また感度調整は、なだらかに変えるとよい。
影響のある地点であるP1,P2の位置情報は、他の電子機器に登録された登録地点に関する立地情報を利用するとよく、その他の電子機器に登録された立地情報を音情報を利用して取得する。これにより、撮影装置100は無線通信を用いることなく位置情報を取得できる。そして撮影装置100は、事前に撮影に影響のある情報(例えば明暗差が激しいトンネルや高架下等)を他の電子機器から事前に得ることで、適切なタイミングで感度を切り換えることができ、高度で鮮明な映像記録を可能となる。
他の電子機器は、例えばカーナビゲーションやレーダー探知機等の車両に搭載される電子機器を用いるとよい。この種の電子機器には、例えばPOI(Point of Interest)などと称される多数の登録地点についての内容や位置情報等の立地情報が登録されているので、それを利用するとよい。他の電子機器は、例えばユーザから指定されたり、周囲に存在したりする一又は複数の所定の登録地点の位置情報を音情報として出力する機能や、他の電子機器における処理結果に基づいて抽出される一又は複数の登録地点の位置情報を音情報として出力する機能等を備えるとよい。他の電子機器における処理結果は、例えば電子機器が経路検索機能を備え、経路検索して得た経路とするとよい。その経路上に撮影に影響のある登録地点が存在する場合、他の電子機器はその登録地点に関する位置情報を音情報として出力するとよい。音情報は、人に聞こえる帯域の音を利用してもよいが、人に聞こえない帯域の音を利用するとよい。
POI情報は、POIが例えばトンネル手前○○mやトンネル内○○mであれば、そこからトンネル入り口/出口位置を求め、トンネル位置で切り替えるようにするとよい。また、トンネル出口付近における感度の調整を行うためには、トンネル内を移動する車両400の現在位置を知る必要があるが、トンネル内ではGPS信号を受信できず、GPSに基づく現在位置を求めることはできない。そこで、車速センサ等でトンネルに入ってからの移動距離を求め、出口付近になると明るくするとよい。また、明るくする場合の感度の切り替えは、明暗差が激しいトンネルで口ではなく、トンネルの出口付近の内側のエリアから行うとよい。例えばトンネルの出口付近では、外の光が入り込んでおり、例えば50m或いはそれ以上奥でもある程度明るくなっている。そこでそれを見越して感度を落とすとよい。
この感度の調整も徐々に変えていき、出口で完全に外に合わせた感度にするとよい。
他の電子機器であるカーナビゲーションやレーダー探知機等に、撮影に影響のある情報(例えば明暗差が激しいトンネル入り口付近/出口付近や高架下等)をPOI情報に登録するとよく、そのように登録したPOI情報を適宜のタイミングで撮影装置100に送るとよい。またこのように他の電子機器に登録されたPOI情報を利用して、他の電子機器は、自己の表示画面の明るさを調整する機能を備えるとよい。
[14.音声情報に基づく再生機能]
撮影装置100は、受け付けた音声情報を音声認識した認識結果が、「ドラレコ映像を再生して」などの「再生」を指示する場合、常時録画を停止して、再生を開始する機能を備える。再生を指示する言葉(例えば、「ドラレコ映像を再生して」という音声)が認識されたら、「常時録画を停止します」の報知や「再生を開始します」の報知を行ってから再生を開始するとよい。
また、「常時録画を停止します」というだけだと、録画がされないことがわからないという課題がある。例えば、一旦録画を停止して再生開始とともに録画を再開すると勘違いする場合がある。そこで、撮影装置100は、「再生中は録画がされないので注意して下さい」「再生中は録画がされないので運転はしないで下さい」というような注意喚起をする機能を備えるとよい。
また、撮影装置100は、受け付けた音声情報を音声認識した結果、例えば「一時停止」の音声が認識された場合に再生を一時停止する機能、「少し戻して」の音声が認識された場合に再生箇所を数秒戻して再生しなおす機能を備えるとよい。さらに「再生終了」の音声の認識された場合に再生を終了して常時録画を開始し、常時録画状態に復帰する機能を備えるとよい。また、「再生終了」の音声の認識があったとき、「再生を終了します」や「常時録画を開始します」の報知を行ったのち、常時録画を開始し、常時録画状態に復帰する機能を備えるとよい。さらに再生を停止し常時録画を再開する際には、「運転をしてもよいです」などのメッセージを出力するとよい。
また、撮影装置100は、再生中に受け付けた音声情報を音声認識した結果、例えば「もっと明るく」のように画面の明るさの変更を指示する言葉が認識されると、制御部11は、表示部13の表示面131の画面の輝度を例えば一段階明るくする制御を行う。そして、そのときの明るさの設定を記憶保持し、音声指示で変更された後の設定状態で次回は最初から再生を行うとよい。
[15.記憶媒体500に対するフォーマット機能]
撮影装置100の制御部11は、ユーザが運転をしていないと判断される状況において、SDカード等の間記憶媒体のフォーマットに関する機能を実行するとよい。特に音声認識により「設定」「再生」「録画停止」などの指示を認識してから、一定期間の間、別の操作がなければ、「SDカードをそろそろフォーマットしたほうがよいです。」「SDカードを交換したほうが良い時期です」などの報知を行う機能を備えるとよい。また、その後の処理、例えば「フォーマットしますか」と訪ねて、「フォーマット実行」の音声が認識されたら、フォーマットを行うとよい。
[16.自動車後付けのAIドライバーアシスタント]
撮影装置100は、運転者を撮影した画像データに基づき運転者のバイタル情報を取得するバイタル情報取得手段を備え、その取得したバイタル情報を取得した際に撮影した画像データに関連付けて記録する機能を備えるとよい。これにより、例えば運転者のバイタル情報を画像データに関連付けて記録することができ、例えば録画された画像データを再生し、それに関連付けて記録された運転者のバイタル情報を確認することで、バイタル情報と運転状況の相関の解析等を行うことができる。バイタル情報の取得は、例えば非接触バイタルセンシング技術を利用し、画像データ中の運転者の肌の光反射率の変化を利用し、バイタル情報の一つである脈拍数を求め、記録するとよい。
また、記録した画像データとバイタル情報を所定の送信先に送信するとよい。また、撮影する画像データやバイタル情報は、上述した運転者のものに限ることはなく、他の同乗者は、車外にいる人のものとするとよい。
<16-1.ドライバーバイタルモニタリングシステム>
ドライブレコーダー機能、通信機能、カメラによる心拍数計測技術を搭載した装置を用いる。この装置は、撮影した画像データから求めた心拍数を画像データとともに送る機能を備えるとよい。この装置は、例えば上述した各システムを構成する撮影装置100としてもよいが、異なる装置としてもよい。そして、この装置は、運転者が運転する車両400に設置するドライブレコーダーとしてもよいが、自動運転の車両に装着するとよい。ドライブレコーダー機能は、例えば720°カメラ(例えば垂直方向360°+水平方向360°の全天球を撮影するカメラ)を備え、720°の車内外の映像を撮影し、記録するものとするとよい。
事故を起こし、加速度センサによる強い衝撃やエアバッグ開閉を検知すると、装置の制御部は、例えば消防署(例えば119番)に自動で発信し、GPSの位置情報、720°車内外の映像、心拍数を同時に送信する機能を備えるとよい。これにより、事故現場に向かう救急救命士等は事前に車内の様子と運転者等の心拍数の状況が把握できるので、より迅速な対応が可能となる。
また、運転者には周辺で事故が起きた際、救護義務が法律で定められているが、自動運転導入後はその意識が低下することが考えられる。そして、自動運転作動中に自分が乗っている車両が接触事故や人をはねる事故を発生したり、周辺での事故が発生したりした場合、自動運転の設定をオフにして自らハンドルを握り車両を道路脇に停め、救護するという動きはとっさにできないか、あるいは道路状況を把握していないので事故にすら気づかない可能性がある場合もある。係る場合、事故に遭っても怪我等した人を助けられない可能性がある。
本装置を自動運転の車両に取り付け、車外も撮影した画像データから、人を検出し、検出した人の心拍数を求め、画像データとともに消防センター等に送信するとよい。事故の発生の検出は、例えば、自車両に関係する場合には、加速度センサで衝撃を検出することで行うとよく、また、周囲における事故の発生は、例えば、衝突音や急ブレーキを掛けたときに発生するブレーキ音などを検出して行うとよい。本機導入で、事故を起こした後の安心が得られる。
また、検出画像データに金連づけて記録したり、送信したりするバイタル情報は、心拍数に限らず、カメラで撮影した映像から取得できるバイタル情報、例えば、脈拍・呼吸・体温・血圧・意識・反射などの生体が生きていることを示す徴候とするとよい。
また、バイタル情報の検出市、記録したり通知したりする際のトリガは、事故にかぎることはなく、例えば車外で倒れている人を撮影した映像からバイタル情報を取得し、異常があれば通報する機能を備えるとよい。また、バイタル情報を検出した人の存在位置が、車内か車外かを判別し、車内/車外のタグを付けて記録するとよい。また、タグ付けする種別は、人の位置に限らず、例えば検出した心拍数の高い/低いや、心拍数の実際の値等とするとよい。また、通報は、事故発生時に自動的に行うものとしてもよいが、例えば音声認識で「通報」などの指示を受け付けると、記録した画像に、取得したバイタル情報等をタグに付けて送信する機能を備えるとよい。
<16-2.トラブルモニタリングシステム>
例えば、全周囲360°の記録が可能なドライブレコーダーや、全天球カメラや半天球カメラ等の撮影範囲の広いカメラを備えたドライレブレコーダを車両400の内外に装着し、道路状況を死角無く記録できるように構成する。そして、事故やトラブルが起きた際に、自車の映像のみならず、GPSで周辺車両を割り出し、周辺車両のドライブレコーダーで撮影した画像データも抽出可能にするとよい。
現在は、事故の際に状況確認は加害者および被害者等の事故当事者の運転者の証言も活かされている。しかし、自動運転になると、運転席に座っている人も運転していないため、状況を把握していない場合がある。そこで自車の周囲の道路状況を死角無く記録した画像データに基づき、客観的な映像で事故原因や過失割合を算出することができる。さらに周辺車両のドライブレコーダーの画像も確認できるシステムを構築するとよい。また画像は改変できないよう、改変できないファイル構造で記録し、警察・保険会社のみ確認できるようにし、証拠能力を高めるとよい。
周辺のドライブレコーダーの画像の取得は、例えばWi-Fiを積んでいるドライブレコーダーは、衝撃を検知した直後に周囲にWi-Fiを搭載しているドライブレゴーダがないかをサーチし、あれば通信を確立し、直近(例えばトリガの例えば1分位前から現在まで)に記録した画像を取得し、自己の記憶媒体500に記録し、また、所定のサーバに送る。この記録した映像は、一般の汎用なビューアでは再生できない特殊なフォーマットで記録したものとするとよい。
周辺のドライブレコーダーで撮影した画像データ等を収集し、記録するため、自車両に取り付けたドラブレコーダでは記録できなかった死角や事故前後の周囲の状況を様々な角度から確認ができ、事故やトラブル発生時のより詳しい周囲の状況が確認でき、事故等の検証に役立つ。
また、自己等にともないドライブレゴーダが壊れるおそれや、処理能力の問題から、衝撃を受けたドライブレゴーダは、例えば予め登録したスマートフォンに対してその旨(例えば、周辺のドライブレゴーダ映像の取得依頼)を送り、スマートフォンが周囲の車両に搭載されたWi-Fi機能付のドライブレゴーダと通信し、映像を取得し、取得した画像データをスマートフォンに記録する。そして、スマートフォンは、取得した画像データをサーバに送り、また、消防署(例えば119番)に通報するとよい。
[17.ながら運転に関する技術]
<17-1.よそ見・居眠り映像記録>
車室内を撮影可能なドライブレコーダーにDMSの機能を実装し、また車室内を撮影可能なドライブレコーダーとDMSを連動させる。そして、例えばDMSにより、運転者のながら運転(例えばよそ見)や居眠りを検知すると警報を発するとともに、ドライブレゴーダがイベント記録としてイベント記録期間に少なくとも車室内の運転者を撮影した画像データを記録するように構成する。
ユーザが個人の場合、ながら運転や居眠りしていた状況が映像に残るので安全意識が高まる。また、事故を発生した場合、その事故のずっと前の状況が分かる。例えば、常習的にながら運転をしていたことや居眠りを連続的にしていたことがわかると、事故発生時もそのような事象の発生が推測できる。また、ユーザが法人の場合、上記に加え、映像で状況を把握できるので、より詳細に個別対応が可能となる。またイベント記録されるので映像を全てチェックすることなく管理者の負担が減る。
<17-2.ながら運転メール>
DMSが、運転者の状況を監視し、例えば、ながら運転・居眠りを設定数以上検知すると、予め登録のメールアドレスに通知する機能を備える。第三者がモニタリングしていることで、当人の安全意識が向上する。また、第三者に通知が行くことで、第三者から直接或いは所定ルートを経由して当人へ連絡し注意や休息を促すことができ、事故や違反の抑制になる。登録のメールアドレスは、自社の管理者や家族のものとするとよい。
所定期間内に所定回数以上検知した場合に通知等するとよい。例えば居眠り運転については、比較的早いタイミングで送った方がよい場合があるので、例えば5分以内に3回以上うとうとする状況を検知すると、通知するとよい。一方、ながら運転については、比較的長い期間(例えば1時間)とか、もっと長い期間(例えば1日とか、1回の走行中等)に設定回数以上ながら運転をした場合に通知するとよい。
所定期間と回数は、居眠り運転とながら運転では異ならせるとよく、それら所定期間と回数はそれぞれユーザが設定できるように構成するとよい。また、ながら運転は、走行中を条件にスマートフォンを操作している場合に計数するとよく、一時停止中の操作であっても、それが頻繁(例えば、交差点で停止する毎等)に行う場合には計数し、通知するとしてもよい。
<17-3.通信機能抑止システム(例えば業務用)>
車外には漏れないが、車内では妨害電波として有効に機能する免許不要な微弱な電波を送信するジャミング機能を備える機器を提供するとよい。特に運転席周辺を集中的に出力するように構成するとよい。そして係る機器は、単独でもよいが、DMSの機能に組み込むとよい。コンサートホール等に導入されている通信機能抑止技術を応用し、車内を意図的に圏外の状況を作り出すことができ、ながら運転の抑制効果が期待できる。ながらスマホの常習者は注意喚起だけでは抑制できないことが考えられるので、強制的に圏外にさせることで強制的にスマートフォンを触らせない状況を作り出す。運転者の行動を制限するシステムのため、法人が利用するとよい。
圏外解除は、以下に示す5つの方法をとるとよく、5つすべの解除方法が利用できるとよいが、任意に設定した1または複数の方法に限定するとよい。(1)エンジンオフ、(2)イベント記録検知、(3)解除用のパスワード手入力、(5)スマホハンズフリー検知(例えば通話のみ解除)、(5)走行停止(例えば渋滞を除く)等とするとよい。また、通話は緊急性を伴う場合もあり、通信抑制はデータ通信のみに限定するようにしたり、ユーザ設定により係る限定ができたり、できなかったりの選択ができるようにするとよい。
<17-4.音声警告カスタマイズ>
DMSは、ながら運転・居眠りを検知すると鳴る警報音をお好みで登録できる機能を備えるとよい。自分好みの警報音は、スマートフォンに登録されている音楽や記録した動画ファイルの音声部分や、所定の音声メッセージ等とするとよい。これらの警報音に関する情報をDMSに送り、DMSは送られてきた警報音等を記録するとよい。
スマートフォンは依存度が高く、通常の警報では抑制するのは難しい場合があり、本能的に訴える警報音をカスタマイズできるようにすることで、上記の抑制効果が高まる。音声メッセージは、例えば「愛娘の声」や、「ながら運転を検知、違反金○○万円」等とするとよい。
音声カスタマイズは、ながら運転のみならず、通常の製品でも「自分好みのメッセージにしたい」というニーズにマッチするのでよい。また、メッセージのみ別売オプションでデータ配信するとよい。例えば霧島レイや、有名アイドル、声優などの音声を用いるとよく、係る音声は、クラウドファンディングで資金が集まったときのみ実行すればリスクは減る。
[18.ドライブレゴーダとスマートフォンの連携]
ドライブレゴーダとスマートフォンを連携させ、同一のイベントの発生に基づき、ドライブレゴーダとスマートフォンのそれぞれから警告音、警告メッセージ等所定の音声を出力する機能を備える。イベントは例えばドライブレゴーダで検知し、ドライブレゴーダからスマートフォンへ送り、スマートフォンは、受信したイベントに基づき所定の音等を出力する。また、スマートフォンからドライブレゴーダに送るようにしてもよい。このようにすると、ドライブレゴーダ側に実装していたイベント検出用センサ類を削減でき簡素化・低コスト化できる。また、イベントはドライブレゴーダとスマートフォンの双方で検出するようにして、相互にイベント情報を送り、これに基づき双方の機器で画像の記録を行うとよい。
<18-1>
ドライブレゴーダとスマートフォンの双方から、同一のイベントに応じてそれぞれ音を出すが、双方の報知内容を異なるものとするとよい。例えば「イベント録画開始します」という同じ報知内容だと、重なると「イベ、イベ」のようになり聞き難く、タイムラグがあると2回イベント録画が行われるような感じがする。両者から発せられる報知内容を異なる内容にすることで、重なっても聞き取れるし、タイムラグがあっても1つのイベント録画であることがわかる。例えばまずドライブレゴーダは「衝撃を検知しました。イベント録画を開始します」という報知を行い、スマートフォンは、タイムラグを持たせて、ドライブレゴーダの報知が終わる頃(例えば10秒後)に「ドライブレゴーダの映像をスマホにも記録しています。」等のメッセージを報知するとよい。
また、最初に衝撃を検知した方が報知し、検知した機器が、報知が終わったという情報を相手に送ると、相手の機器が報知をするとよく、或いはイベントを受け取った相手は、受け取ってから所定時間(例えば10秒後)を経過した後に報知するとよい。
<18-2.>
ドライブレゴーダとスマートフォンの双方から、同一のイベントに応じてそれぞれ音を出し、相互にイベント情報をやりとりして、イベント情報の記録等を行うが、イベントを検出した方の機器からは音を出し、イベントを検出しておらず他の機器からイベントが送られてきた機器については音を出さないようにするとよい。このようにすると、一方からのみ音が出力されるため、音がかぶって聞きづらくなることが抑制される。
<18-3.>
イベント毎にどちらの機器から音を出すかをユーザによって設定可能とする機能を備えるとよい。このとき、音を出す機器をいずれか1つから選ぶと、それ以外の機器については自動的に音を出さない設定となるように設定項目を設けるとよい。
<18-4.>
ドライブレゴーダで検出したイベントについて、そのイベント発生の閾値よりも高い閾値に設定した報知用の閾値をスマートフォン側に設け、イベント発生の閾値を越えていても報知用の閾値を越えないイベントについては、スマホ側では報知を行わないようにするとよい。いずれの閾値もスマホアプリから設定できるようにし、ドライブレゴーダ側に送る機能を備えるとよい。
<18-5.>
ドライブレゴーダの報知用の設定言語を、アプリの設定言語に自動的に合わせる機能を備えるとよい。例えばスマホアプリやシステムの設定言語をスマホアプリが読み取り、Wi-FiやBluetooth(登録商標)でリンクしたドライブレゴーダに対して言語設定を送る。ドライブレゴーダは、メニュー画面で表示する言語や、報知する音声を、その送られてきた言語に設定する。
<18-6.>
ドライブレゴーダには音声認識機能を備えないか、音声認識機能を備えていてもスマートフォンとは異なる音声を認識する機能を備え、スマホアプリ側で音声認識した結果に基づきドライブレゴーダでの処理を行う機能を備えるとよい。ドライブレゴーダに音声認識をさせるのは負荷がかかるため、音声認識はスマートフォン側(例えばローカル/クラウドのいずれでも可)で行うとよい。
また、ドライブレゴーダから画像データが送られてきてスマートフォンでも記録する場合、認識結果のタグを記録する画像データに関連付けるとよい。また、スマートフォンをデザリングしてドライブレゴーダと接続し、車両にスマートフォンが持ち込まれたら、ルータとしてスマートフォンを使用してもよい。係る場合、スマートフォンをルーターとして使用してもよいが、ドライブレゴーダが処理をするのは不得手なので、スマートフォン側で行うとよい
[19.動画説明ポップアップモード]
例えば表示部13の表示面131に表示されるメニュー画面や設定画面等において、取り付け方法や、設定方法、名称の説明など、分からない項目があればそこを長押しすると、制御部11は、対応する説明動画を表示面131に流すとよい。取り付け方法や機能説明などは文字よりも動画の方がわかりやすい。また、スマートフォン等で検索せずに、その場でドライブレコーダー1台で完結でき、使いやすさが大幅に向上する。また、短押しでポップアップ表示で文字による説明文を表示するタイミングで、長押しするとそれに関する動画説明を再生する機能を備えるとよい。
通常は起動すると表示面131に待受画面を表示するが、工場出荷時で初めてシガーソケット等に接続し電源をオンにした場合、制御部11は、「取付動画を表示しますか? Yes No」のような動画再生確認画面を表示し、Noなら待受画面を表示し、Yesなら動画を再生する機能を備えるとよい。また、ディーラーや、オートバックス等の店舗で取り付ける場合にはNoを押し、再生を省略でき、個人のユーザが取り付ける場合にはYesを押して取り付け動画を確認できる。
取り付け方法の説明と、操作方法の説明を別の動画データとして記録保持しておき、取り付け方法は、最初の1回を表示すると2回目以降の起動時には動画再生確認画面を表示することなく動画再生もしないようにするとよい。また、1回再生した後は、「再度再生しますか?」のような確認画面を表示するとよい。或いは、取付動画については、一度Noを選択すると、それ以降は表示しないようにするとよい。
一方、操作方法については、最初にNoが選択されても、次の起動時に確認画面を表示してYesなら再生するとよい。
例えば、取付をカーショップなどで行った場合、取付動画と操作方法動画の再生確認画面では何れもNoとされる。取付は既に終了するので、次のユーザによる起動時には取付動画の再生確認画面は表示しないが、操作方法動画の再生確認画面を表示し、再生できる。操作方法動画は、例えば、所定回数起動或いは最初の起動から所定日数経過したら確認画面は表示されないようにするとよい。或いは操作方法の動画再生が終了すると、「以後再生しない」「次も再生確認する」の選択画面を表示し、そこで選択させるようにしてもよい。そしていずれの場合も、別の操作で動画を再生できるようにするとよい。
また、起動時に再生するのは、一連の操作説明動画とし、長押しはその部分のわからないところの説明動画とするとよく、それぞれを用意し記録しておき、必要な動画を呼び出して再生する。
これらの機能は、ドライブレコーダー、レーダー探知機、ポータブルカーナビゲーション等の各種の車載機器に適用するとよい。
[20.改変不可 証拠モード]
現行のドライブレコーダーは、事故など強い衝撃を検知すると別途フォルダに保存(例えばイベント記録)されるが、これを独自フォーマットにして加速度センサやGPS記録と同時に保存するとよい。この場合に再生には専用のソフトが必要になり、改変ができないため、証拠能力を有する。それにより、ドライブレコーダーの存在意義が高まるので、例えば警察による誤認交通違反対策や事故保険の支払いにも活躍する。
今までドライブレコーダーのデジタル映像は改変の可能性があるため、証拠能力は裁判員によって変わり、せっかく記録した映像が役に立たないケースもある。これに対し、本実施形態では、記録された映像は独自フォーマットのため、専用ソフトでないと再生できない。これが改変不可の保証になる。
また、改変可能な動画にするには、編集が可能な互換性のある一般的なフォーマットに変換するか、再生中の映像を動画キャプチャーする必要が生じる。しかし、一度変換した映像は、独自フォーマットに戻す手段がないため、独自フォーマット以外の映像は「改変の可能性あり」といえる。つまり、反対にいえば、独自フォーマットの映像は「改変なし」となる。これが、証拠能力を有するという保証になる。また、編集した動画をドライブレコーダーで撮影し直せば独自フォーマットで記録できるが、加速度センサやGPSデータを合わせて保存するように構成することで「改変」の有無が証明できる。これにより、裁判での証拠として提出できるほか、警察の誤認交通違反(例えば一時停止をしていた/いない。信号を無視した/していない)の対策や、事故保険の支払い等に活躍する。
[21.映像収集システム]
事故など強い衝撃を検知すると、自車のドライブレコーダーが自動で周辺のドライブレコーダーと通信し事故前後の映像を集計・保存するシステムを構成するとよい。修平のドライブレコーダーが記録した画像データは、収集した自車のドライブレコーダーに保存するとよく、さらにはサーバに保存するとよい。自車のドライブレコーダーがサーバに画像データを送信する際は、取得した画像データと自分が記録した画像データを関連付けて送るとよい。
このようにすると、自車では記録できなかった死角や事故前後の周囲の状況を様々な角度から確認ができるので、事故の検証に役立てることができる。1台のドライブレコーダーは視野が限られているため死角が存在するが、周囲のドライブレコーダーの映像を自動で収集・保存することで、死角を補い、事故やトラブル発生時のより詳しい周囲の状況の確認ができる。
[22.運転中の禁止行為の報知]
<22-1.携帯電話厳罰化告知:携帯電話を持って運転しただけで懲役刑になる可能性がある旨を報知する機能>
運転開始時(例えばACCON時、機器電源ON時)に「スマートフォンを持っての運転は犯罪です。懲役刑となる可能性があります」等と重い犯罪であることを報知するよい。また、DMSでスマートフォンを持っていることが検知されたとき、「スマートフォンを持っての運転は犯罪です。懲役刑となる可能性があります」と報知するとよい。重い犯罪であることを報知するとよい。
<22-2.イヤホン警告機能>
運転中のイヤホンが禁止されている県に入ると時、県境警告で「○○県に入りました。○○県では条例で運転時のイヤホンは禁止されています」のように報知するとよい。また、イヤホンをオンにしようとしたことを検知して警告するようにしてもよい。これにより、県によって異なるイヤホン規制を、運転者が知ることができる。
検知の方法としてはDMSやドライブレコーダーで運転者を撮影した映像を解析したり、イヤホンをオンにしようとしたことを検知、例えばスマートフォン等のイヤホンとペアリングしている機器との接続開始の検出をしたりするとよい。例えばイヤホンがONになったときに現在位置を取得し、何県にいるかを求め、規制がある場合は警報する。規制がない都道府県の場合は何もせず、上記のように所定の県境に至った際に警報するとよい。警報は、スマホアプリで現在位置から規制されているか否かを判断し、規制されている場合にはスマホが報知或いはその旨をドライブレゴーダに送り、ドライブレゴーダから報知するとよい。
運転中のイヤホンは都道府県ごとの条例によって禁止されているので、地域によって違いがある。そして以下の都道府県は運転中のイヤホンが禁止されているため、それらの都道府県名等を記憶保持し、県境に入った際に報知するとよい。例えば「運転中のイヤホンは都道府県ごとの条例によって禁止されているので、地域によって違いがあります。宮城県に入りました。宮城県は運転中のイヤホンが禁止されています。」のように音声を出力するとよい。
北海道/宮城県/福島県/新潟県/茨城県/群馬県/千葉県/埼玉県/東京都/神奈川県/山梨県/長野県/富山県/石川県/福井県/静岡県/岐阜県/愛知県/奈良県/和歌山県/滋賀県/京都府/大阪府/岡山県/鳥取県/香川県/徳島県/高知県/愛媛県/福岡県/大分県/長崎県/宮城県/鹿児島県/沖縄県
<22-3.手動運転と自動運転切替にともなう報知する機能>
自動運転から手動運転への切り替わるときにスマートフォンを使わないよう警告するとよい。運転開始時(例えばACCON時、機器電源ON時)に「自動運転が解除されているきに、スマホを持って運転するのは犯罪です。懲役刑となる可能性があります」と報知するとよい。また、手動運転モードでかつDMS等でスマホを持っていることが検知されたとき、「スマホを持っての運転は犯罪です。懲役刑となる可能性があります」と報知する機能を備えるとよい。また、自動運転から手動運転に切り替わることを検知したとき、「自動運転が解除されます。スマホを持って運転するのは犯罪です。懲役刑となる可能性があります」と報知する機能を備えるとよい。
例えば自動運転レベル3などでは、自動運転と手動運転が切り替わるが、法令上自動運転時はスマホの利用がOKであるのに対し手動運転時はスマホ利用は懲役刑もありうる犯罪行為である。上記のように構成すると、この点を、知らしめることができる。
[23.電子機器R10の構成]
図7は、電子機器R10の概要を説明する図である。電子機器R10は、車両R40に配置される電子機器であり、運転者その他のユーザに対して各種の情報を提供する。電子機器R10は、レーダー/レーザー探知機の機能を有しており、運転者の安全運転に資する情報を提供する。車両R40は、4輪自動車とするとよいが、4輪自動車に限らず、例えばバイク等の2輪車や4輪以上の大型輸送車等としてもよい。
電子機器R10は、車両R40が所定の目標物と所定の接近関係を有する場合に、ユーザに報知する報知機能を有する。所定の接近関係とは、車両R40が目標物に対して所定の距離以下まで接近している関係をいい、さらに、車両R40の進行方向、又は進路上に目標物が存在し、かつその目標物に対して所定の距離以下まで接近している関係をいうようにしてもよい。目標物として、例えば、車両の速度取締が行われる地点である速度取締地点がある。速度取締地点には、速度測定装置が設置されることがある。電子機器R10は、速度測定装置から発せられる取締波を受信する。取締波は、車両の速度を測定するための電磁波で、測定波、速度測定信号等と称呼されてもよい。速度取締地点は、車両R40の走行状況(例えば、車両が速度を出しやすいこと)、交通事故の発生状況(例えば、事故の発生数が多い地点)等の状況を勘案して、決定される。速度取締地点の一例は、例えば、車両が走行する路線(例えば道路)のうち、一般道や、直線状の道路、カーブ又はカーブの先の地点等に存在する。速度測定装置としては、固定式、移動式等と呼ばれるもの等、多数存在する。移動式は、例えば、可搬式および車両に搭載される方式がある
電子機器R10は、本体部R101と、固定部R102と、に大別される。本体部R101は、固定部R102を用いて所定の設置位置に固定される。本実施形態では、設置位置は、車両R40のダッシュボードR41の上面である。固定部R102は、本体部R101の下に設けられ、本体部R101を所定の設置位置に固定させるための固定部材である。固定部R102は、ブラケットとも呼ばれる。
図8は、本体部R101の外観構成を示す図である。図8(A)は、本体部R101を正面側の右斜め上方向から見た図である。図8(B)は、本体部R101を背面側の左斜め上方向から見た図である。
本体部R101は、筐体R1011を有する。筐体R1011は、上下よりも左右に長く、かつ厚みが比較的小さい直方体状である。筐体R1011は、例えば樹脂又はその他の材料で形成されている。筐体R1011の正面側には、上下よりも左右に長い長方形の開口部が設けられている。本体部R101は、この開口部の位置で画像を表示するための表示部R13、及び表示部R13の表示領域に重ねられたタッチセンサR191を有する。本体部R101は、その正面側の表示部R13の左側の位置に、照度センサ窓R201、及び発光部R24を有する。発光部R24は、上下方向を長手方向とした発光領域を有する。筐体R1011の右側面には、記憶媒体挿入口が設けられている。この記録媒体挿入口を介して、本体部R101に対して、記憶媒体R50が装着される。記憶媒体R50は、例えばSDカードである。SDカードは、例えば、SDメモリカード、miniSDカード、及びmicroSDカード等のいずれの形状も含む。
筐体R1011の背面側には、レンズホルダR1012が設けられている。レンズホルダR1012は、筐体R1011の内外を貫通する貫通孔で、レンズR121を保持する。レンズR121は、集光用のレンズである。レンズR121は、本実施形態では、上下よりも左右よりも長い楕円形状で、光の入射面が非球面状であるアスフェリックレンズ(例えばエスフェリックレンズ)と呼ばれるレンズであるが、他の集光用のレンズが用いられてもよい。筐体R1011の背面側の下端付近であって、筐体R1011の左右方向の中心付近には、取付部R1013が設けられている。取付部R1013は、固定部R102が取り付けられる部位である。取付部R1013は、それぞれが上下に延びている一対の溝部を有する。筐体R1011の背面側には、さらに、電子機器R10の電源のオン/オフを切り替えるための電源スイッチR221、及び外部の装置を接続するための端子部R23が設けられている。
図9は、固定部R102の外観構成を示す図である。図9(A)は、固定部R102を正面側の右斜め上方向から見た図である。図9(B)は、固定部R102を正面側の左斜め上方向から見た図である。
固定部R102は、固定部材R1021を用いて設置位置に固定され、台座部1022と、ソケット部1023と、ボールスタッドR1024と、装着部材R1025とを有する部材である。台座部R1022は、設置位置(例えば設置面)に固定される部位である。台座部R1022の底面が、例えば粘着シート又は両面テープ等の固定部材R1021を用いて設置位置に貼り付けられる。台座部R1022は、正面側に開口した空間を有するソケット部R1023を有する。ソケット部R1023は、ボールスタッドR1024が有するボール部が装着される。ソケット部R1023と、ソケット部R1023に装着されたボールスタッドR1024とにより、ボールジョイント機構が構成される。ボールスタッドR1024は、外力を受けて、ソケット部R1023に装着された状態で、上下、及び左右に姿勢を変化させる。ボールスタッドR1024のうちの正面側の部位には、装着部材R1025が設けられている。装着部材R1025は、本体部R101の取付部R1013に装着される。装着部材R1025は、正面から見て左右の両側に、正面側に突き出す一対の突出部を有する。この一対の突出部が、本体部R101の取付部R1013の一対の溝部に挿入されることで、本体部R101の固定部R102への取り付けが完了する。本体部R101は外力を受けて、固定部R102に装着された状態で、上下左右に姿勢を変化することができる。これにより、ユーザは本体部R101を所望する姿勢に固定した状態で、電子機器R10を利用することができる。
図10は、電子機器R10の電気的構成を示すブロック図である。制御部R11は、フロントカメラR100の各部を制御する。制御部R11は、電子機器R10の各部を制御する。制御部R11は、例えば、プロセッサR111、及びメモリR112を含むコンピュータである。プロセッサR111は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application-Specific Integrated Circuit)、及びFPGA(Field Programmable Gate Array)の少なくともいずれかを有する。メモリ112は、例えば、RAM(Random Access Memory)、及びROM(Read Only Memory)等を有する主記憶装置である。プロセッサR111は、メモリR112のROM又は記憶部R25から読み出したプログラムをRAMに一時的に記憶させる。また、メモリR112のRAMは、プロセッサR111に作業領域を提供する。プロセッサR111は、プログラムの実行中に生成されるデータをRAMに一時的に記憶させながら演算処理を行うことにより、各種の制御を行う制御部R11は、さらに、時刻を計る計時部R113を備える。計時部R113は、例えばリアルタイムクロックである。計時部R113は、プロセッサR111のマザーボードに実装されていてもよいし、プロセッサR111に外付けされてもよい。
受光部R12は、レーザー方式に対応した速度測定装置から、取締波としてのレーザー光を受光するための受光部である。受光部R12は、レンズR121を介して入射した光を受光して、その受光した光に応じた信号を、制御部R11に出力する。受光部R12は、レーザー光のうちの可視光をカットするフィルタ等の光学部材をさらに有してもよい。受光部R12が出力する信号は、例えば受光部R12の受光量に応じて変化する。受光部R12は、例えば受光素子としてフォトダイオードを備えるが、フォトトランジスタ又はその他の受光素子であってもよい。受光部R12は、受光素子を2つ以上備えてもよい。受光部R12は、少なくとも赤外光領域に感度を有するとよい。受光部R12は、さらに受光素子からのアナログ信号をデジタル信号に変換するA/D変換回路等を有してもよい。
表示部R13は、画像を表示する。表示部R13は、例えば3.2インチのカラーTFT液晶ディスプレイである。液晶ディスプレイは、例えばIPS(In Plane Switching)式である。表示部R13は、有機EL(Electro Luminescence)ディスプレイ又はその他の方式の表示装置でもよい。
音声出力部R14は、音声を出力する。音声出力部R14は、例えば音声処理回路及びスピーカを有する。
レーダー受信部R15は、レーダー方式に対応した速度測定装置から、取締波としてのレーダー波を受信する。レーダー波は、例えば、所定のマイクロ波、所定のステルス取締器が計測する瞬間だけ電波を発射するステルス波、通常レーダー波、Kバンド及びXバンドに対応する新型レーダー波、及びキャンセル告知がある。レーダー受信部R15は、例えばアンテナ及び受信回路を有する。
無線受信部R16は、所定の周波数の無線信号を受信する。この所定の周波数の無線信号は、速度取締地点の周辺を伝搬することがあるもので、速度取締地点の存在を示す取締波の一例である。この所定の周波数の無線信号は、例えば、取締無線、カーロケ無線、デジタル無線、特小無線、所轄系無線、警察電話、警察活動無線、レッカー無線、ヘリテレ無線、消防ヘリテレ無線、消防無線、救急無線、高速道路無線、警察無線等の周波数に属する無線信号がある。無線受信部R16は、例えばアンテナ及び受信回路を有する。
位置情報取得部R17は、電子機器R10の位置(例えば現在位置)を示す位置情報を取得する。電子機器R10の位置は、電子機器10が配置された車両R40の位置、及び車両R40に乗車している運転手その他の人(例えば乗員)の位置と同視することができる。位置情報取得部R17は、例えば、GNSS(Global Navigation SatelliteSystem:全球測位衛星システム)の一つであるGPS(Global Posisioning System)からの信号に基づき、電子機器10の位置情報(例えば緯度情報、及び経度情報)を取得する。位置情報取得部R17は、QZSS(Quasi-Zenith Satellite System:準天頂衛星システム)として、みちびきを併せて利用してもよい。位置情報取得部R17は、4G、5G通信その他の基地局装置からの信号に基づいて、位置情報を取得してもよい。
通信部R18は、外部装置と通信する。通信部R18は、例えば、Wi-Fi(登録商標)、Bluetooth(登録商標)その他の無線LAN(Local Area Network)通信や近距離無線通信により、外部装置と無線通信する。外部装置は、例えば、スマートフォンやタブレット型コンピュータその他の車両40内の通信端末である。通信部R18は、例えば、LTE(Long Term Evolution)、4G、5G等の移動通信システムの規格等に準拠した通信を行うための通信回路を有してもよい。
入力部R19は、ユーザからの情報の入力を受け付ける。入力部R19は、タッチセンサR191と、マイクロホンR192と、を有する。タッチセンサR191は、ユーザの操作の入力を受け付ける。タッチセンサR191は、ユーザによりタッチされた位置を検出する。タッチセンサR191は、例えば静電容量方式である。マイクロホンR192は、入射した音を電気信号に変換する。マイクロホンR192は、例えばコンデンサマイクである。入力部R19は、これ以外にも、音量調整ボタン、及び作業用ボタン等の物理ボタンを備えてもよい。
センサ部R20は、各種のセンサを有する。センサ部R20は、例えば、加速度センサ、ジャイロセンサ、気圧センサ、温度センサ、湿度センサ、及び照度センサの少なくともいずれかを有する。加速度センサは、例えば車両の前後、左右、上下の加速度を検出する3軸の加速度センサである。ジャイロセンサは、電子機器R10の傾きを検出するセンサである。加速度センサ及びジャイロセンサは、例えば、GNSS衛星からの信号が受信できない場合に、自律航法により車両R40の位置を推測するのに使用されてもよい。気圧センサは、気圧を測定する。気圧センサは、例えば、高低差を検知して、高速道と一般道を判定するために用いられる。温度センサは、温度を検知する。湿度センサは、湿度を検知する。照度センサは、照度センサ窓R201を介して入射した光に基づいて、電子機器R10の周辺である車室内の明るさを示す照度を検知するセンサである。照度センサは、例えば表示部R13の表示の輝度の調整に使用される。
装着部R21は、記録媒体挿入口から挿入された記憶媒体R50を保持する媒体保持部として機能する。装着部R21は、記憶媒体R50にデータを書き込んだり、記憶媒体R50からデータを読み出したりする。装着部R21は、記憶媒体50を1つだけ保持するものでもよいが、2つ以上の記憶媒体50を同時に保持することが可能に構成されてもよい。
電源制御部R22は、電子機器R10の各部への電力の供給を制御する。電源制御部R22は、例えば、電源スイッチR221や電源制御回路を有する。電源制御部R22は、端子部R23を介して車両R40側から供給された電力を、電子機器R10の各部に供給する。電源制御部R22は、さらに、蓄電手段として、二次電池やボタン電池、電気二重層コンデンサ(例えばスーパーキャパシタとも呼ばれる。)を有してもよい。
端子部R23は、外部の装置と電気的に接続するための端子である。端子部R23は、外部の装置から電力の供給を受けるための端子である。端子部R23は、例えばminiUSBの規格に準拠した端子を有する。端子部R23は、電源用のコード(例えば、シガープラグコード)の一端側のコネクタが接続される。電源用コードの他端側のコネクタは、例えば車両R400側に設けられた給電用の端子(例えば、シガーソケット)に接続される。
端子部R23は、車両R40のOBDII(「II」は「2」のローマ数字である。)コネクタに接続可能なOBDIIアダプタが接続されてもよい。OBDIIコネクタは、故障診断コネクタとも称され、車両のECU(Engine Control Unit)に接続され、所定の期間毎(例えば、0.5秒毎)に各種の車両情報が出力される端子である。端子部R23が、OBDIIアダプタを用いてOBDIIコネクタと接続されることで、電子機器R10は、動作用の電力の供給を受けるとともに、車両情報を取得することができる。
車両情報は、車両R40の状態に関する情報である。車両情報は、例えば、車両R40の速度(例えば車速)、エンジン回転数、エンジン負荷率、スロットル度、点火時期、残り燃料の割合、インテークマニホールドの圧力、吸入空気量(MAF)、インジェクション開時間、エンジン冷却水の温度(例えば冷却水温度)、エンジンに吸気される空気の温度(例えば吸気温度)、車外の気温(例えば外気温度)、燃料タンクの残り燃料の量(例えば残燃料量)、燃料流量、瞬間燃費、アクセル開度、ウインカー情報(例えば左右のウインカーの動作(例えばON/OFF))、ブレーキ開度、ハンドルの回転操舵角、ギヤポジション、及びドア開閉状態の情報等の少なくとも1つ以上とするとよい。
端子部R23に接続される装置として、車両R40側からの給電がなくても、電子機器R10が動作できるように、外付けのバッテリが用いられてもよい。端子部R23に接続される装置は、例えば、ユーザの安全運転を支援する機能を有する装置であってもよい。このような装置として、例えば、運転手(例えば顔)を撮影して、わき見及び居眠り運転に例示される運転手の状態を検出して報知する機能を有する装置や、車両R40の周辺の障害物を検知して報知する機能を有する装置(例えば、前方車両追突警報システム(FCWS:Forward vehicle Collision Warning Systems)のための車両検知に使用される装置)がある。端子部R23に接続される装置は、その他にも、ドライブレコーダーに例示される撮影装置、カーナビゲーション装置、ディスプレイ装置等の車載装置としてもよい。
発光部R24は、所定の色で発光する。発光部R24は、例えば発光ダイオードを含む。
記憶部R25は、データを記憶する。記憶部R25は、例えば、制御部R11が各種の制御を行うためのプログラムを記憶する。制御部R11は、記憶部R25からプログラムを読み出して実行する。記憶部R25は、さらに、地図を示す地図データ、目標物の種類やその位置情報、目標物の存在を報知するためのデータ(例えば、効果音やBGM、音声メッセージ等の音声データ、写真や模式図等の画像データ、等)、電子機器R10がナビゲーション機能を有する場合のルート案内機能を実現するためのデータ、待受画面を表示するためのデータ等を記憶する。目標物は、例えば、速度測定装置(例えばレーザー方式、レーダー方式、ループコイル式、Hシステム、LHシステム、光電管式、移動式等)のほか、居眠り運転事故地点、制限速度切替りポイント、取締エリア、検問エリア、駐禁監視エリア、Nシステム、交通監視システム、交差点監視ポイント、信号無視抑止システム、警察署、事故多発エリア、車上狙い多発エリア、急/連続カーブ(高速道)、分岐/合流ポイント(高速道)、ETCレーン事前案内(高速道)、サービスエリア(高速道)、パーキングエリア(高速道)、ハイウェイオアシス(高速道)、スマートインターチェンジ(高速道)、PA/SA内 ガソリンスタンド(高速道)、トンネル(高速道)、ハイウェイラジオ受信エリア(高速道)、県境告知、道の駅、ビューポイントパーキング等がある。
記憶部R25には、電子機器R10の製品出荷時に、目標物(例えば、経度・緯度を含む位置情報、目標物の種別情報等)に関する情報が登録されている。制御部R11は、その後に追加される新規な目標物に関する情報を、装着された記憶媒体R50から取得し、又は通信部R18を用いて通信により取得し、取得した情報を、記憶部R25に記憶させる。このように、制御部R11は、新規な目標物に関する情報等についての更新情報を、記憶部R25に記憶させる機能を有すると尚よい。
なお、記憶部R25は、例えば、フラッシュメモリ(例えばeMMC、SSD)に例示される各種の記憶媒体を用いて実現された補助記憶装置とするとよい。記憶部R25は、光学式記憶媒体、磁気記憶媒体、及び半導体記憶媒体に例示される各種の記憶媒体を用いて実現されてもよい。
[24.電子機器R10の報知機能]
電子機器R10の報知機能は、受光部R12、レーダー受信部R15、無線受信部R16、及び位置情報取得部R17等を用いて、ユーザに情報を報知する機能である。報知機能は、POI(Point of interest)と呼ばれる目標物に関する情報を報知する機能である。報知機能は、例えば、以下で説明する機能を有する。報知機能による報知は、表示部R13への表示、音声出力部R14による音声の出力、発光部R24の所定の発光、及びその他の人が知覚可能な方法のいずれかを用いて行われる。
制御部R11は、レーザー警報機能を有する。具体的には、制御部R11は、受光部R12を用いて、レーザー方式に対応する速度測定装置から、速度測定用のレーザー光を受光したと判定した場合に、警報を発する警報制御を行う。レーザー方式に対応するレーザー光は、特定波長の光で、所定のパルス幅を有するパルスレーザーである。特定波長は、例えば赤外光領域に属し、その波長は例えば850nm、905nm、950nm、又は1900nmである。パルス幅は、例えば略20ns又は略15nsである。パルス間隔は、例えば、略80msである。「略」は、基準となる値と同一又はその値と実質的に同一とみなせる所定範囲内とするとよい。制御部R11は、例えば、レーザー方式に対応するレーザー光が受信されたと判定した場合には、記憶部25に記憶されたレーザー方式に対応する速度測定装置の模式図又は写真を表示部R13に表示させるとともに、記憶部R25に記憶された音声データを読み出して「レーザー光を受信しました。スピード注意」という音声メッセージを、音声出力部R14から出力する。
制御部R11は、レーダー警報機能を有する。具体的には、制御部R11は、レーダー受信部R15によって速度測定装置からのレーダー波を受信したと判定した場合に、警報を発する警報制御を行う。制御部R11は、例えば、速度測定用のレーダー波が受信されたと判定した場合には、記憶部R25に記憶されたレーダー方式に対応する速度測定装置の模式図又は写真を表示部R13に表示させるとともに、記憶部R25に記憶された音声データを読み出して「レーダーです。スピード注意」という音声メッセージを、音声出力部R14から出力する。
制御部R11は、無線警報機能を有する。具体的には、制御部R11は、無線受信部R16によって所定の周波数の無線信号を受信したと判定した場合に、警報を発する警報制御を行う。制御部R11は、上述した各種無線信号に対応する周波数をスキャンする。制御部R11は、スキャンした周波数で、無線信号を受信したと判定した場合には、記憶部R25に無線種別ごとに記憶されたその周波数に対応する無線を受信した旨の模式図又は写真を表示部R13に表示させるとともに、記憶部R25に無線種別ごとに記憶された音声データを読み出して、音声出力部14からその無線の種別を示す音声を出力する。制御部R11は、例えば、取締無線を受信した場合には、「取締無線です。スピード注意」のような音声メッセージを出力する。
制御部R11は、位置警報機能(例えば一般的には、GPS警報と呼ばれる。)を有する。具体的には、制御部11は、記憶部R25に記憶された目標物の位置情報と、位置情報取得部R17が取得した位置情報とに基づいて、警報を発する警報制御を行う。制御部R11は、例えば、目標物の位置情報と電子機器R10の位置情報との距離を算出し、算出した距離が所定の接近距離になった場合に、警報制御を行う。制御部R11は、例えば、高速道路の走行中は、目標物まで2kmに接近した場合に警報制御を行い、そのほか、目標物まで1km、500m、直前、通過と判定した場合に、警報制御を行う。制御部R11は、例えば、トンネル内の速度取締地点については、高速道路の走行中は目標物まで2kmに接近した場合に警報制御を行い、そのほか、目標物まで1km、500mと判定した場合に警報制御を行う。制御部R11は、表示部R13に警報画面を表示し、音声出力部R14から効果音、BGM、音声メッセージ等の音声を出力する。
位置警報機能で警報制御の対象とする目標物としては、速度取締地点のほか、例えば、ネズミ捕りエリア、移動オービスエリア、追尾式取締りエリア、一時停止取締エリア、交差点取締エリア、その他取締エリア、シートベルト検問エリア、飲酒検問エリア、携帯電話検問エリア、その他検問エリア、交差点監視ポイント、信号無視抑制システム、高速道交通警察隊、Nシステム、交通監視システム、警察署、事故多発エリア、サービスエリア、パーキングエリア、ハイウェイオアシス、高速道長/連続トンネル、ハイウェイラジオ受信エリア、道の駅、ビューポイントパーキング、駐車場、公衆トイレ等がある。
なお、制御部R11は、上述した複数の報知機能のうち、ユーザにより設定された報知機能のみを動作させてもよい。また、複数の報知機能のそれぞれに又は報知の対象物となる目標物のそれぞれに、電子機器R10の設計段階又はユーザの設定により、優先度が設定されていてもよい。この場合、制御部11は、優先度の高い報知を優先的に発するようにし、例えば、優先度が低い報知よりも優先度が高い報知を目立たせたり、優先度が低い報知と優先度が高い報知とが競合した場合は、優先度が高い報知のみを行ったりしてもよい。
なお、電子機器R10は、取締波を受信する機能と、取締波を受信したことに応じて報知する報知機能とを有する電子機器であるが、これらの機能を互いに別の電子機器に搭載してもよい。この態様の一例である図11(A)に示す構成では、第1の電子機器R103は、取締波を受信する機能と、その受信結果に応じた信号を外部に出力する機能と、を有する。第1の電子機器R103は、アンテナ部とも呼ばれる。第2の電子機器R101Aは、第1の電子機器R103から出力された信号を取得し、この信号に基づいて、第1の電子機器R103で取締波が受信されたことに応じて報知する報知機能を有する。第1の電子機器R103と第2の電子機器R101Aとは、例えば有線の通信路(例えば、図11(A)に示すケーブルR104)により接続されるが、無線の通信路により接続されてもよい。報知は、例えば、表示、音、及び光の少なくともいずれかによる報知を含まなくてもよい。この態様の一例である図11(B)に示す構成では、電子機器R101Bは、表示部を有しない。電子機器R101Bは、正面側に設けられた放音孔R105から音声を出力したり、発光部R106を発光させたりして、報知を行う。また、電子機器は、ダッシュボード上とは異なる設置位置として、例えば車両のフロントガラス(例えば、フロントガラスにおける上端付近)、又は車両のルームミラーや車室内の天井等を設置位置とする電子機器としてもよい。この態様の一例である図11(C)に示す構成では、電子機器R101Bが、固定部R102に代えて、取付部材R107を用いてフロントガラスに固定される。取付部材R107は、例えば金属製の板状部材を用いて形成されている。また、電子機器は、複数の設置位置の候補の中からユーザが選択したいずれかの設置位置に固定できるように構成されていてもよい。
[25.音声を用いた警報のON/OFF制御]
電子機器R10、第2の電子機器R101A、電子機器R101B等のレーダー探知機やレーザー探知機に、マイクロホンR192で拾った音声情報に対して音声認識した認識結果に基づき警報のON/OFFの制御を行う機能を備える。撮影装置100のドライブレコーダーと同様に、音声認識処理は、音声情報を音声認識を行うクラウドに送り、認識結果を取得するようにしてもよいが、各電子機器に音声認識プログラム等を備えローカルで音声認識を行うとよい。
そして、電子機器R10等は、「23.電子機器R10の報知機能」で記載したように、所定の報知条件を満たした場合には、警報を鳴らす機能を有する。そして、警報が鳴った際に、ユーザが不要と感じた場合、音声でOFF設定を行う機能を有する。例えば、ユーザは、警報が不要な場合に「ユピテル! 今の警報OFFにして」や「ユピテル 警報OFFにして」等の警報をオフする指示を発する。そして電子機器R10等は、ユーザの発した言葉の認識結果を受け、現在鳴っている警報を停止する。さらに、制御部R11は、鳴らした警報が何を原因とした警報かを特定し、その原因に基づく警報の出力設定をOFFにする。その原因に基づく警報の出力設定をOFFにするのは、例えば、現在の位置情報と関係づけ、その位置情報に基づいて設定される所定エリアで同じ原因に基づく警報を鳴らさないようにしてもよいが、位置に関係なくそれ以降は設定でONに替えるまでその原因に基づく警報が鳴らないようにするとよい。
警報のON/OFFの制御は、例えば画面タッチ等に基づいて設定をする機能を備えているものがあるが、本実施形態では、走行中に音声だけで設定ができる。簡単に設定ができるので、警報を細かくカスタマイズできる。
「警報が鳴った際」は、警報が鳴っている間に受け付けた指示のみ有効にするとよいが、警報が鳴り終わってから所定時間の間は受け付け、所定時間を超えたら受け付けないようにするとよい。また、そのように鳴り終わった後に受け付ける場合、鳴っている間は受け付けないようにするとよい。例えば警報中は、警報の音とユーザの指示が混在し誤認識するおそれもあり、警報が終わってから受け付けることで正しく指示を受けつることができる。また、鳴り終わってから所定時間というように固定値にしてもよいが、警報が鳴り終わってから、次の警報が鳴るまでは受け付けるようにするとよい。このようにすると、オフ対象にする警報の原因を特定しやすくなる。
本実施形態では、警報のON/OFFの制御は、レーダー探知機/レーザー探知機等の電子機器に実装した例を説明したが、これに限ることはなく、例えば、ポータブルカーナビゲーションや、上述したドライブレコーダー、レーダー探知機等の一部または全部の警報機能等を備えるとともに、音声に基づく警報のON/OFFの制御機能を実装するとよい。これは、以下に示す実施形態についての適用も同様である。
[26.音声を用いたスポット登録]
電子機器R10等に警報対象のPOIが登録されておらず警報がなっていない場所でユーザが警報を鳴らしたい場合、音声でPOIの位置登録をする機能を備える。報知対象を音声に基づいて登録することができる。例えば、運転中でハンドルから手を離すことなく登録でき、走行中であっても安全に報知対象を登録できる。そして登録した以降、音声に基づいて登録した報知対象に接近した際に報知することができる。
また、音声に基づく警報対象を登録する際に、警報の種類をさらに指定できる機能を備えるとよい。例えば、ユーザが発した「ユピテル!警報登録」の音声を認識した制御部R11は、例えば「どの警報を登録しますか?」という音声での問い合わせを行う。この問い合わせの後、一定の期間内に受け付けた音声の認識結果が、警報の種類の場合、その受け付けた警報の種類をPOIの位置情報と関連付けて登録する。また、制御部R11は、認識した警報の種類を復唱するとよい。このようにすると、ユーザは、自分が意図した警報の種類でPOIの登録ができたか否かを直ぐに確認できる。例えば、「どの警報を登録しますか?」という問いに対して例えば「オービス」と回答した場合、例えば「オービスで登録しました」と復唱するとよい。
このようにすると、個人的に登録しておきたい場所を設定でき、メーカが用意したデータにはないが登録して警報を鳴らしておきたい場所を登録し、以降の通過時に警報を鳴らすことができる。例えば、最近よく取締をしている場所、自転車が飛び出して来やすい交差点など、今まで経験と勘に頼っていたところを登録するとよい。また、更新データでは追い付かない最新情報を補完できる。
但し、音声によりPOIを登録とした場合には、音声を受け付けた際には既に実際の地点を通過している場合がある。そこで予め登録されたPOIと、音声登録されたPOIに基づく位置警報は、取り扱いを変え、警報の表示や警報の内容を変えるとよい。予め地点登録された報知対象(例えばPOI)に接近した際に報知する報知と、音声に基づいて登録した報知対象(例えばPOI)に対する報知を異なる対応で行うように構成するとよい。音声により登録した報知対象に対する報知であることがわかるように報知されるので、ユーザは、現在報知された報知対象が、予め地点登録されたものに基づくものか、ユーザが登録したものに基づくかを理解できる。
異なる対応は、例えば、報知のメッセージを変えるとよい。例えば、通常は「1km先オービスです」とするところ、「(オービスを)音声登録した場所の1.5km手前です」のように言い方を変えるとよい。また、「音声登録した目標物に接近しています」「周辺、登録警報[オービス]です」のように具体的に音声登録に基づくものであることを発するとよい。
また予め地点登録されている報知対象に対する接近警報は、報知対象までの距離とともに接近していることを報知し、音声に基づいて登録した報知対象に対して接近する場合には報知対象までの距離を報知しないようにするとよい。音声情報に基づいて報知対象を登録した場合、例えばその位置情報が実際の位置とずれていたり、例えば必ずしも具体的な位置を報知したいわけではなくその付近にいることを知らせたりしたい場合があり、距離を報知しないことで誤った情報を報知してしまうことを抑制できる。
また、報知を行うタイミングを変えるとよく、例えば、音声に基づいて登録した報知対象をより遠くから報知を開始するとよい。例えば、元々記録されているオービスに基づく警報は1km手前から行う場合に、音声で登録した警報は、通常よりも手前側(例えば1.5km手前等)から警報を発するとよい。例えば、走行中に音声で地点登録を指示した場合、目標物を通過し所定距離だけ既に走行している場合があるが、より手前から報知することで、実際の目標物の適度な手前で接近警報をすることができる。
[27.音声を用いたミュート指示]
電子機器R10等が音声案内をしている際に、例えばユーザが「ユピテル!ミュート」のようにミュート指示を音声で発した場合、それを音声認識して指示を受け付けた制御部R11は、現在出力中の音声案内を消音する。また、消音中に「ユピテル!音声案内」等の音声が入力されると、その認識結果に基づき制御部R11は、消音を解除し音声案内を出力する。音声の指示に基づき、ミュートしたりミュート解除したりでき、運転中でも安全に指示できる。例えば通話時や会話時、サイレンが近づいているとき、音楽を集中して聴きたいときなど、「余計な音を消したい」際に役に立つ。
[28.機種間連動操作]
スマートスピーカーや携帯端末に実装された人工知能を用いた音声アシスタント機能のように音声を発する機器から、上述した各実施形態の装置の操作が行えるようにするとよい。例えばユーザがスマートフォンの音声操作でレストランを見つけた場合、ユーザがそのスマートフォンに向けて「OK、○○、目的地のレストランの位置を△△に音声で転送して」と発話する。ここで、○○は、人工知能を用いた音声アシスタント機能を起動するためのボイストリガであり、△△は、ユーザ所有の装置(例えばポータブルカーナビゲーション)を特定する言葉である。すると、この発話を受けて、スマートフォンに実装された人工知能を用いた音声アシスタント機能が起動し、発話の指示に従いそのレストランの位置を特定する情報を音声で出力する。
一方、PNDは、上述したドライブレコーダーやレーダー探知機/レーザー探知機等と同様に音声認識の認識結果に基づき所定の処理を行う機能を備えており、スマートフォンから音声出力された目的地の位置を特定する情報を用いた音声認識受け取り、その受け取った音声の情報を音声認識した結果(例えば、テキスト化された目的地のレストランの位置を特定する情報)に基づき、経路探索を行い、探索結果を表示する。スマートフォンからポータブルカーナビゲーションへの情報の伝達は、音声を用いて行えるため、スマートフォンの音声アシスタント機能は、ポータブルカーナビゲーションへ伝える内容を音声出力するだけでよく、通信の確立などの手続きも不要で処理を容易に行える。
また、スマートフォンの音声アシスタント機能がスマートフォンのスピーカから出力する音は、人が聞き取り可能な可聴範囲のものでもよいが、人に聞こえない周波数、20kHz以下の音を利用するとよい。
現在、音声操作はあらゆる機器で導入されつつあり、例えばスマートフォン、カーナビゲーション、車自体等も音声操作が可能になってきているものがある。一方、装置・機器等ごとに呼び出し方が異なり、これ以上音声操作対応の機器等が増えると却って不便になるおそれもある。そこで、ある機器に設定をしたら、その機器に音声に基づく指示を与えると、その機器が指示の基づく処理を実行し、その実行結果に基づき、その機器が別の機器に対して音声で指示を与えるように、複数の機器同士が音情報で繋がりながら処理を進められるようにするとよい。
[29.スピード取締事前告知看板読取りシステム]
レーダー探知機にカメラを備えるとよく、例えばカメラで撮影している映像を画像解析し、走行中に、オービス(登録商標)などの撮影を伴うスピード取締り場所の手前に掲出される「事前告知看板」を検出する機能を備える。「事前告知看板」を探知するとレーダー探知機で警報を流す。これにより、運転者へ注意を促すことができる。例えば、レーダー波・レーザー光の受信に基づく警報を行う場合、例えば順の条件と限界や、誤報を生じる場合がある。そこで、カメラで事前告知看板が読み取り、警報を発することで、レーダー波・レーザー光が受信できない長距離からでも警報が可能となる。また、その情報と受信を組合せれば警報精度の大幅な向上と誤報の削減につながる。
[30.映像から運転者の性別を推定してナビ、レーダー探知機の設定を変更]
車室内を撮影する撮影装置で撮影した運転席の座っている人の顔が存在する領域の画像に基づき、運転者の性別を推定する機能を備え、男性専用の施設/女性専用の施設のPOIが登録されている場合、対応する性別のものPOI以外は報知しないようにするとよい。車室内を撮影可能な撮影装置で撮影した画像データは、カーナビゲーションやレーダー探知機が備えてもよいが、例えばドライブレコーダー等の他の電子機器が撮影した画像データを用いたり、その電子機器が求めた性別の情報を取得して利用したりしてもよい。性別の譲歩を取得する場合、有線通信や無線通信を利用してもよいが、音声情報で伝えるとよい。
先に記載した撮影装置100等のドライブレコーダーは、電子機器R10等のレーダー探知機/レーザー探知機の一部または全部の機能を備えるとよい。
[31.定額サービス]
ドライブレコーダー、レーダー探知機、ポータブルカーナビゲーション等をユーザは定額で利用できるサブスクリプションサービスを提供するとよい。例えばドライブレコーダーを定額で貸し出す場合、例えば、「最新モデル利用プラン」「型落ちプラン」「お試しプラン」の3つのプランを用意し、利用者は、契約したプランに応じたサービスの提供を受ける。
例えば最新モデル利用プランの場合、利用者は○○カ月契約のように予め定めた一定期間利用する契約を結び、毎月決まった額を支払う。すると、ユーザは、最新のドライブレコーダーが常に利用できるプランである。そして、使用から決まった月数を経過すれば、最新型に入れ替えることが可能となり、契約が終わればそのまま最後に使用していたドライブレコーダーをそのままプレゼントしたり、契約期間の間に購入するオプションも用意するとよい。また、利用料金には、取付工賃込みとするとよい。ドライブレコーダーを車両に設置する場合、適切な位置に取り付けたり、配線の引き回し等慣れていないと煩雑であり、カーショップ等では有料で取付作業を提供しており、比較的高額な販売価格にさらに取付工賃がかさむと、購入意欲のネックとなるが、取付工賃込みにすることで、係る心理的な障壁がなくなる。
また、安いプランとしては、型落ちモデルを利用する「型落ちプラン」や、契約期間は短くなるが、製品を試せる「お試しプラン」等を用意し、利用者が自分に合ったプランを選択することで、利用しやすくなる。
すなわちドライブレコーダーの普及率は年々高まっており、また、必要性は十分に認知されましたが、普及率は伸び悩んでいる。この理由のひとつにドライブレゴーダが高価格帯であるのが挙げられる。そこで、サブスクリプションサービスを提供することで、利用者並びにメーカがそれぞれ以下に示すメリットを有し、Win-Winの関係になり、普及率の向上が期待できる。
<利用者のメリット>
1:イニシャルコストが抑えられる。
2:日進月歩に進化するドライブレコーダーを常に最新のものが利用できる。
3:購入前のお試しとして利用でき、購入した際のリスクが抑えられる。
<メーカのメリット>
1:新規導入の壁を下げる。定額プランを使い続けると、どこかのタイミングで買った方が安い状況になり、購入意欲が発生する。このとき使い慣れた製品を買う可能性が高くなる。
2:継続的な売上が確保できる。
3:型落ちモデルを利用できる。
上述したサブスクリプションサービスによるドライブレゴーダの利用を行うためには、使用料金が支払われないドライブレコーダーは使用停止にする技術を組み込む。また、単純に使用停止にすると、例えば停止した後で利用中に記録した事故発生時の映像の記録は重要な証拠の一つとなり、利用できるようにしたいという要求がある。さらに、事故発生時に記録した画像は、ドライブレゴーダを取り付けた車両の運転者のみならず、相手方にとっても有益なものとなる場合があり、公益性も有するともいえる。そこで、サブスクリプションサービスに使用するドライブレコーダーは、以下の機能を備えるとよい。
販売モデルか、どの貸し出しモデルなのかが設定できる機能があり、設定に応じた処理が行えるようにする。そして貸し出しモデルの場合、料金未納を検知する機能を備える。係る機能は、例えば、毎月所定の日(例えば1日)にサーバにアクセスし、今月分が支払われているかを確認し、支払われていない場合には、録画はするが、再生できないし通信もできない設定にする。再生できない設定は、例えば暗号化して記録したり、外部から見えないフォルダに記録したりするとよい。そして、ドライブレゴーダが、例えばサーバにアクセスし料金が支払われたことを確認すると、例えば暗号解除したり、通常のフォーマットに変換したりして再生できるようにしたり、ビューア側でカギを入手し、見られるようにするとよい。
また、次のモデルの発売時期を記録しておき、新製品への交換時期を予め報知する機能(例えば「あと3ヶ月で新型に変えられます」など)や、最新モデルが発売されると「新製品に交換可能です」のように交換可能な機器があることを報知する機能を備えるとよい。これらの新製品等についての情報は、例えば料金納付状況の確認のために毎月サーバにアクセスしているので、アクセスした際に新製品等の情報を取得するとともに記憶保持し、適宜のタイミングで報知するとよい。
また、お試しプランの場合、エンジン始動にともない、ドライブレゴーダが起動した際に、お試し期間の残り日数を報知する機能を備えるとよく、係る報知は、始動する都度行ってもよいが、その日の最初の始動時に残り日数を報知したりするとよい。さらに、お試し期間終了時には、その旨報知し、購入の問い合わせをし、一括購入か、定額サービスかを受け付ける選択画面を表示する機能を備え、定額サービスの場合「最新モデル利用プラン」「型落ちプラン」のいずれかを選択する選択画面を表示する機能を備えるとよい。
上記の例では、ドライブレゴーダについての適用を説明したが、レーダー探知機やポータブルカーナビゲーションについても同様の機能を実装するとよい。サブスクリプションサービスの提供により、レーダー探知機は最新取締情報や、最新の報知機能を利用でき、ポータブルカーナビゲーションは最新地図やルート検索エンジンを利用できるので、ユーザにとっては使いやすいサービスとなる。
またサブスクリプションサービスで提供するプランは、上記の3つのプランとしてもよいが、レーダー探知機やポータブルカーナビゲーションは常に最新が最良であるので、型落ちプランを用意せず、「最新モデル利用プラン」と「お試しプラン」の2種類とするとよい。
また、ドライブレコーダー、レーダー探知機、ポータブルカーナビゲーションの多数の種類の製品を提供するメーカは、そのメーカの全モデルが使い放題となるプランと、一部のジャンルを選べるプランを用意し、利用料金は、いずれのプランも個別に契約するよりコストを抑える設定にするとよい。例えばドライブレコーダー、レーダー探知機、ポータブルカーナビゲーションの3つの種類の機器をサブスクリプションで提供する場合、全モデル(上記例示した例では3つ)が使い放題のプランと、2つのジャンルを選択し、その選択したジャンルのモデルが使い放題のプランとするとよい。例えば、カーナビは既に保有している場合、ドライブレコーダーとレーダー探知機使い放題プランを選択するとよい。係るプランを利用するための機器の機能は、上述したものと同様にするとよい。そして係る複数のジャンルを一括して契約するブランを選択すると、利用者並びにメーカがそれぞれ以下に示すメリットを有し、Win-Winの関係になり、普及率の向上が期待できる。
<利用者のメリット>
上記のメリットに加えて、
4.まとめて契約するので、手間が少ない。
5.個別契約よりトータルコストが抑えられる。
<メーカ側のメリット>
上記のメリットに加えて、
4.顧客を包囲できる。すなわち今までドライブレコーダーとレーダー探知機は別のメーカのものを使用していたところ、全てを同じメーカの製品にすることができる。
[32.撮影装置とブラケットの接触面が曲面状のシステム]
図12は、別の実施形態の撮影装置700と、その撮影装置700を車両の所定位置に取り付けるためのブラケット800を示している。撮影装置700は、撮影装置100と同様に、ドライブレコーダーであり、例えば、車両400の車室における前方側の所定の位置に取り付けられ、フロントガラス越しに、車両400の前方を撮影方向として撮影する。撮影装置700は、筐体701内に、上述したドライブレコーダーを構成するための各種の機器等を備えている。筐体701は、概略矩形状であり、車両に設置した状態で車室内を向く所定の側面702には表示面703を備えている。筐体701の上面704の中央付近には、上に突出する第1の湾曲部705を備える。
ブラケット800は、そのベース部801の底面802の略中央付近に凹状に窪んだ第2の湾曲部803を備える。またベース部801の例えば上面805は、フロントガラスに固定するための両面接着部材を貼り付ける接着面を備える。
第1の湾曲部705と第2の湾曲部803は、それぞれ球面の一部を切り取った形状とするとよく、第1の湾曲部705の曲率と、第2の湾曲部803の曲率は略等しくし、凸状の第1の湾曲部705が凹状の第2の湾曲部803内に挿入された状態で付合し、その状態で曲面に沿って相対移動が可能に構成し、ブラケット800に対する撮影装置700の姿勢を変移可能に構成する。そして、適宜の保持手段を利用し、撮影装置700を所定の姿勢で保持可能とする。
本実施形態では、車両側のバッテリに接続する電源コードの一端はブラケット800内に導かれ、ブラケット800内の電源ラインを経由して撮影装置700に給電されるように構成する。ブラケット800側の電源ラインと、撮影装置700側の電源ラインの接続は、第1の湾曲部705と第2の湾曲部803に設けた電極同士を接触させて通電可能とする。
各電極は以下のように構成する。第1の湾曲部705の中央の付近の山の頂には、一方の極、例えば正極用第1電極707を配置し、周面に他方の極、例えば負極用第1電極708を設ける。本実施形態では、正極用第1電極707は、ピン状のものとし、負極用第1電極708は、曲面に沿って一定の面積を有する面状のものとした。また、負極用第1電極708はアースラインに接続するようにするとよい。
第2の湾曲部803の中央の谷奥には、一方の極、例えば正極用第2電極807を配置し、周面に他方の極、例えば負極用第2電極808を設ける。本実施形態では、正極用第2電極807は、円盤状とし、正極用第1電極707よりも広い面積を有する。これにより、正極用第1電極707と正極用第2電極807が確実接触できるようにしている。また、負極用第2電極808は、曲面の適宜位置に設けたピン状にし、異なる位置に複数配置した。これにより、例えば撮影装置700の姿勢が変位しても、負極用第1電極708と負極用第2電極808が接触できるようにしている。また、負極用第2電極808は例えば車両のアースラインに接続するようにするとよい。
このようにすることで、第1の湾曲部705と第2の湾曲部803は、撮影装置700とブラケット800の間の機械的な接続と、電気的な接続を図るコネクタとして機能する。
また、本システムでは、撮影装置700をブラケット800の底面に取り付けるため、保持力が弱いと、例えば事故発生時等の強い衝撃が加わると、撮影装置700がブラケット800から外れてしまい、撮影装置700のカメラの撮影方向が所望の向きから変わってしまい、例えば事故直後からの映像が撮れない場合がある。
そこで本実施形態では、図13に示すように第2の湾曲部803の奥側中央部位に、鍵穴810を設ける。鍵穴810は、円形の開口部811と、その開口部811の外周縁から外側に突出する帯状のスリット部812を備える。そして、正極用第2電極807は、その鍵穴810の奥に配置するとよい。
一方、正極用第1電極707は、ピン状本体の周面所定位置に外に向けて伸びる帯板状部710を設ける。左右に伸びる帯板状部710の両端間の長さXは、円形の開口部811の直径Y1よりも長く、帯状のスリット部812の長さY2より短い設定にし、帯板状部710をスリット部812に正対させた状態で、第1の湾曲部705と第2の湾曲部803を接近させていくと、帯板状部710は、スリット部812内に進入し、ブラケット800の内部に位置する。この状態でブラケット800と撮影装置700を相対的に回転させると、帯板状部710はスリット部812から外れる。これにより、帯板状部710は、ブラケット800の底面802の裏面側に接触可能となり、離脱が抑止される。よって、帯板状部710を備えた正極用第1電極707は、鍵穴810に対する鍵となり、ロック機構を構成し、例えば事故発生時等の強い衝撃が加わっても、撮影装置700はブラケット800から離脱せず、所望の撮影方向の画像を撮影できる。
また、正極用第1電極707と正極用第2電極807の少なくとも一方はバネ等の弾性部材より相手に向けて付勢する構成とするとよい。図示の例では、正極用第2電極807の裏面側にバネ820を配置し、バネ820の弾性復元力により正極用第2電極807をブラケット800の底面側に向けて付勢可能としている。
なお、撮影装置700は、筐体701が矩形の箱形としていたが、丸型にしてもよく、丸型の一部をカットして、表示面703を設けるとよい(図14参照)。
また、撮影装置700をブラケット800に保持させる構成は、上述したロック機構に限らず、例えば磁石で貼り付けてもよい。そして、撮影装置700は、バッテリを内蔵し、ブラケット800から取り外した状態でも動作可能にするとよい。このようにすると、磁石による保持力の場合、ロック機構に比べて簡単に着脱でき、取り外して持ち歩き、歩きながら撮影したり、適宜の場所で撮影したりするとよい。さらに、自転車、他の自動車など他の乗り物に用意した別のアダプタに取り付け、自分専用のドライブレコーダーとして持ち歩き可能とするとよい。
なお、本発明の範囲は、明細書に明示的に説明された構成や限定されるものではなく、本明細書に開示される本発明の様々な側面の組み合わせをも、その範囲に含むものである。本発明のうち、特許を受けようとする構成を、添付の特許請求の範囲に特定したが、現在の処は特許請求の範囲に特定されていない構成であっても、本明細書に開示される構成を、将来的に特許請求の範囲とする意思を有する。
本願発明は上述した実施の形態に記載の構成に限定されない。上述した各実施の形態や変形例の構成要素は任意に選択して組み合わせて構成するとよい。また各実施の形態や変形例の任意の構成要素と、発明を解決するための手段に記載の任意の構成要素又は発明を解決するための手段に記載の任意の構成要素を具体化した構成要素とは任意に組み合わせて構成するとよい。これらについても本願の補正又は分割出願等において権利取得する意思を有する。「~の場合」「~のとき」という記載があったとしてもその場合やそのときに限られる構成として記載はしているものではない。これらの場合やときでない構成についても開示しているものであり、権利取得する意思を有する。また順番を伴った記載になっている箇所もこの順番に限らない。一部の箇所を削除したり、順番を入れ替えた構成についても開示しているものであり、権利取得する意思を有する。
また、意匠登録出願への変更により、全体意匠又は部分意匠について権利取得する意思を有する。図面は本装置の全体を実線で描画しているが、全体意匠のみならず当該装置の一部の部分に対して請求する部分意匠も包含した図面である。例えば当該装置の一部の部材を部分意匠とすることはもちろんのこと、部材と関係なく当該装置の一部の部分を部分意匠として包含した図面である。当該装置の一部の部分としては、装置の一部の部材としてもよいし、その部材の部分としてもよい。全体意匠はもちろんのこと、図面の実線部分のうち任意の部分を破線部分とした部分意匠を、権利化する意思を有する。また、装置の筐体の内部のモジュール・部材・部品・画像等についても、図面に表示されているものは、いずれも独立して取引の対象となるものであって、同様に、意匠登録出願への変更を行って権利化を行う意思を有するものである。
1 :システム
10 :電子機器
11 :制御部
12 :入力部
13 :表示部
14 :音声出力部
15 :撮影部
16 :通信部
17 :センサ部
20 :位置情報取得部
21 :発光部
22 :電源制御部
25 :記憶部
40 :車両
50 :記憶媒体
100 :撮影装置
121 :マイクロホン
122 :イベント記録ボタン
131 :表示面
200 :撮影装置
400 :車両
500 :記憶媒体
600 :ブラケット
700 :撮影装置
800 :ブラケット
R100 :フロントカメラ
R101 :本体部
R1011 :筐体
R1012 :レンズホルダ
R1013 :取付部
R101A :第2の電子機器
R101B :電子機器
R103 :第1の電子機器
R11 :制御部
R192 :マイクロホン
R23 :端子部
R24 :発光部
R25 :記憶部
R40 :車両
R400 :車両
R50 :記憶媒体

Claims (20)

  1. 録画指示の第1の音声情報と、前記第1の音声情報と異なる第2の音声情報を受け付ける受付機能と、
    前記第1の音声情報を音声認識した結果に基づき、車両に搭載される撮影手段により撮影された画像を示す画像データを記録手段に録画する録画機能と、
    前記第2の音声情報を音声認識した結果に基づいて録画以外の処理を行う処理機能を備えるシステム。
  2. 前記第2の音声情報は、録画の契機となる種類を特定する情報であり、
    前記処理機能は、録画する画像データの種類を区別可能に記録する機能である請求項1に記載のシステム。
  3. 前記処理機能は、前記第2の音声情報を音声認識によりテキスト化したテキスト情報を前記画像データに関連付けて記録するように構成する請求項1または2に記載のシステム。
  4. 前記第2の音声情報は、録画指示以外のサブ指示を示すものであり、
    前記処理機能は、前記録画機能が録画した前記画像データに対し、前記サブ指示を実行するように構成する請求項1から3のいずれか1項に記載のシステム。
  5. 前記撮影手段は、複数あり、
    前記第2の音声情報は、録画する画像データを撮影した1または複数の前記撮影手段を指定する情報である請求項1から4のいずれか1項に記載のシステム。
  6. 手動操作による録画開始指示を受け付ける受付手段を備え、
    前記手動操作に基づいて行う録画と、前記第1の音声情報に基づいて行う録画は、別の種類のものとして行うように構成する請求項1から5のいずれか1項に記載のシステム。
  7. 音声認識機能を備え、
    その音声認識機能と、前記受付機能と、前記録画機能と、前記処理機能は前記車両側からの電源供給を受けて動作するように構成し、
    前記車両が走行できない状態の際に、一部の電源供給を停止しつつ前記音声認識機能を動作させる部分については電源供給を継続する機能と、
    前記音声認識機能の認識結果に基づき、所定の処理を行う機能を備える請求項1から6のいずれか1項に記載のシステム。
  8. 前記音声認識機能は、所定の言葉を認識するものであり、
    前記所定の処理を行う機能は、前記電源供給を継続する機能による電源供給対象を、前記音声認識機能が認識した前記所定の言葉に対応付けられたものに変更する請求項7に記載のシステム。
  9. 前記録画機能は、録画条件を満たした場合に前記撮影手段により撮影された画像を示す画像データを記録手段に録画する機能を備え、
    前記録画条件を満たして行われる録画中或いは録画後に受け付けた音声情報を音声認識した結果が録画不要を示す場合、その画像データの録画を行わず、前記録画条件を録画が行われにくくなる方向に変更する機能を備える請求項1から8のいずれか1項に記載のシステム。
  10. 現在位置が撮影に影響のあるエリアに存在していることを検知する機能と、
    その検知する機能により現在位置が撮影に影響のあるエリアにいると検知された場合、前記撮影手段の設定を、影響を低減するように調整する機能を備える請求項1から9のいずれか1項に記載のシステム。
  11. 前記検知する機能は、撮影に影響のある地点の位置情報と現在位置との関係に基づいて現在位置が撮影に影響のあるエリアに存在していることを検知するようにし、
    前記撮影に影響のある地点の位置情報は、他の電子機器に登録された登録地点の位置情報であり、
    前記電子機器から出力される前記登録地点の位置情報を表す音情報を受け付け、その受け付けた音情報を音声認識した認識結果に基づき前記撮影に影響のある地点の位置情報として記録する機能を備える請求項10に記載のシステム。
  12. 予め地点登録された報知対象に接近した際に報知する報知機能と、
    音声に基づき報知対象を登録する機能を備え、
    前記報知機能は、音声に基づいて登録した報知対象に対する報知は、前記予め地点登録された報知対象に対する報知と異なる対応で行うように構成する請求項1から11のいずれか1項に記載のシステム。
  13. 前記車両の車室内を撮影する撮影手段が撮影した画像データに基づき、少なくとも運転者の口の動きを検出する検出機能を備え、
    前記録画機能は、前記運転者の口の動きに基づき、前記車両に搭載される撮影手段により撮影された画像を示す画像データを記録手段に録画する機能を備える請求項1から11のいずれか1項に記載のシステム。
  14. 前記車両の車室内を撮影する撮影手段が撮影した画像データに基づき、運転者が同乗者と会話しているか否かを判断する会話判断機能を備え、
    その会話判断機能の判断結果に基づき、前記録画機能と前記処理機能の動作の有無を制御するように構成する請求項1から13のいずれか1項に記載のシステム。
  15. 前記車両の車室内を撮影する撮影手段が撮影した画像データ中の話者を特定し、その特定した話者がわかるように画像を加工して表示させる機能と、
    その話者がわかるように加工した画像データを録画する機能を備える請求項1から14のいずれか1項に記載のシステム。
  16. 前記車両の車室内を撮影する撮影手段が撮影した画像データ中の顔の表情を検出する表情検出機能と、
    その表情検出機能の検出に基づき、車両に搭載される撮影手段により撮影された画像を示す画像データを記録手段に録画する機能を備える請求項1から15のいずれか1項に記載のシステム。
  17. 音声以外の環境音を検出する機能を備え、
    その検出した前記環境音に基づき所定の処理を行う機能を備える請求項1から16のいずれか1項に記載のシステム。
  18. 運転者を撮影した画像データに基づき前記運転者のバイタル情報を取得する機能と、
    その取得したバイタル情報を前記画像データに関連付けて記録する機能を備える請求項1から17のいずれか1項に記載のシステム。
  19. ユーザの携帯端末と情報を送受する機能を備え、
    前記第1の音声情報と前記第2の音声情報の音声認識は、前記携帯端末側で行い、音声認識結果を取得して利用するように構成した請求項1から18のいずれか1項に記載のシステム。
  20. 請求項1から19のいずれかに記載のシステムに用いられる機能をコンピュータに実現させるためのプログラム。
JP2022061151A 2022-03-31 2022-03-31 システムおよびプログラム等 Pending JP2023151512A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022061151A JP2023151512A (ja) 2022-03-31 2022-03-31 システムおよびプログラム等

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022061151A JP2023151512A (ja) 2022-03-31 2022-03-31 システムおよびプログラム等

Publications (1)

Publication Number Publication Date
JP2023151512A true JP2023151512A (ja) 2023-10-16

Family

ID=88327720

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022061151A Pending JP2023151512A (ja) 2022-03-31 2022-03-31 システムおよびプログラム等

Country Status (1)

Country Link
JP (1) JP2023151512A (ja)

Similar Documents

Publication Publication Date Title
CA3087506A1 (en) Enhanced vehicle sharing system
US9247779B1 (en) Enhanced global positioning system (GPS) based functionality for helmets
US20170251163A1 (en) System and method for multimedia capture
CN104620259B (zh) 使用音频/视觉线索的车辆安全系统
JP2011028651A (ja) 車両用映像記録装置
CN109334566A (zh) 用于提供车外反馈的方法、装置、设备和存储介质
US20120001771A1 (en) Computer based system and method for providing a driver assist information
US11180082B2 (en) Warning output device, warning output method, and warning output system
JPWO2007080921A1 (ja) 情報記録システム、情報記録装置、情報記録方法及び情報収集プログラム
US20050062602A1 (en) Security arrangement with in-vehicle mounted terminal
KR20190087931A (ko) 광고 차량 및 차량용 광고 시스템
CN205263896U (zh) 多功能行车记录仪
CN111684505B (zh) 影像记录控制装置、影像记录系统、影像记录方法以及影像记录控制程序
WO2021250695A1 (en) A device, method and system for vehicle monitoring by using gps position of vehicle for making payment collected by various authorities associtaed with the vehicle
JP2023151512A (ja) システムおよびプログラム等
JP7403196B2 (ja) 情報処理システム及びプログラム等
CN205113178U (zh) 一种行车记录仪
US11610483B1 (en) Safety apparatus and method
CN201654862U (zh) 校车行驶记录监控仪
KR100938686B1 (ko) 방범 및 광고 기능을 가지는 자동차
JP6661264B2 (ja) 警報装置
JP7311317B2 (ja) 安全運転支援装置及び運転評価システム
JP2023048039A (ja) 電子機器、プログラム、システム及びメッセージ表示方法等
JP2023048038A (ja) システム、管理装置及びプログラム等
US12052381B1 (en) Safety apparatus and method