JP2007013497A - 画像送信装置 - Google Patents

画像送信装置 Download PDF

Info

Publication number
JP2007013497A
JP2007013497A JP2005190725A JP2005190725A JP2007013497A JP 2007013497 A JP2007013497 A JP 2007013497A JP 2005190725 A JP2005190725 A JP 2005190725A JP 2005190725 A JP2005190725 A JP 2005190725A JP 2007013497 A JP2007013497 A JP 2007013497A
Authority
JP
Japan
Prior art keywords
image
priority
time
transmission
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005190725A
Other languages
English (en)
Other versions
JP4615380B2 (ja
Inventor
Masayuki Sato
正行 佐藤
Takeyuki Suzuki
健之 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2005190725A priority Critical patent/JP4615380B2/ja
Priority to DE102006028981A priority patent/DE102006028981B4/de
Priority to US11/478,197 priority patent/US20070001512A1/en
Publication of JP2007013497A publication Critical patent/JP2007013497A/ja
Application granted granted Critical
Publication of JP4615380B2 publication Critical patent/JP4615380B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/016Personal emergency signalling and security systems
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19647Systems specially adapted for intrusion detection in or around a vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665Details related to the storage of video surveillance data
    • G08B13/19676Temporary storage, e.g. cyclic memory, buffer storage on pre-alarm
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Facsimiles In General (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

【課題】 緊急状態で車両から画像情報を送信する際の送信効率を向上させ、送信開始からの経過時間が相対的に短い期間で送信される情報量を増大させると共に重要度が相対的に高い画像情報を迅速に送信する。
【解決手段】 優先度判定部22は、画像データ記憶装置14に格納されている時系列データをなす複数の画像フレーム毎に対して、各画像フレームを自車両の外部の緊急通報センター30に送信する際の優先度を設定する。送信制御部23は、優先度判定部22により設定された各画像フレーム毎の優先度に応じて、各画像フレームを通信装置12により自車両の外部の緊急通報センター30に送信する際の送信順序およびフレームレートを設定する。
【選択図】 図1

Description

この発明は、画像送信装置に関する。
従来、例えば事故発生時等において車両の異常を検出した際に、車載カメラの撮像方向が乗員に向かうように設定し、この車載カメラの撮像により得られた画像を、位置検出装置により検出した車両の位置の情報と共に外部の緊急センターに送信する緊急通報装置が知られている(例えば、特許文献1参照)。
また、従来、例えば複数の車載カメラのうち、車両衝突時に衝撃力が作用する方向を検知領域とする車載カメラの撮像により得られた画像を記録する画像データ記録装置が知られている(例えば、特許文献2参照)。
特開2003−306106号公報 特開平07−304473号公報
ところで、上記従来技術の一例に係る緊急通報装置によれば、単に、車載カメラの撮像により得られた画像を外部の緊急センターに送信するだけであるから、撮像された時刻順に時系列をなす複数の画像は、撮像された時刻順に応じて送信されることになる。しかしながら、各画像の重要度と各画像が撮像された時刻との対応関係は、車両あるいは乗員に発生した異常状態に応じて変化することから、単に、撮像された時刻順に複数の画像を送信するだけでは、重要度が相対的に高い画像が重要度が相対的に低い画像よりも後に送信されてしまうという問題が生じる場合があり、この場合には、例えば発生した異常状態に対して緊急度が高い対応が必要となる状態であっても、適切な対応を迅速に実行することが困難となる。しかも、複数の画像の送信が開始されて通信量が増大することによって、例えば重要度が相対的に高い画像が送信されるよりも前のタイミングで、輻輳等の発生によって通信状態が劣化すると、重要度が相対的に高い画像の送信が、より一層、遅れてしまうことになり、車両あるいは乗員に発生した異常状態を、車両から送信される画像に基づき適切に把握するまでに要する時間が過剰に長くなってしまうという問題が生じる。
また、上記従来技術の一例に係る緊急通報装置に、上記従来技術の一例に係る画像データ記録装置を組み合わせたとしても、車両衝突時に衝撃力が作用する方向を検知領域とする車載カメラの撮像により得られた複数の画像が、単に、撮像された時刻順に外部の緊急センターに送信されるだけであり、例えば重要度の高い情報を含む画像が時系列の後方に位置する場合には、発生した異常状態に対して適切な対応を迅速に実行することが困難となる。
本発明は上記事情に鑑みてなされたもので、緊急状態で車両から画像情報を送信する際の送信効率を向上させ、送信開始からの経過時間が相対的に短い期間で送信される情報量を増大させると共に重要度が相対的に高い画像情報を迅速に送信することが可能な画像送信装置を提供することを目的としている。
上記課題を解決して係る目的を達成するために、請求項1に記載の本発明の画像送信装置は、少なくとも自車両の内部または外部を撮像する撮像手段(例えば、実施の形態でのカメラ11)と、該撮像手段の撮像により得られた複数の画像データ(例えば、実施の形態での画像フレーム)を記憶する画像記憶手段(例えば、実施の形態での画像データ記憶装置14)と、前記複数の画像データに基づき自車両の外部に送信する複数の画像情報(例えば、実施の形態での画像フレーム、画像情報)の送信優先度(例えば、実施の形態での優先度P1,…,P5)を設定する優先度設定手段(例えば、実施の形態での優先度判定部22)と、所定の緊急状態において、前記優先度設定手段により設定された前記送信優先度に応じて、前記送信優先度が相対的に高い前記画像情報を、前記送信優先度が相対的に低い前記画像情報よりも優先的に外部に送信する画像送信手段(例えば、実施の形態での送信制御部23、通信装置12)とを備えることを特徴としている。
上記の画像送信装置によれば、例えば事故や災害や事件等の発生による所定の緊急状態において送信優先度が相対的に高い画像情報は送信優先度が相対的に低い画像情報よりも優先的に外部に送信されることから、特に、送信開始からの経過時間が相対的に短い期間で送信優先度が相対的に高い画像情報が送信されることになり、迅速な対応が必要となる緊急状態が発生した場合であっても、送信優先度が相対的に高い画像情報に基づき、適切な対応を迅速に実行することが可能となる。
さらに、請求項2に記載の本発明の画像送信装置は、前記送信優先度が相対的に低い前記画像情報が前記画像送信手段により送信される際のフレームレートを、前記送信優先度が相対的に高い前記画像情報が前記画像送信手段により送信される際のフレームレートよりも低い値に設定するフレームレート変換手段(例えば、実施の形態での送信制御部23)を備えることを特徴としている。
上記の画像送信装置によれば、送信優先度が相対的に低い画像情報の送信時のフレームレートは、送信優先度が相対的に高い画像情報の送信時のフレームレートよりも低い値に設定されることから、特に、送信開始からの経過時間が相対的に短い期間では、送信優先度が相対的に高い画像データが相対的に高いフレームレートで送信され、送信される情報量が増大する。これにより、発生した緊急状態に対して、より一層、迅速に適切な対応を実行することが可能となる。
以上説明したように、請求項1に記載の本発明の画像送信装置によれば、送信開始からの経過時間が相対的に短い期間で送信優先度が相対的に高い画像データが送信されることになり、迅速な対応が必要となる緊急状態が発生した場合であっても、送信優先度が相対的に高い画像データに基づき、適切な対応を迅速に実行することが可能となる。
さらに、請求項2に記載の本発明の画像送信装置によれば、送信開始からの経過時間が相対的に短い期間では、送信優先度が相対的に高い画像データが相対的に高いフレームレートで送信され、送信される情報量が増大する。これにより、発生した緊急状態に対して、より一層、迅速に適切な対応を実行することが可能となる。
以下、本発明の一実施形態に係る画像送信装置について添付図面を参照しながら説明する。
本実施の形態による画像送信装置10は、例えば図1に示すように、少なくとも自車両の内部または外部を撮像するカメラ11と、通信装置12と、車両状態センサ13と、画像データ記憶装置14と、処理装置15とを備えて構成されている。
カメラ11は、例えば、可視光領域で撮像可能なCCDカメラやCMOSカメラであって、水平画角が360°で車室内のルーフに配置され、車室内および乗員に加えて車両のウィンドウ越しに撮像される自車両周辺の外界の撮像画像を出力する。
通信装置12は、自車両の外部の緊急通報センター30との間の通信により、処理装置15から出力される画像データを送信する。
車両状態センサ13は、自車両の車両情報として、例えば自車両の速度(車速)を検出する車速センサや、例えば人工衛星を利用して車両の位置(例えば、緯度および経度)を測定するためのGPS(Global Positioning System)信号等の測位信号や自車両の外部の情報発信装置から発信される位置信号等、さらには、適宜のジャイロセンサや加速度センサ等の検出結果に基づいて自車両の現在位置および進行方向を検出する位置センサや、ヨー角(車両重心の上下方向軸回りの回転角度)やヨーレート(車両重心の上下方向軸回りの回転角速度)を検出するヨーレートセンサや、操舵角(運転者が入力した操舵角度の方向と大きさ)や操舵角に応じた実舵角(転舵角)を検出する舵角センサや、乗員の存在を検知する着座センサあるいは重量センサ等を備えて構成されている。
画像データ記憶装置14は、例えば磁気ディスク装置や光ディスク装置等のコンピュータ読み取り可能な記憶媒体により構成され、例えば所定の撮像周期毎にカメラ11の撮像により得られた撮像画像に基づき処理装置15から出力される画像データ(画像フレーム)を時系列データとして格納する。
処理装置15は、例えば画像処理部21と、優先度判定部22と、送信制御部23とを備えて構成されている。
画像処理部21は、カメラ11の撮像により得られた撮像画像に対して、例えば射影変換およびフィルタリングおよび二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データ(画像フレーム)を生成して画像データ記憶装置14へ出力する。
優先度判定部22は、例えば時間優先度に基づく処理として、画像データ記憶装置14に格納されている時系列データをなす複数の画像データ(画像フレーム)毎に対して、各画像フレームを自車両の外部の緊急通報センター30に送信する際の優先度を設定する。
優先度判定部22により設定される優先度は、例えば図2に示すように、複数(例えば5つ)の優先度P1,…,P5(P1<…<P5)であって、後述するように、予め設定した所定の時間帯に対応する画像フレームであるか否かの判定結果、あるいは、所定の評価関数の変化が所定値を超える時間帯に対応する画像フレームであるか否かの判定結果、あるいは、車両状態センサ13による適宜の検出結果の変化が所定値を超える時間帯に対応する画像フレームであるか否かの判定結果等に応じて、各画像フレームPF毎に各優先度P1,…,P5が設定される。
送信制御部23は、優先度判定部22により設定された各画像データ(画像フレーム)毎の優先度に応じて、各画像フレームを通信装置12により自車両の外部の緊急通報センター30に送信する際の送信順序およびフレームレートを設定する。
例えば図2に示すように、カメラ11により撮像された時刻順に画像データ記憶装置14に格納されて時系列データをなす複数の画像フレームPF,…,PF毎に対して、優先度判定部22により各優先度P1,…,P5が設定された状態において、送信制御部23は、先ず、適宜の画像フレームPF,…,PFにより構成される複数の時間帯毎に対して送信順序を設定する。例えば図2に示すように、最も高い優先度P5の画像フレームPF,…,PFにより構成される領域Aに対しては第1番目の送信順序が設定され、優先度P5に次いで相対的に高い優先度P4,P3の画像フレームPF,…,PFにより構成される領域Bに対しては第2番目の送信順序が設定される。
次に、送信制御部23は、送信順序が設定された複数の時間帯毎に対して、送信時のフレームレートを設定する。例えば図2に示すように、第1番目の送信順序が設定された領域Aに対しては最も高い所定のフレームレートが設定され、第2番目の送信順序が設定された領域Bに対しては、領域Aよりも低い所定のフレームレートが設定される。
なお、送信制御部23は、フレームレートとしてゼロを設定可能であり、例えば所定値未満の優先度が設定された画像フレームの送信を禁止することが可能である。
そして、送信制御部23は、車両状態センサ13による適宜の検出結果に基づき、優先度判定部22を介して画像データ記憶装置14から抽出した複数の画像フレームPF,…,PFを、設定した送信順序およびフレームレートに応じて通信装置12により自車両の外部の緊急通報センター30に送信する。
なお、自車両から送信される画像データを受信する緊急通報センター30は、例えば通信装置31と、画像データ記憶装置32と、表示装置33と、処理装置34とを備えて構成されている。そして、処理装置34は、例えば、通信装置31を介して受信した画像データに対して所定の画像処理を行い、処理後の画像データを画像データ記憶装置32に格納する画像処理部35と、画像データ記憶装置32に格納された画像データを表示装置33に表示する表示制御部36とを備えて構成されている。
本実施の形態による画像送信装置10は上記構成を備えており、次に、この画像送信装置10の動作について説明する。
以下に、優先度判定部22および送信制御部23の動作、特に、時間優先度に基づき、各画像フレームPF毎に各優先度P1,…,P5を設定すると共に、送信時のフレームレートを設定する処理について説明する。
先ず、優先度判定部22は、予め設定した所定の時間帯に対応する画像フレームであるか否かの判定結果に応じて各優先度P1,…,P5を設定する場合として、例えば衝突の発生が検出された時刻を基準時刻(衝突時刻)とする場合には、この衝突時刻の前後の時間帯に対応する画像フレームに対して、衝突時刻に近接することに伴い、優先度が増大傾向に変化するように設定する。
この衝突時刻の前後の所定時間帯として、例えば1秒(あるいは数秒)の時間帯では、カメラ11により自車両のウィンドウ越しに撮像される自車両周辺の外界の撮像画像によって、衝突対象および衝突対象の相対速度および衝突後の自車両の挙動等の相対的に重要度が高い情報が検知される。また、カメラ11により撮像される車室内および乗員の撮像画像によって、衝突直前での乗員の状態(例えば、発作の有無や防御態勢の有無等)および乗員と車室内との接触の有無およびエアバッグの展開状態および衝突以後での乗員の状態(例えば、負傷および出血の有無等)等の相対的に重要度が高い情報が検知される。このため、例えば衝突時刻の前後の1秒(あるいは数秒)の時間帯に対応する画像フレームに対しては、最も高い優先度P5が設定される。
この場合、送信制御部23は、例えば、最も高い優先度P5が設定される衝突時刻の前後の1秒の時間帯に対して、第1番目の送信順序を設定すると共に、最も高い所定のフレームレート(例えば、30フレーム/秒等)を設定する。また、送信制御部23は、例えば、衝突時刻の後の1秒〜10秒の時間帯(つまり衝突発生後の状態に係る情報を含む時間帯)に対して、第2番目の送信順序を設定すると共に、所定のフレームレート(例えば、5フレーム/秒等)を設定する。また、送信制御部23は、例えば、衝突時刻から遡る1秒〜5秒の時間帯(つまり衝突発生に到るまでの状態に係る情報を含む時間帯)に対して、第3番目の送信順序を設定すると共に、所定のフレームレート(例えば、5フレーム/秒等)を設定する。
これにより、先ず、第1番目の送信順序が設定された時間帯を構成する複数の画像フレームがカメラ11により撮像された時刻順に送信され、次に、第2番目の送信順序が設定された時間帯を構成する複数の画像フレームがカメラ11により撮像された時刻順に送信され、第3番目の送信順序が設定された時間帯を構成する複数の画像フレームがカメラ11により撮像された時刻順に送信される。
また、優先度判定部22は、予め設定した所定の時間帯に対応する画像フレームであるか否かの判定結果に応じて各優先度P1,…,P5を設定する場合として、例えば自車両の乗員による所定操作(例えば、適宜のスイッチのON操作等)が検出された時刻を基準時刻(操作時刻)とする場合には、この操作時刻の以前の時間帯に対応する画像フレームに対して、操作時刻に近接することに伴い、優先度が増大傾向に変化するように設定する。
この操作時刻の以前の所定時間帯として、例えば3秒等の数秒の時間帯では、カメラ11により撮像される乗員の撮像画像によって、乗員の動作および表情に基づき乗員の意識状態および負傷の有無や程度等の相対的に重要度が高い情報が検知される。このため、例えば操作時刻の以前の3秒(あるいは数秒)の時間帯に対応する画像フレームに対しては、最も高い優先度P5が設定される。
また、優先度判定部22は、所定の評価関数の変化が所定値を超える時間帯に対応する画像フレームであるか否かの判定結果に応じて各優先度P1,…,P5を設定する場合として、例えば時系列上で隣接する画像フレーム同士の画素毎の輝度値の差分の2乗値を画像フレーム全体に亘って加算して得た2乗和を評価関数f(t)とする場合には、この評価関数f(t)の値が増大することに伴い、優先度が増大傾向に変化するように設定する。
つまり、優先度判定部22は、この評価関数f(t)の値が増大することに伴い、画像フレームの変化が増大し、例えば自車両に衝突する衝突対象の相対的な運動状態や乗員の動作状態等の情報が画像フレームに含まれる可能性が高いと判断して、優先度を増大させる。
なお、評価関数f(t)はカメラ11の撮像時刻に係る時間軸tに応じた関数である。
また、優先度判定部22は、車両状態センサ13による適宜の検出結果の変化が所定値を超える時間帯に対応する画像フレームであるか否かの判定結果に応じて各優先度P1,…,P5を設定する場合として、例えば車両状態センサ13により検出される自車両の加速度(あるいは減速度)またはヨーレートの変化が増大することに伴い、優先度が増大傾向に変化するように設定する。
つまり、優先度判定部22は、自車両の加速度(あるいは減速度)またはヨーレートの変化が増大することに伴い、例えば自車両に衝突する衝突対象の相対的な運動状態や自車両の運動状態の変化に伴う車室内での乗員の移動状態等の情報が画像フレームに含まれる可能性が高いと判断して、優先度を増大させる。
上述したように、本実施の形態による画像送信装置10によれば、例えば衝突発生時等の緊急状態において、優先度が相対的に高い画像フレームは優先度が相対的に低い画像フレームよりも優先的に外部の緊急通報センター30へ送信されると共に、優先度が相対的に高い画像フレームの送信時のフレームレートは、優先度が相対的に低い画像フレームの送信時のフレームレートよりも高い値に設定されることから、特に、送信開始(つまり緊急状態の発生)からの経過時間が相対的に短い期間で、優先度が相対的に高い画像フレームが相対的に高いフレームレートで送信される。これにより、例えば図3に示すように、カメラ11により撮像された時刻順に複数の画像フレームを送信する場合(優先送信なし)に比べて、上述した実施の形態(優先送信あり)では、特に、送信開始(時刻t0)からの経過時間が相対的に短い期間(時刻t0〜時刻t1)で外部に送信される情報量を増大(例えば、情報量M1から情報量M2へ増大)させることができ、迅速な対応が必要となる緊急状態が発生した場合であっても、適切な対応を迅速に実行することが可能となる。
なお、上述した実施の形態において、優先度判定部22は、時間優先度に基づく処理によって優先度を設定するとしたが、これに限定されず、例えば空間優先度に基づく処理によって優先度を設定してもよい。
この場合には、予め画像フレーム内に設定した所定の空間領域に対応する画像情報であるか否かの判定結果、あるいは、画像フレーム内において所定の評価関数の変化が所定値を超える空間領域に対応する画像情報であるか否かの判定結果、あるいは、車両状態センサ13による適宜の検出結果に係る画像フレーム内の所定の空間領域に対応する画像情報であるか否かの判定結果等に応じて、例えば図4に示すように、各画像フレームPF内に設定された各空間領域PF1,…,PF4毎に対応する画像情報に各優先度P1,…,P5(P1<…<P5)が設定される。
先ず、優先度判定部22は、予め画像フレーム内に設定した所定の空間領域に対応する画像情報であるか否かの判定結果に応じて各優先度を設定する場合として、例えば図5に示すように、カメラ11によって車室内を前方側から後方側に向かい撮像して得た画像フレームPF内に所定の空間領域を設定する場合には、自車両の運転者が存在する空間領域A1および他の乗員が存在する空間領域A2に対応する各画像情報の優先度を、画像フレームPF内の他の空間領域に対応する画像情報の優先度よりも増大させる。
また、優先度判定部22は、画像フレーム内において所定の評価関数の変化が所定値を超える空間領域に対応する画像情報であるか否かの判定結果に応じて各優先度を設定する場合として、例えば時系列上で隣接する画像フレーム同士の画素毎の輝度値の差分の2乗値の画像平面上での分布状態を評価関数f(x,y)とする場合には、画像フレーム内において、評価関数f(x,y)の値が増大する空間領域に対応する画像情報の優先度を、画像フレーム内の他の空間領域に対応する画像情報の優先度よりも増大させる。
つまり、優先度判定部22は、この評価関数f(x,y)の値が増大する空間領域には、例えば自車両に衝突する衝突対象や乗員等が存在する可能性が高いと判断して、優先度を増大させる。
なお、評価関数f(x,y)は画像フレームPFの画像平面に係る2次元の空間軸x,yに応じた関数である。
また、優先度判定部22は、車両状態センサ13による適宜の検出結果に係る画像フレーム内の所定の空間領域に対応する画像情報であるか否かの判定結果に応じて各優先度を設定する場合として、例えば車両状態センサ13の着座センサあるいは重量センサにより検出される乗員の存在の有無に応じて、乗員の存在が検知された場合には、車室内のシートを含む空間領域に対応する画像情報の優先度を、画像フレーム内の他の空間領域に対応する画像情報の優先度よりも増大させる。
なお、乗員の存在の有無を検知する際には、車両状態センサ13の検出結果に限らず、例えば画像処理部21により実行される撮像画像に対する画像認識処理の認識結果に基づき検知してもよい。
また、優先度判定部22は、車両状態センサ13による適宜の検出結果に係る画像フレーム内の所定の空間領域に対応する画像情報であるか否かの判定結果に応じて各優先度を設定する場合として、例えば車両状態センサ13の加速度センサにより自車両の加速度(あるいは減速度)の大きさおよび作用方向が検知された場合には、この作用方向を含む自車両の外界および車室内の各空間領域に対応する画像情報の優先度を、画像フレーム内の他の空間領域に対応する画像情報の優先度よりも増大させる。
つまり、優先度判定部22は、例えば図6に示すように、加速度の作用方向を含む自車両の外界の空間領域A3または車室内の空間領域には、自車両に衝突する衝突対象または車室内での二次衝突に曝される乗員等が存在する可能性が高いと判断して、優先度を増大させる。
なお、上述した実施の形態において、優先度判定部22は、時間優先度に基づく処理によって優先度を設定するとしたが、これに限定されず、例えば時空間優先度つまり時間優先度と空間優先度との複合的な組み合わせに基づく処理によって優先度を設定してもよい。
この場合には、カメラ11により撮像された時刻順に配列されて時系列データをなす複数の画像フレームに対して、例えば図7および図8に示すように、撮像時刻に係る時間軸tと、画像フレームPFの画像平面に係る2次元の空間軸x,yとによる3次元の時空間を設定し、例えば、予め3次元の時空間内に設定した所定の部分領域に対応する画像情報であるか否かの判定結果、あるいは、3次元の時空間内において所定の評価関数の変化が所定値を超える部分領域に対応する画像情報であるか否かの判定結果、あるいは、車両状態センサ13による適宜の検出結果に係る3次元の時空間内の所定の部分領域に対応する画像情報であるか否かの判定結果等に応じて、例えば図7および図8に示すように、3次元の時空間内に設定された複数の各部分領域PA1,…,PA8毎に対応する画像情報に各優先度P1,…,P5(P1<…<P5)が設定される。
先ず、優先度判定部22は、予め3次元の時空間内に設定した所定の部分領域に対応する画像情報であるか否かの判定結果に応じて各優先度を設定する場合として、例えば衝突の発生が検出された時刻を基準時刻(衝突時刻)として、この衝突時刻の前後の所定時間帯(例えば、衝突時刻〜衝突時刻の後の0.5秒)と、カメラ11によって車室内を撮像して得た画像フレーム内におけるエアバッグの展開領域とによって、3次元の時空間内に所定の部分領域を設定する場合には、この部分領域に対応する各画像情報の優先度を、3次元の時空間内の他の部分領域に対応する画像情報の優先度よりも増大させる。
また、優先度判定部22は、3次元の時空間内において所定の評価関数の変化が所定値を超える部分領域に対応する画像情報であるか否かの判定結果に応じて各優先度を設定する場合として、例えば時系列上で隣接する画像フレーム同士の画素毎の輝度値の差分の2乗値の画像平面上での分布状態を、さらに、複数の隣接する画像フレーム同士の組み合わせに対して拡張して得た3次元の時空間内での分布状態を評価関数f(x,y,t)とする場合には、3次元の時空間内において、評価関数f(x,y,t)の値が増大する部分領域に対応する画像情報の優先度を、画像フレーム内の他の部分領域に対応する画像情報の優先度よりも増大させる。
つまり、優先度判定部22は、この評価関数f(x,y,t)の値が増大する部分領域には、例えば自車両に衝突する衝突対象や乗員等が存在する可能性が高いと判断して、優先度を増大させる。
なお、評価関数f(x,y,t)は画像フレームの画像平面に係る2次元の空間軸x,yと、撮像時刻に係る時間軸tとに応じた関数である。
また、優先度判定部22は、車両状態センサ13による適宜の検出結果に係る3次元の時空間内の所定の部分領域に対応する画像情報であるか否かの判定結果に応じて各優先度を設定する場合として、例えば車両状態センサ13の着座センサあるいは重量センサにより検出される乗員の存在の有無に応じて、乗員の存在が検知された場合には、車室内のシートを含む空間領域と、例えば衝突の発生が検出された時刻を基準時刻(衝突時刻)として、この衝突時刻の前後の所定時間帯(例えば、衝突時刻の前後の1秒間)とによって設定される3次元の時空間内の所定の部分領域に対応する画像情報の優先度を、3次元の時空間内の他の部分領域に対応する画像情報の優先度よりも増大させる。
なお、乗員の存在の有無を検知する際には、車両状態センサ13の検出結果に限らず、例えば画像処理部21により実行される撮像画像に対する画像認識処理の認識結果に基づき検知してもよい。
また、優先度判定部22は、車両状態センサ13による適宜の検出結果に係る3次元の時空間内の所定の部分領域に対応する画像情報であるか否かの判定結果に応じて各優先度を設定する場合として、例えば車両状態センサ13の加速度センサにより自車両の加速度(あるいは減速度)の大きさおよび作用方向が検知された場合には、この作用方向を含む自車両の外界および車室内の各空間領域と、例えば加速度(あるいは減速度)が極大となる時刻を基準時刻として、この基準時刻の前後の所定時間帯(例えば、基準時刻の前後の1秒間)とによって設定される3次元の時空間内の所定の部分領域に対応する画像情報の優先度を、3次元の時空間内の他の部分領域に対応する画像情報の優先度よりも増大させる。
本発明の実施の形態に係る画像送信装置の構成図である。 時系列データをなす複数の画像フレーム毎に対して設定された優先度の一例を示す図である。 優先送信の有無に対し、送信開始からの経過時間に応じて変化する情報量の一例を示す図である。 時系列データをなす複数の画像フレーム内の各空間領域PF1,…,PF4毎に対応する画像情報に対して設定された優先度の一例を示す図である。 カメラによって車室内を前方側から後方側に向かい撮像して得た画像フレームPF内に設定された所定の空間領域A1,A2の一例を示す図である。 画像フレームPF内に設定された加速度の作用方向を含む自車両の外界の空間領域A3の一例を示す図である。 撮像時刻に係る時間軸tと、画像フレームの画像平面に係る2次元の空間軸x,yとによる3次元の時空間内の所定の部分領域PA1,…,PA8毎に対して設定された優先度の一例を示す図である。 撮像時刻に係る時間軸tと、画像フレームの画像平面に係る2次元の空間軸x,yとによる3次元の時空間内の所定の部分領域PA1,…,PA7毎に対して設定された優先度の一例を示す図である。
符号の説明
10 画像送信装置
11 カメラ(撮像手段)
12 通信装置(画像送信手段)
14 画像データ記憶装置(画像記憶手段)
22 優先度判定部(優先度設定手段)
23 送信制御部(画像送信手段、フレームレート変換手段)

Claims (2)

  1. 少なくとも自車両の内部または外部を撮像する撮像手段と、
    該撮像手段の撮像により得られた複数の画像データを記憶する画像記憶手段と、
    前記複数の画像データに基づき自車両の外部に送信する複数の画像情報の送信優先度を設定する優先度設定手段と、
    所定の緊急状態において、前記優先度設定手段により設定された前記送信優先度に応じて、前記送信優先度が相対的に高い前記画像情報を、前記送信優先度が相対的に低い前記画像情報よりも優先的に外部に送信する画像送信手段と
    を備えることを特徴とする画像送信装置。
  2. 前記送信優先度が相対的に低い前記画像情報が前記画像送信手段により送信される際のフレームレートを、前記送信優先度が相対的に高い前記画像情報が前記画像送信手段により送信される際のフレームレートよりも低い値に設定するフレームレート変換手段を備えることを特徴とする請求項1に記載の画像送信装置。

JP2005190725A 2005-06-29 2005-06-29 画像送信装置 Expired - Fee Related JP4615380B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005190725A JP4615380B2 (ja) 2005-06-29 2005-06-29 画像送信装置
DE102006028981A DE102006028981B4 (de) 2005-06-29 2006-06-23 Bildsendevorrichtung
US11/478,197 US20070001512A1 (en) 2005-06-29 2006-06-29 Image sending apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005190725A JP4615380B2 (ja) 2005-06-29 2005-06-29 画像送信装置

Publications (2)

Publication Number Publication Date
JP2007013497A true JP2007013497A (ja) 2007-01-18
JP4615380B2 JP4615380B2 (ja) 2011-01-19

Family

ID=37562722

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005190725A Expired - Fee Related JP4615380B2 (ja) 2005-06-29 2005-06-29 画像送信装置

Country Status (3)

Country Link
US (1) US20070001512A1 (ja)
JP (1) JP4615380B2 (ja)
DE (1) DE102006028981B4 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009027669A (ja) * 2007-07-24 2009-02-05 Panasonic Corp 近距離通信装置及び近距離通信システム並びに近距離通信方法
JP2011215841A (ja) * 2010-03-31 2011-10-27 Sogo Keibi Hosho Co Ltd 警備システム
JP2016009250A (ja) * 2014-06-23 2016-01-18 トヨタ自動車株式会社 車両用緊急通報装置
JP2019087969A (ja) * 2017-11-10 2019-06-06 株式会社トヨタマップマスター 走行現調支援装置
WO2020090285A1 (ja) * 2018-10-31 2020-05-07 日本電気株式会社 通信装置、通信制御方法、及び非一時的なコンピュータ可読媒体
JP2020090225A (ja) * 2018-12-06 2020-06-11 株式会社デンソー 送信装置、及び受信装置
JP2020091704A (ja) * 2018-12-06 2020-06-11 住友電気工業株式会社 解析システム、車載装置、管理装置、解析方法および解析プログラム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4872733B2 (ja) * 2007-03-16 2012-02-08 株式会社デンソー 車載緊急通報装置
US8867622B2 (en) 2008-08-14 2014-10-21 Broadcom Corporation Method and system for priority-based digital multi-stream decoding
MY185865A (en) * 2012-09-13 2021-06-14 Mimos Berhad System for improving image processing goodput
WO2014056122A1 (en) * 2012-10-08 2014-04-17 Intel Corporation Method, apparatus and system of screenshot grabbing and sharing
US10276026B2 (en) 2013-12-06 2019-04-30 Vivint, Inc. Voice annunciated reminders and alerts
US10502574B2 (en) * 2016-09-20 2019-12-10 Waymo Llc Devices and methods for a sensor platform of a vehicle
US10277084B1 (en) 2016-10-19 2019-04-30 Waymo Llc Planar rotary transformer
CN115361212A (zh) * 2017-12-01 2022-11-18 松下电器(美国)知识产权公司 不正当检测服务器及其所执行的方法
WO2021199351A1 (ja) * 2020-03-31 2021-10-07 日本電気株式会社 遠隔監視システム、遠隔監視装置、及び方法
JP2022018428A (ja) * 2020-07-15 2022-01-27 株式会社デンソー 露出制御装置、露出制御方法、および露出制御プログラム
JP2023014750A (ja) * 2021-07-19 2023-01-31 ウーブン・プラネット・ホールディングス株式会社 移動体制御システム、移動体制御方法、移動体遠隔支援システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07304473A (ja) * 1994-05-13 1995-11-21 Toyota Motor Corp 車両周辺画像データ記録装置
JPH1169298A (ja) * 1997-08-11 1999-03-09 Secom Co Ltd 監視画像記録装置
JP2003289528A (ja) * 2002-03-28 2003-10-10 Toshiba Corp 遠隔監視システムおよび同システムの監視制御方法
JP2003306106A (ja) * 2002-04-12 2003-10-28 Matsushita Electric Ind Co Ltd 緊急通報装置
JP2004175251A (ja) * 2002-11-28 2004-06-24 Hitachi Kokusai Electric Inc 事故発生情報報知装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6104755A (en) * 1996-09-13 2000-08-15 Texas Instruments Incorporated Motion detection using field-difference measurements
US20070273762A1 (en) * 2004-03-11 2007-11-29 Johannes Steensma Transmitter and Receiver for a Surveillance System

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07304473A (ja) * 1994-05-13 1995-11-21 Toyota Motor Corp 車両周辺画像データ記録装置
JPH1169298A (ja) * 1997-08-11 1999-03-09 Secom Co Ltd 監視画像記録装置
JP2003289528A (ja) * 2002-03-28 2003-10-10 Toshiba Corp 遠隔監視システムおよび同システムの監視制御方法
JP2003306106A (ja) * 2002-04-12 2003-10-28 Matsushita Electric Ind Co Ltd 緊急通報装置
JP2004175251A (ja) * 2002-11-28 2004-06-24 Hitachi Kokusai Electric Inc 事故発生情報報知装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009027669A (ja) * 2007-07-24 2009-02-05 Panasonic Corp 近距離通信装置及び近距離通信システム並びに近距離通信方法
JP2011215841A (ja) * 2010-03-31 2011-10-27 Sogo Keibi Hosho Co Ltd 警備システム
JP2016009250A (ja) * 2014-06-23 2016-01-18 トヨタ自動車株式会社 車両用緊急通報装置
US10147247B2 (en) 2014-06-23 2018-12-04 Toyota Jidosha Kabushiki Kaisha On-vehicle emergency notification device
JP2019087969A (ja) * 2017-11-10 2019-06-06 株式会社トヨタマップマスター 走行現調支援装置
WO2020090285A1 (ja) * 2018-10-31 2020-05-07 日本電気株式会社 通信装置、通信制御方法、及び非一時的なコンピュータ可読媒体
JP2020090225A (ja) * 2018-12-06 2020-06-11 株式会社デンソー 送信装置、及び受信装置
JP2020091704A (ja) * 2018-12-06 2020-06-11 住友電気工業株式会社 解析システム、車載装置、管理装置、解析方法および解析プログラム
JP7172530B2 (ja) 2018-12-06 2022-11-16 住友電気工業株式会社 解析システム、車載装置、管理装置、解析方法および解析プログラム

Also Published As

Publication number Publication date
US20070001512A1 (en) 2007-01-04
JP4615380B2 (ja) 2011-01-19
DE102006028981B4 (de) 2008-09-25
DE102006028981A1 (de) 2007-01-11

Similar Documents

Publication Publication Date Title
JP4615380B2 (ja) 画像送信装置
KR101083885B1 (ko) 지능형 운전 보조 시스템들
CN109426258B (zh) 使用车辆通信进行同步车辆传感器数据获取处理的系统和方法
CN108227703B (zh) 信息处理装置和方法、被操作车辆及记录程序的记录介质
JP5210994B2 (ja) 車両用画像表示装置
US10558218B2 (en) Vehicle surroundings monitoring apparatus, monitoring system, remote monitoring apparatus, and monitoring method
CN111699680B (zh) 行车记录仪、显示控制方法以及存储介质
JP2006327527A (ja) 車両の走行安全装置
CN101791962A (zh) 一种机动载具之行车安全方法
US20150365810A1 (en) Vehicular emergency report apparatus and emergency report system
JP7196063B2 (ja) 撮像制御装置、および撮像制御装置の制御方法、並びに移動体
JP5680436B2 (ja) 車載カメラレンズ用異物付着判定装置
WO2019097962A1 (ja) 異常検知装置、異常検知方法および異常検知用コンピュータプログラム、並びに車両用記録装置
JP7168367B2 (ja) 事故通報装置
US11025828B2 (en) Imaging control apparatus, imaging control method, and electronic device
KR101580567B1 (ko) 이벤트 영상 촬영 녹화 장치, 이벤트 영상 제공 방법
JP4655730B2 (ja) 車両用運転支援装置
US20190045124A1 (en) Image processing apparatus, image processing method, computer program, and electronic device
JP2023113934A (ja) 撮像情報記憶装置、撮像情報記憶方法及びプログラム
JP4799236B2 (ja) 車載表示システム
US20210306551A1 (en) Vehicle display control device, display control method, and non-transitory computer-readable medium
US20220075064A1 (en) Camera system with high update rate
WO2019035177A1 (ja) 車載表示装置、画像処理装置および表示制御方法
JP2008066953A (ja) 画像監視装置
JP7112191B2 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101012

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101020

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131029

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees