JP2016092531A - 画像送信装置、画像取得方法、および画像取得プログラム - Google Patents

画像送信装置、画像取得方法、および画像取得プログラム Download PDF

Info

Publication number
JP2016092531A
JP2016092531A JP2014223047A JP2014223047A JP2016092531A JP 2016092531 A JP2016092531 A JP 2016092531A JP 2014223047 A JP2014223047 A JP 2014223047A JP 2014223047 A JP2014223047 A JP 2014223047A JP 2016092531 A JP2016092531 A JP 2016092531A
Authority
JP
Japan
Prior art keywords
information
image
moving image
vehicle
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014223047A
Other languages
English (en)
Other versions
JP6503692B2 (ja
Inventor
正善 星屋
Masayoshi Hoshiya
正善 星屋
智之 津田
Tomoyuki Tsuda
智之 津田
公嗣 磯谷
Masatsugu Isogai
公嗣 磯谷
宗 三井
So Mitsui
宗 三井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Transtron Inc
Original Assignee
Transtron Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Transtron Inc filed Critical Transtron Inc
Priority to JP2014223047A priority Critical patent/JP6503692B2/ja
Publication of JP2016092531A publication Critical patent/JP2016092531A/ja
Application granted granted Critical
Publication of JP6503692B2 publication Critical patent/JP6503692B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】撮影装置が遠方にある場合にも、撮影された所望の画像を、迅速に利用できるようにする。【解決手段】画像送信装置は、記録処理部と、送信部とを有する。記録処理部は、撮影装置により撮影される動画像を示す画像信号の第1の時間に対応する画像信号を符号化した第1の動画情報を記憶装置に記録する処理を行う。また、送信部は、所定事象の発生が検出された場合に、画像信号の、所定事象の検出時刻を含み第1の長さよりも短い第2の時間に対応する画像信号を符号化して生成される第2の動画情報を、無線通信網を介して接続される情報処理装置に送信する。【選択図】図1

Description

本発明は、画像送信装置、画像取得方法、および画像取得プログラムに関する。
近年、物品の輸送や娯楽等のため、車両が利用される機会は多く、車両運転を安全に行うことはますます重要になっている。このため、車両運転中の安全を確保するための様々な技術が開発されている。
例えば、カメラと他のセンサとを備えた複数の車両が、通常の時に、または、要求時に、または、他の車両、乗員またはサービスセンタによってそうするように要求された時に、イメージおよび他のデータを収集するシステムが知られている。イメージは、サービスセンタでの記憶装置スペースを浪費せずにサービスセンタまたは他の車両に選択的に送信されるように、車両内に永久的に記憶され、サービスセンタでのディレクトリ内に索引付けされても良い(例えば、特許文献1参照)。
ハードディスクに、撮影経路の異なる複数の動画ファイル、動画索引テーブル及びリンク索引テーブルが格納される映像検索装置が知られている。この映像検索装置では、映像モニタ上に表示される地図の道路をマウスで指定すると、道路網のリンクが特定される。リンク索引テーブルにより、特定されたリンクの動画ファイルを検索し、マウスで指定した点の座標を動画索引テーブルに照合して、フレーム番号を検索する。検索されたフレーム番号から動画を再生する(例えば、特許文献2参照)。
特開2004−29001号公報 特開2009−212959号公報
上記のように車両に搭載された撮影装置で撮影された画像は、事故原因などを解析するための情報等として活用されることがある。例えば、画像や音声を自動的に記録する車載装置で得られた画像を、可搬型の記録媒体に記録することが考えられる。このとき、画像を利用する場合には、記録媒体を車載装置から取り外した後に、パーソナルコンピュータで読み込みを行うなどの方法を用いることが考えられる。しかしながら、可搬型の記録媒体から画像を読み取る方法では、読み取りに時間がかかるとともに、必要な時に画像を検索できず、不便である。また、Computer Telephony Integration(CTI)技術を用い、ネットワークを利用して、ドライブレコーダによる画像をクラウド上に保存することが考えられるが、以下の問題がある。すなわち、クラウド上への保存のために、不必要な画像を含めて全て情報通信網を利用して送信すると、通信費用が高額となる。また、不必要な画像を含めて全てクラウド上に保存しようとすると、ストレージ費用も高額となる。このように、撮影装置が遠隔にある場合、特に撮影された画像の量が多い場合には、所望の画像を迅速に利用できないことがある。
ひとつの側面によれば、本発明の目的は、撮影装置が遠方にある場合にも、撮影された所望の画像を、迅速に利用できるようにすることである。
ひとつの態様である画像送信装置は、記録処理部と、送信部とを有する。記録処理部は、撮影装置により撮影される動画像を示す画像信号の第1の時間に対応する画像信号を符号化した第1の動画情報を記憶装置に記録する処理を行う。また、送信部は、所定事象の発生が検出された場合に、画像信号の、所定事象の検出時刻を含み第1の長さよりも短い第2の時間に対応する画像信号を符号化して生成される第2の動画情報を、無線通信網を介して接続される情報処理装置に送信する。
ひとつの実施形態によれば、撮影装置が遠方にある場合にも、撮影された所望の画像を、迅速に利用できる。
一実施の形態による画像取得システムの一例を示す図である。 一実施の形態による画像取得システムのハードウエア構成の一例を示す図である。 一実施の形態による車載システムのハードウエア構成の一例を示す図である。 一実施の形態による車載コンピュータの機能的な構成の一例を示すブロック図である。 一実施の形態によるセンサ情報の一例を示す図である。 一実施の形態による発生情報の一例を示す図である。 一実施の形態による作業情報の一例を示す図である。 一実施の形態による発生項目の一例を示す図である。 一実施の形態による所定事象の一例を説明する図である。 一実施の形態による作業情報の入力処理の一例を説明する図である。 一実施の形態による作業情報入力画面の一例を示す図である。 一実施の形態による運行情報の一例を示す図である。 一実施の形態によるフル画像記録情報の一例を示す図である。 一実施の形態による静止画送信情報の一例を示す図である。 一実施の形態によるミニ動画送信情報の一例を示す図である。 一実施の形態によるセンタシステムの機能的な構成の一例を示すブロック図(その1)である。 一実施の形態によるセンタシステムの機能的な構成の一例を示すブロック図(その2)である。 一実施の形態による取得指示画面の一例を示す図である。 一実施の形態によるインデックス情報の一例を示す図である。 一実施の形態による取得指示画像情報の一例を示す図である。 一実施の形態による車載システムにおける画像記録処理の一例を示すフローチャート(その1)である。 一実施の形態による車載システムにおける画像記録処理の一例を示すフローチャート(その2)である。 一実施の形態による車載システムにおけるミニ動画情報生成処理を示すフローチャートである。 一実施の形態による車載システムにおける出力画像生成処理を示すフローチャートである。 一実施の形態によるセンタシステムにおける画像受け付けおよび画像要求の処理を示すフローチャートである。 一実施の形態によるセンタシステムにおける画像取得指示処理を示す図(その1)である。 一実施の形態によるセンタシステムにおける画像取得指示処理を示す図(その2)である。 標準的なコンピュータのハードウエア構成の一例を示すブロック図である。
以下、一実施の形態による画像取得システム100について図面を参照しながら説明する。図1は、本実施の形態による画像取得システムの一例を示す図である。図1に示すように、画像取得システム100は、車載システム1、管理者端末110、センタシステム120を有している。車載システム1とセンタシステム120とは、通信網72を介して接続される。通信網72は、情報の授受が行われる無線通信網であり、例えば、3rd Generation(3G)回線等の携帯電話通信網であるが、インターネットなどでもよい。管理者端末110は、センタシステム120と、通信網74を介して接続される。通信網74は、有線または無線の通信網であり、インターネットとしてもよい。
車載システム1は、車両30に備えられる。車載システム1は、車載装置3、車両の周囲の動画像を撮影する撮影装置、および、車両の運行状況に関連する計測値を検出する各種センサを有する。車載装置3は、記録処理部75および送信部80を有する。以下の説明では、画像送信装置として、車載装置3を例として説明される。
記録処理部75は、例えば、車載装置3で撮影された動画像を示す動画像信号の第1の時間に対応する画像信号を符号化して生成される第1の動画情報を記憶装置77に記録する処理を行う。第1の動画情報は、動画像信号が取得される間、順次生成され、記憶される。フル動画情報は、第1の動画情報の一例である。記憶装置77は、例えば、車載装置3に内蔵される記憶装置、可搬型記録媒体、外部記憶装置などの記憶装置である。
送信部80は、動画像信号から生成される第2の動画情報を出力する。第2の動画情報は、例えば、車両の事故の原因となる可能性が高い事象として予め定められた所定事象の発生が検出された場合に、画像信号の、所定事象の検出時刻を含み上述の第1の長さよりも短い第2の時間に対応する画像信号を符号化して生成される。ミニ動画情報は、第2の動画情報の一例である。所定事象の詳細は、後述される。
送信部80は、車両に備えられた撮影装置により撮影される動画像の予め決められたタイミングにおける静止画像を示す静止画情報と、静止画情報を識別する静止画識別情報とを出力する。また、送信部80は、各種センサから取得した計測値等に基づき生成される、車両の挙動を示す車両挙動情報を、センタシステム120に出力するようにしてもよい。所定事象動画識別情報や静止画識別情報は、車両挙動情報の一部を含むようにしてもよい。出力される情報の詳細については、後述される。なお、記録処理部75、送信部80は、例えば、車載装置3に備えられた演算処理装置が、所定の制御プログラムを読み込み実行することによって実現される機能である。
車載装置3は、センタシステム120との通信や各種センサ、撮影装置の動作を制御するための演算処理を行うコンピュータ等を有する。車載装置3は、車両挙動情報を、例えば定期的に、または、所定事象が発生した場合に、または、作業に関する情報の入力があった場合に、センタシステム120に出力する。所定事象とは、事故の原因となる可能性が高い事象として予め定められた事象である。所定事象には、車両の運転者の覚醒度の低下を示す車両の挙動が含まれる。運転者の覚醒度が低下している状態とは、例えば、居眠り、ナルコレプシ等の身体的疾患を有する状態など、運転者が運転を継続するのが危険な状態、または危険な予兆がある状態である。
上記のように、本実施の形態による画像取得システム100では、車両30に備えられた車載システム1で動画像が撮影され、動画像を示す動画像信号が生成される。この動画像は、例えば、車両30の運行中、常時撮影されることが好ましい。生成された動画像信号の第1の時間分の動画像信号に対応する第1の動画情報が生成される。第1の時間は、例えば10秒である。このとき、例えば、第1の動画情報は、Moving Picture Experts Group(MPEG)等の手法を用いた符号化により生成され、例えば可搬型記録媒体に記録される。
本実施の形態では、第1の動画情報に対応する動画像を、フル動画ということがある。第1の動画情報を、フル動画情報ということがある。第1の動画情報を識別する第1の動画識別情報をフル動画識別情報ということがある。フル動画情報は、車両の運行中常時記録され、記録媒体の容量を超えると、古いほうから上書きされることが好ましい。記憶装置77としてSDカードを用いる場合、記録可能時間は、例えば100時間以上等の時間が想定される。なお、フル動画は、第1のフレームレート(例えば、10〜30フレーム毎秒)で第1の解像度(例えば、1280×720画素)を有する動画としてもよい。
また、一般的に車両の事故の原因となる可能性が高い事象として予め定められた所定事象の発生が検出された場合に、所定事象動画像情報が生成され出力される。所定事象動画像情報は、所定事象の検出時刻を含む上述の第1の時間よりも短い第2の時間に対応する画像信号に基づき生成される。第2の動画情報に対応する動画像を、以下、ミニ動画ということがある。以下、第2の動画情報を、ミニ動画情報ということがある。ミニ動画は、例えば、フル動画の第1のフレームレートよりも低い第2のフレームレート、または第1の解像度よりも低い第2の解像度を用いた動画像としてもよい。第2の時間は、フル動画の第1の時間より短い時間であって、所定事象の発生状況が確認可能である時間(例えば、検出時刻の前後数秒など)が好ましい。なお、ミニ動画情報は、Motion−Joint Photographic Experts Group(JPEG)、MPEG等の手法により生成される。ミニ動画情報は、例えばセンタシステム120へ、無線通信網を介して出力される。このとき、ミニ動画と所定事象の発生とを対応付ける所定事象動画識別情報(以下、ミニ動画識別情報ということがある)が、ミニ動画情報と共に出力される。
さらに、動画像信号に基づき、例えば所定時間毎等、予め決められたタイミングでの静止画像に対応する静止画情報が生成される。予め決められたタイミングとは、例えば、一定時間毎(例えば数分毎など)のタイミングなどとしてもよい。このタイミングは、例えば、車載システム1の初期設定時に、あるいは、車両30の運行前などに設定しておくことが好ましい。例えば、車両30の速度が速いときには短い時間間隔、遅いときには、速度が速いときよりも短い時間間隔、など、車速に応じて可変のタイミングに自動的に設定されるようにしてもよい。静止画情報は、例えばJPEG等の手法を用いて生成される。静止画情報は、静止画情報を識別する静止画識別情報と共に、例えばセンタシステム120へ、無線通信網を介して出力される。
なお、フル動画識別情報、ミニ動画識別情報、静止画識別情報は、それぞれ、後述する車両30の運行状況を示す運行情報を含むようにしてもよい。ミニ動画識別情報、静止画識別情報は、フル動画識別情報によりフル動画情報のいずれか少なくとも一つを特定する特定情報を含むことがこのましい。特定情報は、例えば、動画像取得時の日時などとすることができる。フル動画情報は、センタシステム120から出力要求があると、センタシステム120へ出力される。
センタシステム120は、車載システム1から受信した車両挙動情報を蓄積した、車両の運行状況を示す運行情報を記憶する。運行情報は、蓄積された車両挙動情報の全てを指すこともあるし、一つ一つの情報を指すこともある。運行情報は、車両30の走行中に計測される車両30の運行状況を示す複数の運行情報のうちのひとつであってもよい。なお、車両挙動情報と運行情報とを、説明の都合上、互いに区別して記載することがあるが、運行情報は、車両挙動情報が蓄積された情報である。よって、車両挙動情報は、運行情報の一例である。
図2は、一実施の形態による画像取得システム100のハードウエア構成の一例を示す図である。センタシステム120は、車載通信サーバ123、データサーバ125、ウエブサーバ127を有している。車載通信サーバ123、データサーバ125、ウエブサーバ127は、互いに接続され、情報の授受を行う情報処理装置である。車載通信サーバ123は、車載システム1との間で、通信網72を介して情報の授受を行う。データサーバ125は、運行情報や、車載システム1から出力される画像情報の記憶処理を制御する情報処理装置である。ウエブサーバ127は、通信網74を介する管理者端末110との通信を制御する情報処理装置である。通信網74は、例えば、インターネットなど、有線または無線による公衆回線通信網である。管理者端末110は、必ずしも備えられなくてもよく、管理者端末110で行う処理を、センタシステム120の例えばウエブサーバ127で行うようにしてもよい。また、車載通信サーバ123、データサーバ125、ウエブサーバ127の処理を一台の情報処理装置で行うようにしてもよい。
図3は、一実施の形態による車載システムのハードウエア構成の一例を示す図である。図3に示すように、車載システム1は、車載装置3、アンテナ31、車速センサ33、エンジン回転センサ35、温度センサ37、Car Area Network(CAN)39を有している。
車載装置3は、車載コンピュータ5、スピーカ7、カメラ9、ジャイロセンサ11、加速度センサ13、Global Positioning System(GPS)15、メディア駆動部17を有している。また、車載装置3は、入力部19、第1通信部21、第2通信部23、第3通信部25、メモリ27、表示部29を有している。
車載コンピュータ5は、車載装置3や、各種センサの動作を制御する情報処理装置である。車載コンピュータ5は、例えばプロセッサ6を有している。車載コンピュータ5は、予め例えばメモリ27などに記録された制御プログラムをプロセッサ6が読み込み、実行することにより、車載システム1の動作を制御するようにしてもよい。
アンテナ31は、例えばGPS15のための信号の受信を行うアンテナである。車速センサ33は、車両30の速度を検出する検出装置である。エンジン回転センサ35は、車両30のエンジン回転を検出する検出装置である。温度センサ37は、車両30の車内あるいは貨物室等の温度を検出する検出装置である。CAN39は、ワイパの動きなどの情報を車載装置3に出力する装置である。
スピーカ7は、例えば警告音などの音声を出力する装置である。カメラ9は、例えば車両の前方、側方など周囲の画像を撮影する装置である。カメラ9は、複数台備えられ、例えば車両を俯瞰する画像を生成するなどの変形は可能である。ジャイロセンサ11は、車両30の傾きを検出する検出装置である。加速度センサ13は、車両30の例えば3次元の加速度を検出する装置である。GPS15は、例えばアンテナ31を介して衛星からの信号を受信することにより、現在の位置(緯度、経度)を取得する装置である。メディア駆動部17は、例えば、Secure Disital memory card(SDカード)18などの記録媒体を駆動し、情報の読み出しおよび書き込みを行う装置である。
入力部19は、例えば、タッチパネル、スイッチ、ボタン等、情報の入力を受け付ける装置である。第1通信部21は、例えば3G回線による通信を行う装置である。第2通信部23は、例えば、無線Local Area Network(LAN)による通信を行う通信装置である。第3通信部25は、例えばBluethooth(登録商標)などによる近距離通信を行う通信装置である。メモリ27は、Random Access Memory(RAM)等の記憶装置である。表示部29は、液晶表示装置など、情報を表示する表示装置である。これら車載システムのハードウエア構成要素は、一般的な構成の一例であり上記センサ等を全て具備する必要がないことは言うまでもない。
図4は、一実施の形態による車載コンピュータの機能的な構成の一例を示すブロック図である。図4に示すように、車載コンピュータ5は、Input Output(IO)制御部51、通信制御部53、メモリ制御部55、Human Machine Interface(HMI)制御部57を有している。車載コンピュータ5は、画像処理部61、第1画像記録部62、第2画像記録部63、画像抽出部64、トリガ検知部65、運行管理制御部67を有している。図4に示した各機能ブロックは、例えば、車載コンピュータ5において、プロセッサ6が、所定の制御プログラムを読み込み、実行することにより実現される。また、機能ブロックの少なくとも一部が、半導体集積回路等のハードウエアとして構成されてもよい。
IO制御部51は、車載コンピュータ5の入出力を制御する。通信制御部53は、第1通信部21〜第3通信部25による通信を制御する。通信制御部53は、情報を送受信する際に一時的にデータが書き込まれる送信バッファや受信バッファを含むようにしてもよい。通信制御部53は、送信部の一例である。メモリ制御部55は、メモリ27への情報の書き込み読み出しを制御する。HMI制御部57は、入力部19、表示部29とプロセッサ6との間の情報の授受を制御する。
画像処理部61は、カメラ9で撮影された画像に基づき生成された例えばYUV形式の動画像信号を受け付け、各ブロックに出力するなどの処理を行う。また、画像処理部61は、受け付けた動画像信号を、順次メモリ27に記憶させる。これにより、メモリ27には、例えば、予め決められた時間分の画像信号が繰り返し記憶される。
第1画像記録部62は、画像処理部61から出力される動画像信号をMPEG等の方式によりフル動画情報に変換し、例えばSDカード18に記録する。例えば、SDカード18には、第1の長さ分の時間の動画像信号を変換したフル動画情報が複数、記録されるようにしてもよい。夫々のフル動画情報には、例えば、撮影時の車両の位置、撮影日時等を示すフル動画識別情報を共に記録させるようにすることが好ましい。第1画像記録部62は、記録処理部の一例である。
第2画像記録部63は、カメラ9で撮影された動画像信号に基づき、JPEG等の方式により画像情報を生成する。生成された画像情報は、通信制御部53の送信バッファに一時的に格納され、通信網72を介して、例えばセンタシステム120に送信される。このとき第2画像記録部63は、画像情報を識別する識別情報として、例えば撮影の日時、撮影時の車両の位置等を、画像情報と共に記録することが好ましい。なお、第2画像記録部63は、ミニ動画情報、ミニ動画識別情報、静止画情報、および静止画識別情報を生成し、通信制御部53を介して、例えばセンタシステム120へ送信する。
画像抽出部64は、例えば、カメラ9で撮影された画像において、2値化や特徴量抽出などの処理を行い、得られた情報に基づき、ナンバプレートや白線を認識するなどの画像認識処理を行う機能を有しても良い。また、画像抽出部64は、センタシステム120から画像出力要求を取得した場合に、画像出力要求に応じた日時の画像を含む動画情報を、SDカード18に記録されたフル動画情報から抽出し、通信制御部53を介してセンタシステム120に送信する。画像出力要求を行う際に生成される出力要求情報については後述する。
トリガ検知部65は、各種センサや、画像認識の結果に基づき、所定事象の発生をトリガとして検出し、運行管理制御部67に出力する。所定事象は、例えば、後述する白線逸脱、車間距離異常、急ブレーキ、急加速、急ハンドルなどである。このときトリガ検知部65は、例えば、画像処理部61で認識されたナンバプレートの大きさに基づき、車間距離を検出する。ナンバプレートは全国統一の大きさであることから、画像処理部61で認識されたナンバプレートの大きさと、カメラ9の画角とから、車間距離を算出することができる。なお、トリガ検知部65は、例えばレーダによる計測値など、他の方法で車間距離を算出することで、所定事象の発生を検出するようにしてもよい。その場合、車両30には、必要な検出器が備えられる。
運行管理制御部67は、センタシステム120との情報の送受信を行う。このとき運行管理制御部67は、センタシステム120へ出力する情報の生成を行う。例えば運行管理制御部67は、カメラ9、GPS15、温度センサ37、CAN39等からの計測値の取得、取得した計測値、または所定事象や作業情報の入力に基づく車両挙動情報の生成、およびセンタシステム120への出力を行う。センタシステム120へ出力する車両挙動情報の詳細については、後述される。また、運行管理制御部67は、車速センサ33による車速の検出、エンジン回転センサ35によるエンジン回転等の検出、および検出値の記憶などの制御を行う。
一例として、カメラ9から取得した画像に基づき、画像情報を生成して出力する際の情報の流れとしては、以下のようになる。第1画像記録部62は、画像処理部61から受け付けた画像信号に基づき、例えばMPEG等の手法を用いてフル動画情報を生成し、メディア駆動部17を介してSDカード18に記録させる。
ミニ動画情報を出力する場合、画像処理部61は、カメラ9から、IO制御部51が受け付けた画像信号を第2画像記録部63に出力する。第2画像記録部63は、受け付けた画像信号に基づき例えばMotion−JPEGなどの手法によりミニ動画情報を生成し、通信制御部53に出力する。通信制御部53は、例えば、一時的に送信バッファに記録されたミニ動画情報を、第1通信部21などを介してセンタシステム120へ送信させる。
静止画情報を出力する場合、画像処理部61は、カメラ9から、IO制御部51が受け付けた画像信号を第2画像記録部63に出力する。第2画像記録部63は、画像処理部61から受け付けた画像信号に基づき、例えばJPEGなどの手法を用いて静止画情報を生成し、通信制御部53に出力する。通信制御部53は、例えば、一時的に送信バッファに記録された静止画情報を、第1通信部21などを介してセンタシステム120へ送信させる。
運行管理制御部67は、各センサからの計測値に基づきセンサ情報151などの車両挙動情報を生成し、通信制御部53、および、第1通信部21または第2通信部23を介してセンタシステム120に出力する。なお、車載システム1からセンタシステム120へ出力される車両挙動情報は、例えば、後述するセンサ情報151、発生情報153、作業情報155を含む。センサ情報151、発生情報153、作業情報155の一部は、適宜、フル動画情報、ミニ動画情報、または静止画情報に対応付けられる。詳細は後述される。
以下、センサ情報151、発生情報153、作業情報155について説明する。センサ情報151、発生情報153、作業情報155は、車両挙動情報である。図5は、一実施の形態によるセンサ情報の一例を示す図である。図6は、一実施の形態による発生情報の一例を示す図である。図7は、一実施の形態による作業情報の一例を示す図である。
図5に示すように、センサ情報151は、車載システム1において、各センサで取得された情報を含んでいる。センサ情報151は、車両番号、データ区分、日時、位置(緯度・経度)、車速、エンジン回転数、Gセンサ値、ジャイロ値、CAN値、車間距離などを有している。車両番号は、車両に固有の識別番号である。データ区分は、車両挙動情報のうちのデータの種類を示す区分であり、センサ情報151の場合は「センサ情報」であることを示す情報である。
日時は、センサ情報151が取得された日時であり、例えば車載コンピュータ5のプロセッサ6に内蔵の計時機能を用いて取得される。位置は、センサ情報151が取得された際の車両の緯度経度であり、例えばアンテナ31およびGPS15を介して取得される。車速は、センサ情報151が取得された日時において車速センサ33から取得された車両の速度である。エンジン回転数は、センサ情報151が取得された日時において、エンジン回転センサ35から取得されたエンジンの回転数である。Gセンサ値は、センサ情報151が取得された日時において、加速度センサ13から取得された加速度値である。ジャイロ値は、センサ情報151が取得された日時においてジャイロセンサ11から取得された、角速度などを示す値である。CAN値は、CAN39において検出される検出値であり、例えば、車両30におけるワイパの使用状況を示す。車間距離は、車間距離検出部62により算出される車間距離である。
センサ情報151は、図5に記載のセンサ情報以外のセンサからの値を含むようにしてもよい。センサ情報151は、上記のように、例えば一定時間毎に各種センサから取得した計測値の情報であり、一定時間毎に出力される。さらにセンサ情報151は、作業情報、発生情報が取得された際、または、出力する情報を一時的に格納している送信バッファに空きがなくなった場合等に、センタシステム120に出力されるようにしてもよい。あるいは、センサ情報151は、SDカード18などに蓄積され、運行が終了した後などにSDカード18をセンタシステム120で読み込むことにより、センタシステム120で受け付けられるようにしてもよい。
図6に示すように、発生情報153は、危険な運転に関係する所定事象の発生を示す情報である。発生情報153は、車両番号、データ区分、日時、発生項目を有している。データ区分は、発生情報153の場合「発生情報」であることを示す情報である。発生項目は、例えば、図8に示す発生項目159に含まれる、所定事象の種類を示す情報である。発生情報153は、トリガ検知部65が所定事象の発生を検出すると、運行管理制御部67で生成されて出力される。発生情報153は、SDカード18に記憶され、センタシステム120によりSDカード18から読み込まれるようにしてもよい。
図8は、一実施の形態による発生項目の一例を示す図である。発生項目159は、白線逸脱、車間距離異常、急ブレーキ、急加速、急ハンドルを有している。発生情報153は、例えば、発生項目159に示した項目の状況が観測された場合、センタシステム120に出力されるようにしてもよい。本実施の形態において、発生情報153は、後述するミニ動画情報と共にセンタシステム120に出力されることが好ましい。
図9は、一実施の形態による所定事象の一例を説明する図である。図9において、車両30が自車両であるとする。図9は、車両30が、2本の白線167、白線168で示された車線を走行中であることを示している。車両30の前方には他車両163が走行し、後方には他車両165が走行しているとする。このとき、距離a1は、車両30の進行方向左側の白線167との距離であり、距離a2は、右側の白線168との距離である。また、車間距離bは、車両30と他車両163との距離である。矢印cは、車両30が、矢印cの方向に急に進む急発進を示している。矢印dは、急激な減速が行われる急ブレーキを示している。矢印eは、急に進行方向が変更される急ハンドルを示している。
白線逸脱は、例えば、距離a1と距離a2との差が所定以上になる状態、あるいは、白線167、白線168のいずれかを踏み越えてしまう状態などをいう。白線逸脱は、例えば、カメラ9で撮影された画像に基づき、車載コンピュータ5の画像処理部61で認識された白線の位置に基づき判定される。画像を用いて白線逸脱を判定する場合、例えば、カメラによって得た画像を所定のテンプレートと比較して相関演算を行い、相関の高いテンプレート位置を白線位置として検出する技術を用いて、白線が検出されるようにしてもよい。そして、車載コンピュータ5の画像処理部61は、検出した白線の画像上の位置から、距離a1、距離a2を算出し、白線逸脱を判定するようにしてもよい。
車間距離異常は、例えば、前方の車両との車間距離bが、所定距離以下の状態である。車間距離bは、上述のように、カメラ9で撮影された画像に基づき、車載コンピュータ5で算出されるようにしてもよい。別の方法として、例えば、専用のミリ波レーダなどを用いて車間距離bが検出されるようにしてもよい。
急ブレーキ、急加速は、例えば加速度センサ13で検出された加速度が所定の範囲である場合としてもよい。急ハンドルは、例えばジャイロセンサ11からの出力値が所定の範囲である場合としてもよい。
図7は、作業情報155の一例を示す図である。作業情報155は、車両の運転者が行った作業に関する情報である。作業情報155は、車両番号、データ区分、日時、作業項目を有している。以下、作業情報の取得方法について説明する。
図10は、一実施の形態による作業情報の入力処理の一例を説明する図である。図11は、一実施の形態による作業情報入力画面の一例を示す図である。図10に示すように、作業情報入力時は、車載装置3における車載コンピュータ5の通信制御部53、メモリ制御部55、HMI制御部57、運行管理制御部67の機能が用いられる。また、第1通信部21、メモリ27、表示部29、入力部19が用いられる。
また、車載装置3には、表示装置191、入力キー193、テンキー195が備えられているとする。表示装置191は、情報を表示する装置であり、例えば液晶表示装置である。表示装置191は、情報を入力する機能を有するタッチパネルであってもよい。入力キー193は、例えば、各キーに処理が関連付けられたファンクションキーである。入力キー193のうちのひとつは、例えば作業情報の入力開始処理に関連付けられているとしてもよい。テンキー195は、数字を入力するためのキーである。
入力部19は、例えば入力キー193、テンキー195などの押下を受け付ける。HMI制御部57は、入力部19が受け付けたキーの押下に対応付けられた処理を認識し、対応する情報を出力する。また、HMI制御部57は、例えば運行管理制御部67から入力された情報を変換して、表示部29に表示させる。メモリ制御部55は、メモリ27への情報の読み書きを制御する。運行管理制御部67は、入力部19、HMI制御部57を介して入力された作業情報に基づき、上述した作業情報155を生成する。また、運行管理制御部67は、作業情報の入力が完了したことを示す情報をHMI制御部57に出力する。通信制御部53は、第1通信部21を介してセンタシステム120に、生成された作業情報155を送信する。
例えば入力キー193の押下により作業情報の入力が開始された場合には、図11に示すように、表示装置191に、選択項目一覧201が表示されるようにしてもよい。例えば、テンキー195で「4」のキーが押下されると、「休憩」が開始されたことが認識され、表示例203が表示される。このとき、運行管理制御部67は、作業情報155として「休憩開始」を示す情報を生成し、センタシステム120に送信する。他の項目の場合も同様に、押下されたキーに応じて作業情報が入力される。以上のようにして、作業情報155が取得される。表示例203に示すように、作業情報として、例えば、「荷積」、「荷卸」に対応するキーが押下されることにより、車両30が荷物を積載しているか否かを示す情報が入力される。なお、作業情報155は、SDカード18に書き込まれることが好ましい。センタシステム120は、SDカード18から作業情報155を読み取ることにより受け付けるようにしてもよい。
運行情報207の一例についてさらに説明する。図12は、一実施の形態による運行情報の一例を示す図である。図12に示すように、運行情報207は、例えば同一の車両番号を持つセンサ情報151、発生情報153、作業情報155を、時系列に蓄積した情報とすることができる。センタシステム120では、受け付けたセンサ情報151、発生情報153、作業情報155をデータサーバ125に時系列に蓄積することにより、運行情報207を生成するようにしてもよい。また、センサ情報151、発生情報153、作業情報155は、車載システム1において、SDカード18に時系列に蓄積され、運行情報207として記憶されるようにしてもよい。
次に、車載システム1で生成され、車載システム1により記憶され、あるいはセンタシステム120に送信される画像情報を含むデータの構成について説明する。図13は、フル画像記録情報の一例を示す図である。フル画像記録情報210は、車載システム1の例えば第1画像記録部62で生成され、例えばSDカード18に記録される情報の一例である。
図13に示すように、フル画像記録情報210は、車両番号、データ区分(フル動画)、日時、位置(緯度・経度)、画像(フル動画情報)を有している。ここで、フル画像記録情報210は、センサ情報151と画像(フル動画情報)を備える例でもよい。例えば、フル画像記録情報210は、フル動画の第1の時間に対応するフル動画情報78を有していることが好ましい。フル動画情報は、例えばIフレームから次のIフレームまでに対応する動画情報とするようにしてもよい。フル画像記録情報210は、例えば、第1画像記録部62で生成される。
次に、車載システム1からセンタシステム120へ出力される画像情報について説明する。図14は、静止画送信情報212の一例を示す図である。図14に示すように、静止画送信情報212は、車両番号、データ区分、日時、位置、画像(静止画情報)を含んでいる。データ区分は、静止画送信情報212の場合、「静止画」に対応する静止画情報であることを示す情報である。画像は、カメラ9で取得された画像信号から生成した例えば静止画情報84である。静止画送信情報212は、所定事象の発生が検知されると、第2画像記録部63により生成され、発生情報153と共に出力されることが好ましい。静止画送信情報212は、センタシステム120では、例えば、画像情報133として記録される。
図15は、ミニ動画送信情報214の一例を示す図である。図15に示すように、ミニ動画送信情報214は、車両番号、データ区分、日時、位置、画像を含んでいる。データ区分は、ミニ動画送信情報214の場合、「ミニ動画」に対応するミニ動画情報であることを示す情報である。画像は、例えば、カメラ9で取得された画像信号から生成されたミニ動画情報82である。ミニ動画送信情報214は、例えば、第2画像記録部63により生成される。ミニ動画送信情報214は、センタシステム120では、例えば、画像情報133として記録される。
次に、センタシステム120の機能的な構成について説明する。図16、図17は、一実施の形態によるセンタシステムの機能的な構成の一例を示すブロック図である。図16に示すように、センタシステム120は、車載通信サーバ123、データサーバ125、ウエブサーバ127を有している。図16において、矢印により運行情報、画像情報の記録処理での情報の流れが示されている。センタシステム120は、全体として、情報処理装置の一例とすることができる。
車載通信サーバ123は、車載システム1から出力された車両挙動情報、画像情報等の情報を受信し、データサーバ125に出力する(矢印501、503)。データサーバ125は、運行情報131、画像情報133を記憶している。データサーバ125は、受け付けた情報を適宜記憶するとともに、記憶した情報を読み出す処理を行う。例えば、データサーバ125は、受け付けた情報がセンサ情報151、発生情報153、作業情報155など車両挙動情報の場合、運行情報131に記憶させる。例えば、データサーバ125は、受け付けた情報が、フル画像記録情報210、静止画送信情報212、ミニ動画送信情報214など画像情報を含む場合、画像情報133に記憶させる。車両毎に記憶された車両挙動情報を、運行情報ということがある。センタシステム120は、例えば外部に備えられたメディア駆動装置によりSDカード18等から情報を読み込むことで、運行情報を受け付けるようにしてもよい。
運行情報131は、車載装置3から、センサ情報151、発生情報153、作業情報155が、例えば時系列に記憶された運行情報207を含む情報である。画像情報133は、車載装置3からミニ動画送信情報214、静止画送信情報212、後述する取得指示画像情報237として受け付けたミニ動画情報141、静止画情報143、フル動画情報145などを含む。
ウエブサーバ127は、画像取得指示部171、画面生成部173を有している。画面生成部173は、取得指示画面175、画像表示画面177などを生成する。画像取得指示部171は、データサーバ125に記憶された画像情報131に基づき、車載装置3に送信させる画像の取得に関する指示を行う。
図17には、矢印により、センタシステム120が車載システム1から画像を取得する処理における情報の流れが示されている。図17に示すように、まず、例えば管理者端末110から取得指示画面を表示させるための要求が発生する場合を考える。画面生成部173は、管理者端末110からの取得指示画面175の表示要求を受け付け(矢印511)、画像取得指示部171に受け付けた要求を出力する(矢印512)。画像取得指示部171は、運行情報131、画像情報133から対応する運行情報と画像情報とを取得する(矢印513、514)。画像取得指示部171は、取得した情報を、画面生成部173へ出力する(矢印515)。画面生成部173は、受け付けた運行情報131、画像情報133を用いて、取得指示画面175を生成し、管理者端末110へ出力する(矢印516)。
管理者端末110で、取得指示画面175を介して入力された画像取得指示が画像取得指示部171に出力される(矢印511)。画像取得指示は、例えば、選択されたミニ動画位置226などを含む。画像取得指示を受け付けると、画像取得指示部171は、受け付けた画像取得指示に応じて、出力要求情報として、後述するインデックス情報235を生成する。画像取得指示部171では、車載通信サーバ123を介して、車載システム1にインデックス情報235を送信する(矢印517、518)。
車載システム1では、例えば画像抽出部64が、SDカード18からインデックス情報235に対応するフル動画情報を抽出し、後述する取得指示画像情報237としてセンタシステム120へ出力する(矢印519)。センタシステム120では、ウエブサーバ127が取得指示画像情報237を受け付けると(矢印520、521)、画面生成部173は、取得指示画像情報237に含まれる画像情報を用いて画像表示画面177を生成し(矢印522、523)、管理者端末110に出力する(矢印524)。管理者端末110では、受け付けた画像表示画面177を表示する。画像表示画面177としては、取得したフル動画のみを再生させる画面としてもよい。また、後述する取得指示画面220において、画像取得を要求した地点に表示を行うような形態でもよい。
図18は、取得指示画面の一例を示す図である。図18は、取得指示画面の一例として取得指示画面220を示している。取得指示画面220には、地図上に静止画位置222、画像種別表示224、ミニ動画位置226、画像種別表示228などが表示されている。矢印229は、車両30の走行軌跡を示している。
画像種別表示224は、例えば、車両30がこの地点を走行していたときに撮影された画像の種別を示す表示である。画像種別表示224は、例えば静止画そのものとしてもよい。ミニ動画種別表示228は、車両30が動画位置226を走行していたときに撮影された画像の種別を示す表示である。画像種別表示228は、例えばクリックすると動画の再生が始まるような表示を行ってもよい。画像識別情報230は、ミニ動画位置226におけるミニ動画の識別情報である。画像識別情報230は、車両の識別番号と、画像取得日時を含んでいる。
画像種別表示224において、例えば静止画位置222の地点をクリックする等、選択操作が行われると、画像種別表示224の撮影時を含むフル動画を取得する画像取得指示が取得されるようにしてもよい。取得された画像取得指示は、例えば、後述するインデックス情報235が、車載システム1に送信される。車載システム1は、SDカード18から画像を抽出し、後述する取得指示画像情報237として出力する。
図19は、インデックス情報235の一例を示す図である。インデックス情報235は、所望の日時のフル動画を取得する指示を含む出力要求情報の一例であり、センタシステム120から車載システム1に送信される。
図20は、取得指示画像情報237の一例を示す図である。図20に示すように、取得指示画像情報237は、車両番号とフル動画の日時を含むインデックス情報235に、フル動画の画像(例えば、フル動画情報145)を付加した情報となる。
以下、フローチャートを参照しながら、本実施の形態による画像取得方法の処理についてさらに説明する。図21、図22は、車載システム1における画像記録処理の一例を示すフローチャートである。図17に示すように、車載装置3の画像処理部61は、例えば、カメラ9での撮影が開始され、画像処理部61により、フル動画情報の記録が開始できる状態になるまで待機する(S301:NO)。記録が開始されると(S301:YES)、第1画像記録部62は、例えばSDカード18に、記録開始マーカを付与する(S302)。
画像処理部61は、カメラ9による画像信号を取得する(S303)。この画像信号の取得は、例えばカメラ9による撮影が継続している間、永続的に行われる。画像処理部61は、例えば車載装置3のメモリ27に、カメラ9による画像信号を記録させる処理を開始する(S304)。メモリ27では、空き領域がなくなった場合、先に記録されたデータから順に消去され、新しいデータが上書き保存される。メモリ27には、例えば、最大数十秒の画像信号が記録されるようにしてもよい。
第1画像記録部62は、取得した画像信号から、例えばMPEGの手法による動画圧縮用のIフレームを生成する(S305)。第1画像記録部62は、SDカード18に、Iフレームの記録を行う(S306)。
図22に示すように、第1画像記録部62は、カメラ9の画像信号より、動画圧縮用のPフレームを生成する(S311)。第1画像記録部62は、SDカード18に、Pフレーム情報の記録を行う(S312)。
第1画像記録部62は、Iフレーム切替え時間、すなわち第1の時間に到達したか否か判定し、到達していない場合、S311に戻って処理を繰り返す(S313:NO)。この処理により、一つのフル動画情報145が記録される。このとき、フル画像記録情報210が生成される。Iフレーム切替え時間に到達した場合(S313:YES)、第1画像記録部62は、運行管理制御部67により、センサ情報151を送信バッファに記録させる(S314)。第1画像記録部62は、静止画記録時間に到達したか否か判定し、到達していない場合(S315:NO)、S305に戻って処理を繰り返す。到達した場合(S315:YES)、第2画像記録部63は、メモリ27から画像信号を読み出し、静止画像情報を生成する(S316)。第2画像記録部63は、静止画情報を運行管理制御部67へ出力する。運行管理制御部67は、静止画像情報に対応する車両挙動情報を例えばSDカード18から読み出して静止画送信情報212を生成し、送信バッファに一時的に記憶させるとともに、通信制御部53により、センタシステム120に送信する(S317)。
図23は、車載システム1におけるミニ動画情報生成処理を示すフローチャートである。図23に示すように、車載システム1では、トリガ検知部65は、所定事象が検知されるまで待機する(S321:NO)。所定事象が検知されると(S321:YES)、第2画像記録部63は、メモリ27に必要な画像信号が記録されるまで所定時間待ち合わせる(S322)。第2画像記録部63は、メモリ27から、所定事象の検知前後の第2の時間の画像を取得し(S333)、符号化を行うことにより、ミニ動画情報を生成する(S334)。運行管理制御部67は、第2画像記録部63で生成されたミニ動画情報に応じた車両挙動情報を例えばSDカード18から読み出し、ミニ動画送信情報214を生成する。ミニ動画送信情報214は、送信バッファに一時的に記録され、通信制御部53を介してセンタシステム120に送信される(S335)。
図24は、車載システム1における出力画像生成処理を示すフローチャートである。図24に示すように、センタシステム120から画像の出力要求があるまで、画像抽出部64は待機する(S341:NO)。画像の出力要求情報としてインデックス情報235を受け付けると(S341:YES)、画像抽出部64は、インデックス情報235に基づき、対応する日時に応じたフル動画情報をSDカード18から抽出する(S342)。運行管理制御部67は、抽出されたフル動画情報に基づき取得指示画像情報237を生成し、センタシステム120へ出力する(S343)。
図25は、センタシステム120における画像受け付けおよび画像要求の処理を示すフローチャートである。図25に示すように、車載通信サーバ123は、車載装置3との間の通信を確立する(S351)。このとき、例えば、車載装置3の電源がオンでない場合、センタシステム120から車載装置3の電源をオンさせる指示を与えて車載装置3を起動させるシステムを備えるようにしてもよい。
車載通信サーバ123は、車載装置3からのデータ受信ポーリングがあった場合(S352:YES)、受信データ種別を判定する(S353)。受信データ種別が車両挙動情報の場合(S353:車両挙動情報)、データサーバ125は、受け付けた情報を運行情報131へ記録し(S354)、処理をS356に進める。受け付けた情報が画像情報の場合(S353:画像情報)、データサーバ125は、受け付けた情報を画像情報133に記録し(S355)、処理をS356に進める。
車載通信サーバ123は、データ受信ポーリングが例えば所定時間確認できない場合(S352:NO)、処理をS356に進める。
車載通信サーバ123は、データ送信ポーリングを例えばウエブサーバ127から受け付けた場合(S356:YES)、車載システム1に、画像の出力を要求する出力要求情報を送信する(S357)。車載通信サーバ123は、例えば所定時間データ送信ポーリングを確認できない場合(S356:NO)、S352から処理を繰り返す。
図26、図27は、センタシステム120における画像取得指示処理を示す図である。図26に示すように、ウエブサーバ127では、画面生成部173が、運行情報207に基づき、取得指示画面175の地図部分と車両の軌跡を含む走行軌跡情報を生成する。走行軌跡情報に含まれる地図部分で取得された、静止画送信情報212、ミニ動画送信情報214がある場合、画像情報133から対応する静止画情報143、ミニ動画情報141を取得する。画面生成部173は、走行軌跡情報および取得した画像情報に基づき取得指示画面175を生成する(S373)。画面生成部173は、生成した取得指示画面175を、利用端末、例えば管理者端末110に出力する(S374)。
画面生成部173は、管理者端末110から取得指示がない場合(S375:NO)、所定時間経過するまで判定を繰り返し(ステップ376:NO)、所定時間経過すると(S376:YES)、処理を終了する。
画面生成部173は、取得指示を受け付けると(S375:YES)、取得すべきフル動画に対応するインデックス情報235を生成し、車載システム1へ送信する(S377)。
図27に示すように、センタシステム120は、車載通信サーバ123を介して画像の取得がされない場合(S381:NO)、所定時間経過するまでS381の判定を繰り返す(S382:NO)。所定時間経過すると(S382:YES)センタシステム120は、処理を終了する。
S381で、画像の取得が完了すると(S381:YES)、画面生成部173は、取得したフル動画情報に基づき画像表示画面177を生成し(S383)、管理者端末110に送信する(S384)。管理者端末110では、取得を要求したフル動画が表示されることになる。
以上詳細に説明したように、画像取得システム100は、車載システム1、センタシステム120を有する。画像取得システム100は、管理者端末110を有するようにしてもよい。車載システム1の車載装置3は、記録処理部75と送信部80とを有する。記録処理部75は、車両30に備えられたカメラ9により撮影される動画像を示す画像信号の第1の時間分の画像信号を符号化したフル動画情報を、例えばSDカード18に記憶させる。送信部80は、車両の事故の原因となる可能性が高い事象として予め定められた所定事象の発生が検出された場合に、画像信号の、所定事象の検出時刻を含み第1の長さよりも短い第2の時間に対応する画像信号を符号化して生成されるミニ動画情報を出力する。
このとき、センタシステム120は、ミニ動画情報141を受け付けるとともに、例えば管理者端末110に、例えば取得指示画面220を表示させ、ミニ動画情報141が利用可能であることを示す。
これにより、車載システム1では、SDカード18に記憶される画像がフル動画情報の記憶に一本化される。すなわち、画像の情報としてはフル動画情報のみが、SDカード18に記憶される。また、所定事象に対応するミニ動画情報は、センタシステム120に送信される。送信は、ミニ動画情報が生成されると直ちに行われるようにしてもよい。また、車載装置3の送信バッファに新たな情報が記憶できなくなったときに行われるようにしてもよい。
これにより、撮影装置が遠方にある場合にも、撮影された所望の画像を、迅速に利用できる。また、画像情報を可搬型記録媒体に記録させて、例えば運行後などにセンタに記録媒体を持ち込み、情報を読み取ることにより、所定事象の発生に対応する画像を取得する必要がない。また、ミニ動画情報は、例えば車両30の運行中であっても自動的にセンタシステム120に出力される。よって、センタシステム120は、効率よく画像を取得することができる。また、事故後の火災などによって、車載装置3が消失してしまったような場合にも、センタシステム120にミニ動画情報が記憶されている可能性を残すことができる。
さらに、ミニ画像情報により生成される画像は、第1の長さよりも短い第2の長さであり、確認に要する時間が少なくて済む。これにより、センタシステム120で例えば車両30の運行管理に従事する管理者の作業時間を削減でき、人件費を削減できる効果がある。
また、フル動画情報は、第1の解像度で第1のフレームレートを用いた動画情報であり、ミニ動画情報は、第1のフレームレートよりも低い第2のフレームレートまたは第1の解像度よりも低い第2の解像度のいずれか少なくとも一方を用いた動画情報としてもよい。
これにより、センタシステム120に送信する情報の情報量を低減させることができ、通信コストの削減が可能である。また、センタシステム120側で画像情報133として記録する場合に、記録容量を低減させることができ、情報の記録に要するコストを低減できる。なお、フレームレートが低いことは、画像の確認をさらに迅速にさせる効果もある。
ミニ動画情報は、ミニ動画情報と所定事象の発生とを対応付けるミニ動画識別情報とともに、センタシステム120に送信される。これにより、センタシステム120側では、ミニ動画識別情報を用いて、ミニ動画情報が利用であることを示す情報を生成することができる。
車載装置3では、例えばSDカード18に、フル動画情報と共に、フル動画識別情報を記憶させる。このフル動画識別情報は、ミニ動画識別情報に基づき生成される出力要求情報が示すフル動画情報を特定するために用いられる。これにより、センタシステム120側から、必要なフル動画情報を指定して通信網72を介して取得することが可能になる。また、ミニ動画識別情報を用いて出力要求を行うことで、所定事象の発生ポイントを指定して、関係するフル動画情報を取得することが可能になる。
フル動画識別情報、およびミニ動画識別情報は、それぞれ車両の運行状況を示す運行情報を含む。これにより、車載システム1の機能として従来から存在するセンサの計測値を有効利用できるという効果がある。また、センタシステム120で画像の出力要求を行う際に、要求する画像を、車両30の運行の日時、位置、所定事象の発生地点など種々の指定方法により要求できる。
車載システム1は、画像信号を符号化して生成される、動画像の予め決められたタイミングにおける静止画像を示す静止画情報をさらに出力する。センタシステム120は、静止画情報を受け付け、管理者端末110などにより表示させることができる。このように、所定事象の発生とは対応しない、例えば所定時間毎の静止画を利用可能であることで、ミニ動画では把握しきれない状況を画像で確認することが可能となる。例えば、大型車に自転車が衝突した状況などで、加速度の変化が検出されない場合等、所定事象としては検出されないが危険な状況を、静止画で確認し、さらに静止画に基づいてフル動画で確認するといった運用も可能になる。また、静止画像であることから、センタシステム120への送信に必要なコスト、センタシステム120での記録に必要なコストは低く抑えられる。
静止画情報は、静止画情報を識別するための静止画識別情報とともに、無線の通信網72を介してセンタシステム120に送信される。これにより、センタシステム120では、静止画識別情報を用いて、静止画情報が利用可能であることを示す情報を出力することができる。このとき、静止画識別情報は、静止画像情報に応じたフル動画像情報を特定するための特定情報を有する。これにより、センタシステム120では、静止画識別情報を用いて、対応するフル動画情報の出力要求を車載システム1へ行うことが可能になる。
センタシステム120では、フル動画情報の出力要求を車載装置3に出力する前に、車載装置3の電源状態を取得し、電源がオフである場合、電源をオンさせる要求を出力するようにしてもよい。このようにすることで、センタシステム120は、所望のフル動画情報を取得することが可能になる。
車載システム1では、カメラ9からの画像信号は、例えば秒単位の長さで繰り返し記録すればよい。これは、記憶領域の効率的な利用につながる。また、通信網72としては、上述のように、短距離無線通信網でもよい。これにより、例えば、事故現場において携帯型情報処理装置などにより、必要な画像を取得するなどの利用も可能である。
さらに、SDカード18には、常時動画像が記録されるため、必要な場合には、例えば複数のフル動画情報を時系列にセンタシステム120に送信するなど、ライブ映像としての利用も可能である。このため、例えば、車載装置3においてライブ映像送信用の符号化装置を備え、センタシステム120側に復号化装置を備えるなどの変形を行うようにしてもよい。このとき、例えばフレームレートを適宜車載装置3側で、またはセンタシステム120側から車載装置3へ指示を送るなどして設定するような変形も考えられる。
ここで、上記実施の形態による画像取得方法の動作をコンピュータに行わせるために共通に適用されるコンピュータの例について説明する。図28は、標準的なコンピュータのハードウエア構成の一例を示すブロック図である。図28に示すように、コンピュータ400は、Central Processing Unit(CPU)402、メモリ404、入力装置406、出力装置408、外部記憶装置412、媒体駆動装置414、ネットワーク接続装置418等がバス410を介して接続されている。
CPU402は、コンピュータ400全体の動作を制御する演算処理装置である。メモリ404は、コンピュータ400の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。メモリ404は、例えばRandom Access Memory(RAM)、Read Only Memory(ROM)等である。入力装置406は、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をCPU402に送付する装置であり、例えばキーボード装置、マウス装置などである。出力装置408は、コンピュータ400による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、CPU402により送付される表示データに応じてテキストや画像を表示する。
外部記憶装置412は、例えば、ハードディスクなどの記憶装置であり、CPU402により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。媒体駆動装置414は、可搬型記録媒体416に書き込みおよび読み出しを行うための装置である。CPU402は、可搬型記録媒体416に記録されている所定の制御プログラムを、媒体駆動装置414を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。可搬型記録媒体416は、例えばCompact Disc(CD)−ROM、Digital Versatile Disc(DVD)、Universal Serial Bus(USB)メモリ等である。ネットワーク接続装置418は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。バス410は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。
上記実施の形態による画像取得方法をコンピュータに実行させるプログラムは、例えば外部記憶装置412に記憶させる。CPU402は、外部記憶装置412からプログラムを読み出し、メモリ404を利用してプログラムを実行することで、画像取得の動作を行なう。このとき、まず、画像取得の処理をCPU402に行わせるための制御プログラムを作成して外部記憶装置412に記憶させておく。そして、入力装置406から所定の指示をCPU402に与えて、この制御プログラムを外部記憶装置412から読み出させて実行させるようにする。また、このプログラムは、可搬型記録媒体416に記憶するようにしてもよい。
なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。例えば、上記に説明した画像取得システム100の構成、およびフローチャートの処理順は、上記に限定されない。同様の作用、効果を奏する変形は可能である。車載システム1では、運行終了後も、車載システム1の電源を例えば所定時間毎に起動させるように設定することで、車両30の運行時間にかかわらずセンタシステム120から必要なフル動画情報を取得できるようにしてもよい。
上記の説明では、画像送信装置の一例として、車載装置3の例を説明したが、これに限定されない。撮影装置と、撮影装置で撮影される画像を受け付ける情報処理装置とが無線通信で接続される例であれば、適用が可能である。例えば、建物、工場などの関し装置としても適用が可能である。このとき、所定事象は、例えば、関し対象の通常の動作と異なる動作として、個別に規定されることが好ましい。所定事象の検出方法についても、個別に設定されることが好ましい。また、車両の識別情報など車両に対応する各情報は、例えば撮影装置の識別情報、撮影装置の位置などに適宜変更することが好ましい。
1 車載システム
3 車載装置
5 車載コンピュータ
6 プロセッサ
7 スピーカ
9 カメラ
11 ジャイロセンサ
13 加速度センサ
15 GPS
17 メディア駆動部
18 SDカード
19 入力部
21 第1通信部
23 第2通信部
25 第3通信部
27 メモリ
29 表示部
30 車両
31 アンテナ
33 車速センサ
35 エンジン回転センサ
37 温度センサ
39 CAN
51 IO制御部
53 通信制御部
55 メモリ制御部
57 HMI制御部
61 画像処理部
62 第1画像記録部
63 第2画像記録部
64 画像抽出部
65 トリガ検知部
67 運行管理制御部
72 通信網
74 通信網
75 記録処理部
77 記憶装置
78 フル動画情報
80 送信部
82 ミニ動画情報
84 静止画情報
100 画像取得システム
110 管理者端末
120 センタシステム
123 車載通信サーバ
125 データサーバ
127 ウエブサーバ
131 運行情報
133 画像情報
135 判定部
141 ミニ動画情報
143 静止画情報
145 フル動画情報
151 センサ情報
152 画像(フル動画情報)
153 発生情報
155 作業情報
159 発生項目
163 他車両
165 他車両
167、168 白線
171 画像取得指示部
173 画面生成部
175 取得指示画面
177 画像表示画面
181 特定時間情報
191 表示装置
193 入力キー
195 テンキー
201 選択項目一覧
203 表示例
210 フル画像記録情報
212 静止画送信情報
214 ミニ動画送信情報
220 取得指示画面
222 静止画位置
224 画像種別表示
226 ミニ動画位置
228 画像種別表示
230 画像識別情報
235 インデックス情報
237 取得指示画像情報
229、501、503、511〜524 矢印
400 コンピュータ
402 CPU
404 メモリ
406 入力装置
408 出力装置
410 バス
412 外部記憶装置
414 媒体駆動装置
416 可搬型記録媒体
418 ネットワーク接続装置

Claims (24)

  1. 撮影装置により撮影される動画像を示す画像信号の第1の時間に対応する画像信号を符号化した第1の動画情報を記憶装置に記録する処理を行う記録処理部と、
    所定事象の発生が検出された場合に、前記画像信号の、前記所定事象の検出時刻を含み前記第1の長さよりも短い第2の時間に対応する画像信号を符号化して生成される第2の動画情報を、無線通信網を介して接続される情報処理装置に送信する送信部と、
    を有することを特徴とする画像送信装置。
  2. 前記第1の動画情報は、第1の解像度で第1のフレームレートを用いた動画情報であり、
    前記第2の動画情報は、前記第1のフレームレートよりも低い第2のフレームレートまたは前記第1の解像度よりも低い第2の解像度のいずれか少なくとも一方を用いた動画情報である
    ことを特徴とする請求項2に記載の画像送信装置。
  3. 前記第2の動画情報は、前記第2の動画情報と前記所定事象の発生とを対応付ける所定事象動画識別情報とともに、無線通信網を介して接続される情報処理装置に送信される
    ことを特徴とする請求項1または請求項2に記載の画像送信装置。
  4. 前記記録処理部は、前記所定事象動画識別情報に基づき前記第1の動画情報を識別する第1の動画識別情報をさらに前記記憶装置に記憶させる
    ことを特徴とする請求項3に記載の画像送信装置。
  5. 前記第1の動画識別情報、および前記所定事象動画識別情報は、それぞれ前記撮影装置が備えられる車両の運行状況を示す運行情報を含む
    ことを特徴とする請求項1から請求項4のいずれか一項に記載の画像送信装置。
  6. 前記出力部は、前記画像信号を符号化して生成される、前記動画像の予め決められたタイミングにおける静止画像を示す静止画情報をさらに出力する
    ことを特徴とする請求項1から請求項5のいずれか一項に記載の画像送信装置。
  7. 前記静止画情報は、前記静止画情報を識別するための静止画識別情報とともに、無線通信網を介して接続される情報処理装置に送信される
    ことを特徴とする請求項6に記載の画像送信装置。
  8. 前記静止画識別情報は、前記静止画像に応じた前記第1の画像情報を特定するための特定情報を有する
    ことを特徴とする請求項7に記載の画像送信装置。
  9. 前記静止画識別情報は、前記撮影装置が備えられる車両で検出される前記タイミングでの前記車両の運行状況を示す運行情報を含む
    ことを特徴とする請求項7または請求項8に記載の画像送信装置。
  10. 前記出力部は、前記静止画識別情報、または前記所定事象動画識別情報に応じた前記第2のフレームレートより高く前記第1のフレームレート未満の第3のフレームレートの動画情報の出力要求が受け付けられた場合、前記分割動画像情報を、前記第3のフレームレートの動画情報に変換して出力する
    ことを特徴とする請求項2に記載の画像送信装置。
  11. 情報処理装置が、
    所定事象の発生が検出された場合に、撮影装置により撮影される動画像を示す画像信号の第1の時間に対応する画像信号を符号化した第1の画像情報の前記第1の長さより短い第2の長さの、前記所定事象の検出時刻を含む時間に対応する画像信号を符号化して生成される第2の動画情報を、前記第2の動画情報を生成して送信する画像送信装置より無線通信網を介して受け付け、
    前記第2の動画情報が利用可能であることを示す情報を出力する
    ことを特徴とする画像取得方法。
  12. 前記第2の動画情報は、前記第2の動画情報と前記所定事象の発生とを対応付ける所定事象動画識別情報とともに、前記画像送信装置より無線通信網を介して受け付けられる
    ことを特徴とする請求項11に記載の画像取得方法。
  13. 前記第2の動画情報が利用可能であることを示す情報は、前記第2の動画情報に対応する第1の動画情報の前記所定事象動画識別情報に基づく取得指示を受け付ける取得指示画面を表示させる情報を有し、
    前記取得指示を受け付けると、前記画像送信装置に前記第2の動画情報に対応する第1の動画情報を出力させる出力要求情報を出力する、
    ことを特徴とする請求項12に記載の画像取得方法。
  14. 前記所定事象動画識別情報に基づく取得指示により、前記第2の動画情報に対応する第1の動画情報を出力させる出力要求情報を用いて特定された第1の動画情報を受け付ける
    ことを特徴とする請求項13に記載の画像取得方法。
  15. 前記第2の動画情報が利用可能であることを示す情報は、前記検出時刻における前記撮影装置の位置を含む地図上に前記第2の動画情報に対応する画像と、前記撮影装置の識別情報と、前記検出時刻を示す日時情報と、利用可能な画像が所定事象動画であることを示す情報を表示させる情報を含む
    ことを特徴とする請求項11から請求項14のいずれか一項に記載の画像取得方法。
  16. 前記画像信号を符号化して生成される、前記動画像の予め決められたタイミングにおける静止画像を示す静止画情報をさらに受け付け、
    前記静止画情報が利用可能であることを示す情報を出力する
    ことを特徴とする請求項11から請求項15のいずれか一項に記載の画像取得方法。
  17. 前記静止画情報は、前記静止画情報を識別するための静止画識別情報とともに、前記画像送信装置より無線通信網を介して受け付けられる
    ことを特徴とする請求項16に記載の画像取得方法。
  18. 前記静止画情報が利用可能であることを示す情報は、前記静止画情報に対応する第1の動画情報の前記静止画識別情報に基づく取得指示を受け付ける取得指示画面を表示させる情報を有し、
    前記取得指示を受け付けると、前記画像送信装置に前記静止画情報に対応する第1の動画情報を出力させる出力要求情報を出力する、
    ことを特徴とする請求項17に記載の画像取得方法。
  19. 前記静止画情報に対応する第1の動画情報を出力させる出力要求を用いて特定された第1の動画情報を受けつける
    ことを特徴とする請求項18に記載の画像取得方法。
  20. 前記静止画情報が利用可能であることを示す情報は、前記タイミングにおける前記撮影装置が備えられる撮影装置の位置を含む地図上に前記静止画情報に対応する画像と、前記撮影装置の識別情報と、前記タイミングを示す日時情報と、利用可能な画像が静止画であることを示す情報を表示させる情報を含む
    ことを特徴とする請求項16から請求項19のいずれか一項に記載の画像取得方法。
  21. 前記第1の動画情報は、第1の解像度で第1のフレームレートを用いた動画情報であり、
    前記第2の動画情報は、前記第1のフレームレートよりも低い第2のフレームレートまたは前記第1の解像度よりも低い第2の解像度のいずれか少なくとも一方を用いた動画情報である
    ことを特徴とする請求項11から請求項20のいずれか一項に記載の画像取得方法。
  22. 前記出力要求を出力する前に、前記画像送信装置の電源状態を取得し、
    前記画像送信装置の電源がオフである場合、前記電源をオンさせる要求を出力する
    ことを特徴とする請求項18または請求項21に記載の画像取得方法。
  23. 前記静止画識別情報、または前記第1の動画識別情報に応じて、前記第2のフレームレートより高く前記第1のフレームレート未満の第3のフレームレートの第1の動画情報の出力要求を出力し、
    前記分割動画像情報を、前記第3のフレームレートに変換された動画情報を受け付ける
    ことを特徴とする請求項18、請求項21、または請求項22のいずれか一項に記載の画像取得方法。
  24. 所定事象の発生が検出された場合に、撮影装置により撮影される動画像を示す画像信号の第1の時間に対応する画像信号を符号化した第1の画像情報の前記第1の長さより短い第2の長さの、前記所定事象の検出時刻を含む時間に対応する画像信号を符号化して生成される第2の動画情報を、前記第2の動画情報を生成して送信する画像送信装置より無線通信網を介して受け付け、
    前記第2の動画情報が利用可能であることを示す情報を出力する
    処理をコンピュータに実行させる画像取得プログラム。
JP2014223047A 2014-10-31 2014-10-31 画像送信装置、画像取得方法、および画像取得プログラム Active JP6503692B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014223047A JP6503692B2 (ja) 2014-10-31 2014-10-31 画像送信装置、画像取得方法、および画像取得プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014223047A JP6503692B2 (ja) 2014-10-31 2014-10-31 画像送信装置、画像取得方法、および画像取得プログラム

Publications (2)

Publication Number Publication Date
JP2016092531A true JP2016092531A (ja) 2016-05-23
JP6503692B2 JP6503692B2 (ja) 2019-04-24

Family

ID=56019852

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014223047A Active JP6503692B2 (ja) 2014-10-31 2014-10-31 画像送信装置、画像取得方法、および画像取得プログラム

Country Status (1)

Country Link
JP (1) JP6503692B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018055446A (ja) * 2016-09-29 2018-04-05 株式会社デンソー 車両運行管理システム
JP2018055352A (ja) * 2016-09-28 2018-04-05 日本電気株式会社 ドライブレコーダ
JP6399324B1 (ja) * 2017-10-30 2018-10-03 株式会社Bioism 塵芥収集車における映像管理システム
WO2018230573A1 (ja) * 2017-06-16 2018-12-20 三井物産エレクトロニクス株式会社 情報処理システム
JP2019032725A (ja) * 2017-08-09 2019-02-28 株式会社ユピテル 車載電子機器、サーバ、及びクライアント端末
JP2020092392A (ja) * 2018-12-07 2020-06-11 大日本印刷株式会社 画像提供システム
JP2020140440A (ja) * 2019-02-28 2020-09-03 株式会社デンソーテン データ収集装置、データ収集システム、データ収集方法および車載装置
JP2021083056A (ja) * 2019-11-22 2021-05-27 株式会社Moyai 撮像装置および移動体運行管理システム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003067875A (ja) * 2001-08-23 2003-03-07 Radias:Kk 車両管理システム、車両
JP2006237974A (ja) * 2005-02-24 2006-09-07 Sanyo Electric Co Ltd 移動体用記録装置
JP2009021993A (ja) * 2007-06-15 2009-01-29 Fujitsu Ten Ltd 画像データ記録装置及びデータ送受信システム
JP2009110224A (ja) * 2007-10-30 2009-05-21 Mercury Systems Kk 移動体状況検証情報制御システム
JP2009181420A (ja) * 2008-01-31 2009-08-13 Yazaki Corp 車両用周辺状況記録装置
JP2010257484A (ja) * 2010-07-15 2010-11-11 Fujitsu Ten Ltd 運転支援装置、運転支援システム、運転支援ソフトおよび運転支援方法
JP2011257849A (ja) * 2010-06-07 2011-12-22 Yupiteru Corp 車両用映像記録装置及び車載システム
JP2013137668A (ja) * 2011-12-28 2013-07-11 Kayaba Ind Co Ltd ドライブレコーダ

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003067875A (ja) * 2001-08-23 2003-03-07 Radias:Kk 車両管理システム、車両
JP2006237974A (ja) * 2005-02-24 2006-09-07 Sanyo Electric Co Ltd 移動体用記録装置
JP2009021993A (ja) * 2007-06-15 2009-01-29 Fujitsu Ten Ltd 画像データ記録装置及びデータ送受信システム
JP2009110224A (ja) * 2007-10-30 2009-05-21 Mercury Systems Kk 移動体状況検証情報制御システム
JP2009181420A (ja) * 2008-01-31 2009-08-13 Yazaki Corp 車両用周辺状況記録装置
JP2011257849A (ja) * 2010-06-07 2011-12-22 Yupiteru Corp 車両用映像記録装置及び車載システム
JP2010257484A (ja) * 2010-07-15 2010-11-11 Fujitsu Ten Ltd 運転支援装置、運転支援システム、運転支援ソフトおよび運転支援方法
JP2013137668A (ja) * 2011-12-28 2013-07-11 Kayaba Ind Co Ltd ドライブレコーダ

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018055352A (ja) * 2016-09-28 2018-04-05 日本電気株式会社 ドライブレコーダ
WO2018061420A1 (ja) * 2016-09-28 2018-04-05 日本電気株式会社 ドライブレコーダ
US11935336B2 (en) 2016-09-28 2024-03-19 Nec Corporation Drive recorder, method of operating drive recorder, and recording medium storing instructions for operating same
US11348379B2 (en) 2016-09-28 2022-05-31 Nec Corporation Drive recorder
JP2018055446A (ja) * 2016-09-29 2018-04-05 株式会社デンソー 車両運行管理システム
WO2018061474A1 (ja) * 2016-09-29 2018-04-05 株式会社デンソー 車両運行管理システム
JP2019003512A (ja) * 2017-06-16 2019-01-10 三井物産エレクトロニクス株式会社 情報処理システム
WO2018230573A1 (ja) * 2017-06-16 2018-12-20 三井物産エレクトロニクス株式会社 情報処理システム
JP2019032725A (ja) * 2017-08-09 2019-02-28 株式会社ユピテル 車載電子機器、サーバ、及びクライアント端末
JP2019083379A (ja) * 2017-10-30 2019-05-30 株式会社Bioism 塵芥収集車における映像管理システム
JP6399324B1 (ja) * 2017-10-30 2018-10-03 株式会社Bioism 塵芥収集車における映像管理システム
JP2020092392A (ja) * 2018-12-07 2020-06-11 大日本印刷株式会社 画像提供システム
JP2020140440A (ja) * 2019-02-28 2020-09-03 株式会社デンソーテン データ収集装置、データ収集システム、データ収集方法および車載装置
JP2021083056A (ja) * 2019-11-22 2021-05-27 株式会社Moyai 撮像装置および移動体運行管理システム

Also Published As

Publication number Publication date
JP6503692B2 (ja) 2019-04-24

Similar Documents

Publication Publication Date Title
JP6503692B2 (ja) 画像送信装置、画像取得方法、および画像取得プログラム
KR102087073B1 (ko) 차량용 영상 처리 장치 및 이를 이용한 데이터 공유 방법
JP4971625B2 (ja) 運転支援装置および運転情報算出システム
CN110197590B (zh) 信息处理装置、图像分发系统、信息处理方法以及程序
JP2006237974A (ja) 移動体用記録装置
CN105323657B (zh) 提供视频摘要的成像设备和方法
JP6732677B2 (ja) 動画収集システム、動画収集装置、および動画収集方法
JP7340678B2 (ja) データ収集方法およびデータ収集装置
WO2019146488A1 (ja) 運転状況監視装置、運転状況監視方法、および運転状況監視システム
JP2016207004A (ja) データ処理装置、データ処理システム、データ処理方法及びプログラム
JP2007141211A (ja) 運転支援方法および運転支援装置
JP2008033822A (ja) 運転支援装置
JP5180450B2 (ja) 運転支援方法および運転支援装置
CN113965726A (zh) 处理交通视频的方法、装置以及系统
JP2020004223A (ja) 車載映像記録装置及びその制御方法
JP2019121314A (ja) 判定装置、情報記録装置、判定方法、及び判定用プログラム
CN106454210B (zh) 一种行车记录图像处理方法及系统
JP2022111162A (ja) 運転状況監視装置、運転状況監視システム、運転状況監視方法、ドライブレコーダ
JP6793516B2 (ja) 車両動画送信システムおよび車両動画送信方法
JP7187371B2 (ja) 映像提供システム
JP2010257483A (ja) 運転支援装置および運転支援方法
JP5139480B2 (ja) 運転支援装置、運転支援システム、運転支援ソフトおよび運転支援方法
JP6527026B2 (ja) 駐車位置報知装置、携帯端末、駐車位置報知システム、プログラム
KR102151515B1 (ko) 차량용 영상 처리 장치 및 이를 이용한 정보 제공 방법
US11881065B2 (en) Information recording device, information recording method, and program for recording information

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170705

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190311

R150 Certificate of patent or registration of utility model

Ref document number: 6503692

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250