JP2016103142A - データ処理装置、画像処理方法、及び、プログラム - Google Patents

データ処理装置、画像処理方法、及び、プログラム Download PDF

Info

Publication number
JP2016103142A
JP2016103142A JP2014240961A JP2014240961A JP2016103142A JP 2016103142 A JP2016103142 A JP 2016103142A JP 2014240961 A JP2014240961 A JP 2014240961A JP 2014240961 A JP2014240961 A JP 2014240961A JP 2016103142 A JP2016103142 A JP 2016103142A
Authority
JP
Japan
Prior art keywords
moving image
image data
vehicle
data processing
factor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014240961A
Other languages
English (en)
Other versions
JP6554280B2 (ja
Inventor
春樹 白石
Haruki Shiraishi
春樹 白石
宗則 前田
Munenori Maeda
宗則 前田
小野 紘平
Kohei Ono
紘平 小野
俊雄 田邉
Toshio Tanabe
俊雄 田邉
林 李
Lin Li
林 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2014240961A priority Critical patent/JP6554280B2/ja
Priority to US14/886,950 priority patent/US10399438B2/en
Publication of JP2016103142A publication Critical patent/JP2016103142A/ja
Application granted granted Critical
Publication of JP6554280B2 publication Critical patent/JP6554280B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/008Registering or indicating the working of vehicles communicating information to a remotely located station
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0133Traffic data processing for classifying traffic situation
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/20Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • G07C5/0866Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】特定挙動の要因を容易に把握できるようにする。【解決手段】データ処理装置2は、車両の走行中にドライブレコーダで記録された車両の周辺を示す動画データを処理する。このデータ処理装置2においては、挙動情報取得部21aが動画データの撮影期間における急ブレーキに関連する挙動情報を取得し、物体情報取得部21bが動画データの撮影期間における車両5の周辺の物体に関する物体情報を取得する。記憶部24は、取得された挙動情報6aと物体情報6bとを動画データ6に関連付けて記憶する。そして、要因物体判定部21dは、同一の動画データ6に係る挙動情報6aと物体情報6bとに基づいて急ブレーキの要因を判定する。このため、急ブレーキの要因を事後的に容易に把握することができる。【選択図】図4

Description

本発明は、車両の周辺を示す動画データを処理する技術に関する。
従来より、カメラを用いて車両の周辺を示す静止画を周期的に取得し、車両の走行中にインシデント(事故、または、事故の可能性のあった事象)が発生した場合に、その発生前後に係る複数の静止画に基づく動画データを記録するドライブレコーダが知られている。
近年では、トラック、バス及びタクシーなどの業務用の車両を複数台使用して業務を行う事業者において、ドライブレコーダを業務に使用する全ての車両に搭載することも実施されている(例えば、特許文献1参照。)。
このような事業者では、データ処理装置が事業所に設けられている。データ処理装置は、各車両のドライブレコーダで記録された動画データを取り込み、その動画データを再生できる。事業者は、このような動画データに基づいてインシデントの発生時の状況を把握することで、動画データをドライバの安全指導等に役立てている。
特開2011−76443号公報
ところで、事業者においては、ドライブレコーダで得られた動画データをデータ処理装置で再生し、担当者が、動画データの内容を実際に確認することでインシデントの発生時の状況を具体的に把握している。
しかしながら、事業者によっては、再生すべき動画データの数が多くなり、それらの内容の確認作業に多くの時間がかかる場合がある。このため、動画データの確認作業が効率的に行える技術が要望されている。そのような技術の一つとして、動画データの撮影期間において急ブレーキなどの特定挙動があった場合に、その特定挙動の要因を容易に把握できる技術が求められている。
本発明は、上記課題に鑑みてなされたものであり、特定挙動の要因を容易に把握できる技術を提供することを目的とする。
上記課題を解決するため、請求項1の発明は、車両の走行中に記録された前記車両の周辺を示す動画データを処理するデータ処理装置であって、前記動画データの撮影期間における前記車両の特定挙動に関する挙動情報を取得する第1取得手段と、前記動画データの撮影期間における前記車両の周辺の物体に関する物体情報を取得する第2取得手段と、同一の前記動画データに係る前記挙動情報と前記物体情報とに基づいて、前記特定挙動の要因を判定する判定手段と、を備えている。
また、請求項2の発明は、請求項1に記載のデータ処理装置において、前記判定手段は、前記特定挙動の要因となった前記車両の周辺の物体である要因物体を判定する。
また、請求項3の発明は、請求項2に記載のデータ処理装置において、前記判定手段は、前記特定挙動のタイミングに前記車両の進行方向に存在した物体を、前記要因物体として判定する。
また、請求項4の発明は、請求項2または3に記載のデータ処理装置において、前記要因物体を強調して、前記動画データを再生する再生手段、をさらに備えている。
また、請求項5の発明は、請求項4に記載のデータ処理装置において、前記再生手段は、前記動画データの再生時において、前記特定挙動のタイミングにおいて前記要因物体を強調する。
また、請求項6の発明は、請求項4または5に記載のデータ処理装置において、前記再生手段は、前記動画データの再生時において、前記特定挙動のタイミングよりも前から前記要因物体を強調する。
また、請求項7の発明は、請求項4ないし6のいずれかに記載のデータ処理装置において、前記要因物体の危険度を導出する導出手段、をさらに備え、前記再生手段は、前記危険度に応じた態様で前記要因物体を強調する。
また、請求項8の発明は、請求項1ないし7のいずれかに記載のデータ処理装置において、前記判定手段は、前記特定挙動の要因となった前記車両のドライバの状態を判定する。
また、請求項9の発明は、請求項8に記載のデータ処理装置において、前記判定手段は、前記特定挙動のタイミングにおける前記車両の周辺の物体の位置に基づいて、前記特定挙動の要因を前記ドライバの前方不注意と判定する。
また、請求項10の発明は、請求項9に記載のデータ処理装置において、前記要因が前記前方不注意と判定された前記特定挙動に係る前記動画データを一覧表示する表示手段、をさらに備えている。
また、請求項11の発明は、請求項9または10に記載のデータ処理装置において、前記動画データは、該動画データが記録された前記車両のドライバと関連付けられ、前記要因が前記前方不注意と判定された前記特定挙動に係る前記動画データの数を、前記ドライバごとに集計する集計手段、をさらに備えている。
また、請求項12の発明は、車両の走行中に記録された前記車両の周辺を示す動画データを処理する画像処理方法であって、(a)前記動画データの撮影期間における前記車両の特定挙動に関する挙動情報を取得する工程と、(b)前記動画データの撮影期間における前記車両の周辺の物体に関する物体情報を取得する工程と、(c)同一の前記動画データに係る前記挙動情報と前記物体情報とに基づいて、前記特定挙動の要因を判定する工程と、を備えている。
また、請求項13の発明は、車両の走行中に記録された前記車両の周辺を示す動画データを処理するデータ処理装置に含まれるコンピュータにより実行可能なプログラムであって、前記コンピュータに、(a)前記動画データの撮影期間における前記車両の特定挙動に関する挙動情報を取得する工程と、(b)前記動画データの撮影期間における前記車両の周辺の物体に関する物体情報を取得する工程と、(c)同一の前記動画データに係る前記挙動情報と前記物体情報とに基づいて、前記特定挙動の要因を判定する工程と、を実行させる。
請求項1ないし13の発明によれば、同一の動画データに係る挙動情報と物体情報とに基づいて特定挙動の要因を判定するため、特定挙動の要因を事後的に容易に把握できる。
また、特に請求項2の発明によれば、特定挙動の要因となった要因物体を事後的に容易に把握できる。
また、特に請求項3の発明によれば、要因物体を適切に判定することができる。
また、特に請求項4の発明によれば、動画データの再生時において要因物体がいずれであるかを容易に把握できる。
また、特に請求項5の発明によれば、特定挙動のタイミングにおける要因物体の状況を容易に把握できる。
また、特に請求項6の発明によれば、特定挙動のタイミングよりも前の要因物体の状況を容易に把握できる。
また、特に請求項7の発明によれば、要因物体の危険度を容易に把握できる。
また、特に請求項8の発明によれば、特定挙動の要因となった車両のドライバの状態を事後的に容易に把握できる。
また、特に請求項9の発明によれば、特定挙動の要因が前方不注意であることを容易に把握できる。
また、特に請求項10の発明によれば、前方不注意に係る動画データを容易に選択できる。
また、特に請求項11の発明によれば、前方不注意の回数が多いドライバを把握できる。
図1は、レコーダシステムの概要を示す図である。 図2は、サーバ装置の構成を示す図である。 図3は、ドライブレコーダで記録される動画データの一例を示す図である。 図4は、第1の実施の形態のデータ処理装置の構成を示す図である。 図5は、データ処理装置のメイン処理の流れを示す図である。 図6は、情報取得処理の流れを示す図である。 図7は、第1の実施の形態の要因判定処理の処理の流れを示す図である。 図8は、再生処理の流れを示す図である。 図9は、動画データの再生時の表示装置の表示例を示す図である。 図10は、動画データの再生期間を示す図である。 図11は、動画データの再生期間を示す図である。 図12は、動画データの再生時の表示装置の表示例を示す図である。 図13は、第2の実施の形態のデータ処理装置の構成を示す図である。 図14は、第2の実施の形態における動画データの再生時の表示装置の表示例を示す図である。 図15は、第3の実施の形態のデータ処理装置の構成を示す図である。 図16は、第3の実施の形態の要因判定処理の流れを示す図である。 図17は、第3の実施の形態の動画選択処理の流れを示す図である。 図18は、前方不注意に係る動画データが一覧表示された様子を示す図である。 図19は、第3の実施の形態における動画データの再生時の表示装置の表示例を示す図である。 図20は、集計処理の流れを示す図である。 図21は、ドライバのランキングが表示された様子を示す図である。
以下、図面を参照しつつ本発明の実施の形態について説明する。
<1.第1の実施の形態>
<1−1.システムの概要>
図1は、車両の走行中に記録された動画データを処理するためのレコーダシステム100の概要を示す図である。レコーダシステム100は、サーバ装置1と、データ処理装置2と、ドライブレコーダ4とを含んでいる。レコーダシステム100は、トラック、バス及びタクシーなどの業務用の車両を複数台使用して業務を行う事業者において採用される。以下では、レコーダシステム100が、タクシー事業を行う事業者において採用された場合を例に説明する。
この事業者においては、タクシーとして構成される複数の車両5を使用して事業が行われている。これら複数の車両5のそれぞれに、走行中の車両5の周辺の様子を示す動画データを記録するドライブレコーダ4が搭載されている。また、これら複数の車両5を管理する事業所3においては、ドライブレコーダ4で記録された動画データを処理するデータ処理装置2が備えられている。
また、データ処理装置2は、インターネットなどの広域のネットワーク9と接続されている。データ処理装置2は、ネットワーク9を介して、事業所3の外部にあるサーバ装置1と通信可能となっている。サーバ装置1は、データ処理装置2から動画データを受け取り、その動画データの処理結果となる情報をデータ処理装置2に返信する。サーバ装置1は、当該事業者が管理するものであってもよく、当該事業者とは異なる団体が管理するものであってもよい。
各車両5のドライブレコーダ4は、車両5の周辺の前方を撮影して静止画を取得するカメラと、静止画を記憶する揮発性の画像メモリとを備えている。ドライブレコーダ4は、カメラを用いて車両5の周辺の前方の様子を示す静止画を、所定の周期(例えば、1/30秒周期)で取得して画像メモリに記憶する。これにより、ドライブレコーダ4は、直近の所定時間(例えば、30秒間)に得られた複数の静止画を画像メモリに常に記憶した状態となる。
そして、ドライブレコーダ4は、車両5の走行中においてインシデント(事故、または、事故の可能性のあった事象)が発生した場合は、そのインシデントの発生前後に係る複数の静止画に基づく動画データを、可搬性の記録媒体であるメモリカードに記録する。車両5の特定挙動である急ブレーキは、このようなインシデントの一つとなる。
ドライブレコーダ4は、車両5の速度と加速度とを取得可能であり、車両5の速度あるいは加速度が所定の条件を満たした場合に、インシデントが発生したと判断する。ドライブレコーダ4は、インシデントの発生以前の例えば12秒間と、インシデントの発生以降の例えば8秒間との合計20秒間に得られた複数の静止画を含む動画データをメモリカードに記録する。動画データに含まれる複数の静止画はそれぞれ動画データのフレームとなる。
本明細書においては、動画データに含まれる複数の静止画が取得された期間(インシデントの発生前後の20秒間)を、当該動画データの「撮影期間」と表現する。
また、ドライブレコーダ4は、車両5のドライバ(タクシーの乗務員)を識別するドライバコード、車両5の速度及び加速度、並びに、インシデントの発生日時などを、付加情報として動画データに関連付けてメモリカードに記録する。これにより、動画データは、当該動画データが記録された車両5のドライバと関連付けられる。付加情報は、車両5の速度及び加速度に関して、動画データの撮影期間にわたる時系列データを含んでいる。
データ処理装置2は、メモリカードを介して、各車両5のドライブレコーダ4で記録された動画データ6を取り込むことができる。なお、データ処理装置2は、有線または無線のデータ通信を用いて、ドライブレコーダ4から動画データ6を取り込むようにしてもよい。
データ処理装置2は、動画データを再生する機能を有している。これとともに、データ処理装置2は、動画データの撮影期間において急ブレーキがなされていた場合は、その急ブレーキの要因を判定する機能を有している。
また、サーバ装置1は、動画データに像として含まれる物体を認識する機能を有している。サーバ装置1は、ドライブレコーダ4で記録された動画データをデータ処理装置2から受け取り、その動画データの撮影期間において車両5の周辺に存在していた物体を認識する。サーバ装置1は、認識した物体に関する物体情報をデータ処理装置2に送信する。データ処理装置2は、この物体情報に基づいて急ブレーキの要因を判定する。以下、このようなサーバ装置1及びデータ処理装置2について詳細に説明する。
<1−2.サーバ装置>
まず、サーバ装置1について説明する。図2は、サーバ装置1の構成を示す図である。サーバ装置1は、制御部11と、通信部12と、記憶部14とを備えている。
制御部11は、例えば、CPU、RAM及びROMなどを備えたコンピュータである。制御部11は、高性能なCPUを備えており、負荷の高い画像処理を高速に実行することが可能である。
通信部12は、ネットワーク9を介して通信を行う。サーバ装置1は、通信部12により、データ処理装置2との間でデータの送受信を行うことが可能となる。
記憶部14は、例えば、各種のデータを記憶可能な不揮発性の記憶装置であるハードディスクである。記憶部14には、プログラム14aが記憶されている。制御部11のCPUがプログラム14aを実行する(プログラム14aに従った演算処理を行う)ことにより、サーバ装置1として必要な機能が実現される。図2に示す、物体認識部11aは、プログラム14aの実行により実現されるサーバ装置1の機能の一つである。
物体認識部11aは、動画データの各フレームに像として含まれる物体を認識する物体認識処理を行う。物体認識部11aは、ドライブレコーダ4で記録された動画データを対象とした場合は、動画データの撮影期間において車両5の周辺に存在していた歩行者や他車両などの物体を認識する。
図3は、車両5において急ブレーキがなされた場合に、ドライブレコーダ4で記録される動画データ6の一例を示す図である。図3は、動画データ6に含まれる多数のフレームのうちの代表的な3つのフレームFa〜Fcを示している。3つのフレームFa〜Fcのうち、図中上部のフレームFaが最も古く、図中下部のフレームFcが最も新しい。
この動画データ6の撮影期間においては、急ブレーキがなされて車両5が停止している。図中中央のフレームFbが取得された時点が急ブレーキの開始時点、図中下部のフレームFcが取得された時点が急ブレーキの終了時点(車両5が停止した時点)に相当する。
これらのフレームFa〜Fcには、二人の歩行者Sb1,Sb2、及び、他車両Sb3の像が含まれている。物体認識部11aは、物体認識処理によって、このような歩行者Sb1,Sb2、及び、他車両Sb3を認識する。
物体認識部11aは、例えば、フレーム相関方式、及び、パターン認識方式を組み合わせた物体認識方式により物体を認識する。フレーム相関方式としては、例えば、オプティカルフロー方式を採用できる。オプティカルフロー方式は、複数のフレームのそれぞれから特徴点を抽出し、フレーム相互間での特徴点の動きを示すオプティカルフローの向きに基づいて物体を認識する。物体認識部11aは、このオプティカルフロー方式を用いることで背景に対して動きのある物体を認識できる。
また、パターン認識方式としては、例えば、テンプレートマッチング方式を採用できる。テンプレートマッチング方式は、検出対象となる物体の外観を示すテンプレート画像をパターンとして予め用意しておき、一つのフレームからテンプレート画像に近似する領域を探索することで物体を認識する。物体認識部11aは、このテンプレートマッチング方式を用いることで背景に対して静止した物体を認識できる。
物体認識部11aは、このような物体認識方式により動画データに基づいて物体を認識する。そして、物体認識部11aは、認識した物体の像の各フレームにおける位置(以下、「フレーム内位置」という。)を検出する。物体認識部11aは、フレーム相互間でフレーム内位置が近傍となる物体を同一の物体として処理する。さらに、物体認識部11aは、各物体のフレーム内位置に基づいて、各フレームにおける車両5に対する物体の相対的な状態(以下、「車両相対状態」という。)を検出する。具体的には、物体認識部11aは、「車両の前方に存在」、「車両の側方に存在」及び「車両の前方を横切る」のいずれかを車両相対状態として検出する。
物体認識部11aは、このような物体の認識結果を物体情報としてデータ処理装置2に送信する。物体情報には、認識した物体に関する各フレームにおけるフレーム内位置、及び、車両相対状態が含まれている。物体認識部11aが複数の物体を認識した場合は、認識した複数の物体のそれぞれに関するフレーム内位置、及び、車両相対状態が物体情報に含まれる。
<1−3.データ処理装置>
次に、データ処理装置2について説明する。図4は、データ処理装置2の構成を示す図である。データ処理装置2は、制御部21と、通信部22と、表示装置25と、入力装置26と、動画取込部27と、記憶部24とを備えている。
制御部21は、例えば、CPU、RAM及びROMなどを備えたコンピュータである。通信部22は、ネットワーク9を介して通信を行う。データ処理装置2は、通信部22により、サーバ装置1との間でデータの送受信を行うことが可能となる。
表示装置25は、各種の情報を表示するものであり、例えば、液晶ディスプレイである。入力装置26は、ユーザの操作を受け付けるものであり、例えば、キーボード、マウス及びタッチパネルなどである。
動画取込部27は、ドライブレコーダ4で記録された動画データを取り込むものであり、例えば、メモリカードの記録内容を読み出すカードリーダである。動画取込部27は、メモリカードから動画データを読み出して制御部21に入力する。なお、データ通信を用いて動画データを取り込む場合は、動画取込部27は、例えば、データ通信を行うための通信装置などである。
記憶部24は、例えば、各種のデータを記憶可能な不揮発性の記憶装置であるハードディスクである。動画取込部27に取り込まれた動画データは、記憶部24に記憶される。動画取込部27は、複数の車両5のドライブレコーダ4のそれぞれで記録された動画データを取り込む。このため、記憶部24には多数の動画データ6が記憶される。
また、記憶部24には、プログラム24aが記憶されている。このようなプログラム24aは、ネットワーク9を介したダウンロード、あるいは、メモリカード等の記録媒体からの読み出しなどにより取得される。
制御部21のCPUがプログラム24aを実行する(プログラム24aに従った演算処理を行う)ことにより、データ処理装置2として必要な機能が実現される。図4に示す、挙動情報取得部21a、物体情報取得部21b、動画再生部21c、及び、要因物体判定部21dは、プログラム24aの実行により実現されるデータ処理装置2の機能の一部である。
挙動情報取得部21aは、動画データの撮影期間における急ブレーキに関連する挙動情報を取得する。挙動情報取得部21aは、動画データの撮影期間において急ブレーキがなされている場合は、その急ブレーキがなされたタイミングを挙動情報として取得する。
物体情報取得部21bは、動画データの撮影期間における車両5の周辺の物体に関する物体情報を取得する。物体情報取得部21bは、通信部22を利用してサーバ装置1とデータ通信を行うことにより、サーバ装置1から物体情報を取得する。
動画再生部21cは、ドライブレコーダ4で記録された動画データを再生する。動画再生部21cは、動画データを再生する場合は、動画データに含まれる複数のフレームを時間的に連続して表示装置25において表示させる。
また、要因物体判定部21dは、動画データの撮影期間において急ブレーキがなされた場合は、その急ブレーキの要因となった車両5の周辺の物体である要因物体を判定する。
これら挙動情報取得部21a、物体情報取得部21b、動画再生部21c、及び、要因物体判定部21dの処理の詳細については後述する。
<1−4.データ処理装置の処理>
次に、データ処理装置2の処理について説明する。図5は、データ処理装置2の動画データに関するメイン処理の流れを示す図である。まず、図5を参照してデータ処理装置2のメイン処理の流れを説明した後、一部の処理についてさらに詳細に説明する。
まず、ドライブレコーダ4で記録された動画データを取り込む動画取込処理がなされる(ステップS1)。動画取込部27がメモリカードから動画データを読み出し、図4に示すように読み出した動画データ6を記憶部24に記憶させる。
次に、取り込まれた動画データに関する挙動情報及び物体情報を取得する情報取得処理がなされる(ステップS2)。挙動情報取得部21aが挙動情報を取得し、物体情報取得部21bが物体情報を取得する。図4に示すように、記憶部24は、動画データに関して取得された挙動情報6aと物体情報6bとを、当該動画データ6に関連付けて記憶する。
次に、動画データの撮影期間になされた急ブレーキの要因を判定する要因判定処理がなされる(ステップS3)。要因物体判定部21dは、同一の動画データ6に関連付けられた挙動情報6aと物体情報6bとに基づいて、急ブレーキの要因を判定する。要因物体判定部21dは、急ブレーキの要因となった車両5の周辺の物体である要因物体を判定する。
このような情報取得処理(ステップS2)及び要因判定処理(ステップS3)は、ドライブレコーダ4から取り込まれた動画データのそれぞれに関してなされる。情報取得処理(ステップS2)及び要因判定処理(ステップS3)が完了した動画データは、再生対象として選択可能となる。
次に、記憶部24に記憶された多数の動画データのうちから、再生対象とする動画データを選択する動画選択処理がなされる(ステップS4)。表示装置25は、動画再生部21cの制御により、再生対象として選択可能な動画データを一覧表示する。ユーザは、このような一覧表示を参照し、入力装置26を用いて再生対象となる動画データを選択する。
次に、選択された動画データを再生する再生処理がなされる(ステップS5)。動画再生部21cは、動画データに含まれる複数のフレームを時間的に連続して表示装置25に表示させて、動画データを再生する。この動画データの再生期間においては、動画データの撮影期間における車両5の周辺の様子が再現される。また、要因物体が判定された場合は、動画再生部21cは、その要因物体を強調するようにして動画データを再生する。
<1−4−1.情報取得処理>
次に、情報取得処理(図5のステップS2)について詳細に説明する。図6は、情報取得処理の詳細な流れを示す図である。情報取得処理においては、データ処理装置2はサーバ装置1とデータ通信を行う。図中の左側はデータ処理装置2の処理の流れを示し、図中の右側はサーバ装置1の処理の流れを示している。なお、この説明において処理の対象となる動画データを「対象動画データ」という。
まず、挙動情報取得部21aが、対象動画データの撮影期間において急ブレーキがなされたか否かを判定する(ステップS21)。挙動情報取得部21aは、対象動画データに関連付けられた付加情報に含まれる車両5の速度及び加速度の時系列データを参照する。そして、挙動情報取得部21aは、時系列データのいずれかが所定の判定条件を満足した場合は、急ブレーキがなされたと判定する。急ブレーキがなされたと判定する判定条件は、例えば、下記の条件(A)及び(B)のいずれかである。
(A)減速方向の加速度が、所定値(例えば、0.40G)以上となること。
(B)1秒間の速度の減少が、所定の閾値(例えば、10km/h)以上となること。
挙動情報取得部21aは、急ブレーキがなされたと判定した場合は、さらに、上記の判定条件を満足した時系列データに基づいて、急ブレーキのタイミングを特定する。本実施の形態では、急ブレーキの開始時点から終了時点までの期間を「急ブレーキのタイミング」と称する。急ブレーキの終了時点は、車両5が停止した時点に相当する。急ブレーキのタイミングは、動画データの撮影期間の開始時点からの経過時間(再生時には、再生期間の開始時点からの経過時間)で特定される。
このような処理により、挙動情報取得部21aは、対象動画データの撮影期間における急ブレーキに関する挙動情報を取得する。挙動情報には、急ブレーキの有無、及び、急ブレーキのタイミングが含まれる。
次に、挙動情報取得部21aは、取得した挙動情報を対象動画データに関連付けて記憶部24に記憶させる(ステップS22)。これにより、対象動画データに、挙動情報が関連付けられる。
次に、物体情報取得部21bが、通信部22を介して、物体情報を要求する要求信号と対象動画データとをサーバ装置1に送信する(ステップS23)。サーバ装置1の物体認識部11aは、通信部12を介して、これらの要求信号及び対象動画データを受信する(ステップS11)。
物体認識部11aは、この要求信号に応答して、受信した対象動画データを対象にして物体認識処理を行う(ステップS12)。物体認識部11aは、対象動画データの撮影期間において車両5の周辺に存在していた歩行者や他車両などの物体を認識する。
そして、物体認識部11aは、通信部12を介して、物体の認識結果を物体情報としてデータ処理装置2に送信する(ステップS13)。前述のように、物体情報には、認識された各物体の各フレームでのフレーム内位置、及び、車両相対状態が含まれる。
データ処理装置2の物体情報取得部21bは、通信部22を介して、物体情報を受信する(ステップS24)。これにより、物体情報取得部21bは、対象動画データの撮影期間における車両5の周辺の物体に関する物体情報を取得する。
次に、挙動情報取得部21aは、取得した物体情報を対象動画データに関連付けて記憶部24に記憶させる(ステップS25)。これにより、対象動画データに、物体情報が関連付けられる。
このような情報取得処理の結果、同一の動画データ6に関する挙動情報6aと物体情報6bとが、動画データ6を介して関連付けられることになる(図4参照。)。
<1−4−2.要因判定処理>
次に、要因判定処理(図5のステップS3)について詳細に説明する。図7は、要因判定処理の処理の流れを示す図である。なお、この説明において処理の対象となる動画データを「対象動画データ」という。
まず、要因物体判定部21dが、対象動画データ6に関連付けられた挙動情報6a及び物体情報6bを記憶部24から読み出す(ステップS31)。次に、要因物体判定部21dは、挙動情報が示す、対象動画データの撮影期間における急ブレーキの有無を参照する。これにより、急ブレーキがなかった場合は(ステップS32にてNo)、要因判定処理は終了する。
一方、急ブレーキがあった場合は(ステップS32にてYes)、要因物体判定部21dは、対象動画データに係る挙動情報と物体情報とに基づいて、急ブレーキの要因となった車両5の周辺の物体である要因物体を判定する。
具体的には、要因物体判定部21dは、挙動情報を参照して、対象動画データのうちの急ブレーキのタイミングを取得する(ステップS33)。
続いて、要因物体判定部21dは、物体情報に基づいて、急ブレーキのタイミングにおいて車両5の周辺に存在した各物体の車両相対状態を判断する(ステップS34)。すなわち、要因物体判定部21dは、急ブレーキのタイミングに相当するいくつかのフレームを特定し、それらフレームにおける各物体の車両相対状態を判断する。要因物体判定部21dは、各物体の車両5に対する相対的な状態が「車両の前方に存在」、「車両の側方に存在」及び「車両の前方を横切る」のいずれであるかを判断する。
そして、要因物体判定部21dは、急ブレーキのタイミングにおいて車両5の進行方向となる前方に物体が存在した場合は(ステップS35にてYes)、当該物体を要因物体として判定する(ステップS36)。要因物体判定部21dは、車両相対状態が「車両の前方に存在」または「車両の前方を横切る」となる物体を、車両5の前方に存在した物体と判断する。要因物体判定部21dは、一つの物体だけではなく、複数の物体を要因物体として判定してもよい。
要因物体判定部21dは、ある物体を要因物体として判定した場合は、当該物体が要因物体であることを識別するための情報を含むように、対象動画データ6に関連付けられた物体情報6bを更新する(ステップS37)。
なお、急ブレーキのタイミングにおいて車両5の前方に物体が存在しない場合は(ステップS35にてNo)、要因物体は判定されず、要因判定処理はそのまま終了する。
<1−4−3.再生処理>
次に、再生処理(図5のステップS5)について詳細に説明する。図8は、再生処理の詳細な流れを示す図である。前述のように、この再生処理に先行して動画選択処理(図5のステップS4)がなされ、再生対象となる動画データがユーザにより選択される。この説明では、再生対象となる動画データを「対象動画データ」という。
まず、動画再生部21cは、対象動画データを記憶部24から読み出す(ステップS51)。この際、動画再生部21cは、対象動画データ6に関連付けられた挙動情報6a及び物体情報6bを併せて記憶部24から読み出す。
以降、動画再生部21cは、対象動画データに含まれる複数のフレームそれぞれを表示装置25に表示させる処理を、対象動画データの全てのフレームについて完了するまで繰り返す(ステップS52〜S56)。このような処理において、動画再生部21cは、急ブレーキの要因物体がある場合は、その要因物体を強調する。
まず、動画再生部21cは、対象動画データの一のフレームをフレームの順序に従って選択する(ステップS52)。
次に、動画再生部21cは、挙動情報及び物体情報に基づいて、対象動画データの撮影期間において急ブレーキがあり、かつ、要因物体があるか否かを判定する(ステップS53)。急ブレーキがない、あるいは、要因物体がない場合は(ステップS53にてNo)、動画再生部21cは、選択中のフレームを表示装置25にそのまま表示させる(ステップS55)。
一方、急ブレーキがあり、かつ、要因物体がある場合は(ステップS53にてYes)、動画再生部21cは、選択中のフレームに要因物体の像が含まれるときは、その要因物体の像をマーカで囲んで強調する(ステップS54)。要因物体の像の位置は、物体情報に含まれる要因物体のフレーム内位置に基づいて特定できる。
次に、動画再生部21cは、選択中のフレームを表示装置25に表示させる(ステップS55)。これにより、急ブレーキの要因物体がある場合は、表示装置25において要因物体が強調して表示されることになる。
図9は、図3で説明した動画データ6の再生時の表示装置25の表示例を示す図である。この動画データ6に関しては、要因物体判定部21dが、歩行者Sb1を要因物体として判定している。
図に示すように、急ブレーキのタイミングに含まれるフレームFb,Fcにおいて、要因物体である歩行者Sb1がマーカMによって強調されている。動画データの再生時には、このように要因物体が強調されることから、ユーザは急ブレーキの要因となった要因物体を事後的に容易に把握することができる。
動画再生部21cは、このような要因物体を急ブレーキのタイミングにおいて強調する。図10は、動画データの再生期間P0を説明する図である。
図中の時点T1が動画データの再生期間P0の開始時点、時点T4が動画データの再生期間P0の終了時点となっている。このような再生期間P0のうち、時点T2から時点T3までが急ブレーキのタイミングP2に相当する。
動画再生部21cは、動画データの再生時において、このような急ブレーキのタイミングP2において要因物体を強調する。このように急ブレーキのタイミングP2において要因物体を強調することで、ユーザは、急ブレーキのタイミングを把握できるとともに、急ブレーキのタイミングにおける要因物体の状況を容易に把握することができる。
なお、動画再生部21cは、急ブレーキのタイミングの前または後の期間において、要因物体を強調するようにしてもよい。例えば、図11に示すように、急ブレーキのタイミングP2とともに、急ブレーキのタイミングP2よりも前の期間P1においても、動画再生部21cが、要因物体を強調してもよい。
図12は、この場合における動画データの再生時の表示装置25の表示例を示す図である。この場合は、急ブレーキのタイミングより前のフレームFaにおいても、要因物体となる歩行者Sb1がマーカMによって強調されている。このように、急ブレーキのタイミングP2よりも前から要因物体を強調することで、ユーザは、急ブレーキのタイミングP2よりも前の時点における要因物体の状況を容易に把握できる。すなわち、ユーザは、急ブレーキの要因となった要因物体が、事前にどのような動きをしていたかを容易に把握できる。
以上のように、本実施の形態のデータ処理装置2は、車両5の走行中にドライブレコーダ4で記録された車両5の周辺を示す動画データを処理する。このデータ処理装置2においては、挙動情報取得部21aが動画データの撮影期間における急ブレーキに関連する挙動情報を取得し、物体情報取得部21bが動画データの撮影期間における車両5の周辺の物体に関する物体情報を取得する。記憶部24は、取得された挙動情報6aと物体情報6bとを動画データ6に関連付けて記憶する。そして、要因物体判定部21dは、同一の動画データ6に係る挙動情報6aと物体情報6bとに基づいて急ブレーキの要因を判定する。このため、急ブレーキの要因を事後的に容易に把握することができる。また、ユーザの主観ではなく、挙動情報と物体情報とに基づいて急ブレーキの要因を客観的に判定することができる。
また、要因物体判定部21dは、急ブレーキの要因となった車両5の周辺の物体である要因物体を判定する。このため、要因物体を容易に把握することができる。
また、要因物体判定部21dは、急ブレーキのタイミングに車両5の進行方向である前方に存在した物体を要因物体として判定する。このため、要因物体を適切に判定することができる。
また、動画再生部21cは、要因物体を強調して動画データを再生する。このため、ユーザは、動画データの再生時において要因物体がいずれであるかを容易に把握できる。
<2.第2の実施の形態>
次に、第2の実施の形態について説明する。第2の実施の形態のデータ処理装置2の構成及び動作は、第1の実施の形態とほぼ同様であるため、以下、第1の実施の形態との相違点を中心に説明する。第2の実施の形態においては、要因物体の危険度が導出され、危険度に応じた態様で要因物体が強調される。
図13は、第2の実施の形態のデータ処理装置2の構成を示す図である。このデータ処理装置2の構成は、第1の実施の形態のデータ処理装置2の構成に、危険度導出部21eを追加したものである。危険度導出部21eは、プログラム24aの実行により実現されるデータ処理装置2の機能の一部である。
危険度導出部21eは、要因物体に関して事故の危険性がどの程度あったかを表す危険度を導出する。危険度導出部21eは、急ブレーキの開始時点の車両5の速度、並びに、急ブレーキの終了時点での要因物体の位置及び距離などに基づいて危険度を導出する。
急ブレーキの開始時点の車両5の速度は、動画データの付加情報から得られる。また、急ブレーキの終了時点での要因物体の位置及び距離は、動画データの物体情報に含まれるフレーム内位置に基づいて導出できる。
危険度導出部21eは、急ブレーキの開始時点の車両5の速度が高いほど危険度を高く導出する。また、危険度導出部21eは、急ブレーキの終了時点での要因物体の位置が車両5の左右中央に近いほど危険度を高く導出する。さらに、危険度導出部21eは、急ブレーキの終了時点での要因物体の距離が車両5に近いほど危険度を高く導出する。
危険度導出部21eは、要因判定処理において要因物体判定部21dが要因物体を判定した際に(図7のステップS36)、このような危険度を導出する。要因物体判定部21dが複数の要因物体を判定した場合は、危険度導出部21eは、複数の要因物体のそれぞれに関して危険度を導出する。危険度導出部21eが導出した危険度は、その後のステップS37において、対象動画データ6に関連付けられた物体情報6bの一部とされる。
また、動画再生部21cは、動画データの再生時において、危険度に応じた態様で要因物体を強調する。図14は、第2の実施の形態における動画データの再生時の表示装置25の表示例を示す図である。
図14に示す動画データ6に関しては、要因物体判定部21dが、歩行者Sb1と歩行者Sb2との双方を要因物体として判定している。そして、危険度導出部21eは、歩行者Sb1の危険度を比較的高く導出し、歩行者Sb2の危険度を比較的低く導出している。
この場合は、図に示すように、動画再生部21cは、危険度の高い歩行者Sb1を赤色のマーカM1によって強調し、危険度の低い歩行者Sb2を黄色のマーカM2によって強調している。動画再生部21cは、要因物体の危険度を所定の閾値と比較し、比較結果に基づいて当該要因物体を強調する態様を判断する。このように、危険度に応じた態様で要因物体を強調することで、ユーザは、要因物体の危険度を容易に把握できる。なお、危険度に応じて異ならせる強調の態様としては、マーカの色に限定されず、マーカの形状、大きさ、及び、太さなどであってもよい。
<3.第3の実施の形態>
<3−1.データ処理装置の概要>
次に、第3の実施の形態について説明する。第3の実施の形態のデータ処理装置2の構成及び動作は、第1の実施の形態とほぼ同様であるため、以下、第1の実施の形態との相違点を中心に説明する。第1の実施の形態においては、急ブレーキの要因となった要因物体が判定されていた。これに対して、第3の実施の形態においては、急ブレーキの要因となった車両5のドライバの状態が判定される。
図15は、第3の実施の形態のデータ処理装置2の構成を示す図である。このデータ処理装置2は、第1の実施の形態のデータ処理装置2の要因物体判定部21dに代えて、ドライバ状態判定部21f及び集計部21gを備えている。第3の実施の形態のデータ処理装置2のその他の構成は、第1の実施の形態と同様である。ドライバ状態判定部21f及び集計部21gは、プログラム24aの実行により実現されるデータ処理装置2の機能の一部である。
ドライバ状態判定部21fは、動画データの撮影期間において急ブレーキがなされた場合は、その急ブレーキの要因となったドライバの状態を判定する。また、集計部21gは、要因が前方不注意と判定された急ブレーキに係る動画データの数を、ドライバごとに集計する。以降、これらドライバ状態判定部21f及び集計部21gの処理の詳細について説明する。
<3−2.要因判定処理>
第3の実施の形態のデータ処理装置2においては、第1の実施の形態と異なり、ドライバ状態判定部21fが要因判定処理(図5のステップS3)を実行する。以下、第3の実施の形態の要因判定処理について説明する。図16は、第3の実施の形態の要因判定処理の流れを示す図である。なお、この説明において処理の対象となる動画データを「対象動画データ」という。
まず、ドライバ状態判定部21fが、対象動画データ6に関連付けられた挙動情報6a及び物体情報6bを記憶部24から読み出す(ステップS61)。次に、ドライバ状態判定部21fは、挙動情報が示す、対象動画データの撮影期間における急ブレーキの有無を参照する。これにより、急ブレーキがなかった場合は(ステップS62にてNo)、要因判定処理は終了する。
一方、急ブレーキがあった場合は(ステップS62にてYes)、ドライバ状態判定部21fは、対象動画データに係る挙動情報と物体情報とに基づいて、急ブレーキの要因となったドライバの状態を判定する。ドライバ状態判定部21fは、急ブレーキのタイミングにおける車両5の周辺の物体の位置に基づいて、急ブレーキの要因がドライバの前方不注意か否かを判定する。
具体的には、ドライバ状態判定部21fは、挙動情報を参照して、対象動画データのうちの急ブレーキのタイミングを取得する(ステップS63)。
続いて、ドライバ状態判定部21fは、物体情報に基づいて、急ブレーキのタイミングにおいて車両5の周辺に存在した各物体の車両相対状態を判断する(ステップS64)。すなわち、ドライバ状態判定部21fは、急ブレーキのタイミングに相当するいくつかのフレームを特定し、それらフレームにおける各物体の車両相対状態を判断する。要因物体判定部21dは、各物体の車両5に対する相対的な状態が「車両の前方に存在」、「車両の側方に存在」及び「車両の前方を横切る」のいずれであるかを判断する。
そして、ドライバ状態判定部21fは、急ブレーキのタイミングにおいて車両5の進行方向となる前方に物体が存在した場合は(ステップS65にてYes)、急ブレーキの要因はドライバの前方不注意と判定する(ステップS66)。ドライバ状態判定部21fは、車両相対状態が「車両の前方に存在」または「車両の前方を横切る」となる物体を、車両5の前方に存在した物体と判断する。
ドライバ状態判定部21fは、急ブレーキの要因がドライバの前方不注意と判定した場合は、その旨を示す不注意情報を対象動画データに関連付けて記憶部24に記憶させる(ステップS67)。これにより、前方不注意に係る動画データ(正確には、要因が前方不注意と判定された急ブレーキに係る動画データ)には、不注意情報が関連付けられる。
なお、急ブレーキのタイミングにおいて車両5の前方に物体が存在しない場合は(ステップS65にてNo)、急ブレーキの要因はドライバの前方不注意でないと判定され、要因判定処理はそのまま終了する。
<3−3.動画選択処理>
このように動画データに関連付けられた不注意情報は、再生対象とする動画データを選択する動画選択処理(図5のステップS4)において利用される。
図17は、第3の実施の形態の動画選択処理の流れを示す図である。まず、動画再生部21cは、ユーザにより前方不注意限定のオプションの指定がなされているか否かを判定する(ステップS71)。ユーザは、前方不注意に係る動画データのみを対象に再生対象とする動画データを選択したい場合は、前方不注意限定のオプションを指定する。
前方不注意限定のオプションの指定がなされていない場合は(ステップS71にてNo)、動画再生部21cは、記憶部24に記憶された全ての動画データを再生対象の候補として表示装置25に一覧表示させる(ステップS73)。そして、動画再生部21cは、ユーザによる動画データの選択を受け付ける(ステップS74)。
一方、前方不注意限定のオプションの指定がなされている場合は(ステップS71にてNo)、動画再生部21cが、記憶部24に記憶された全ての動画データのうち、不注意情報が関連付けられた動画データのみを抽出する(ステップS72)。これにより、動画再生部21cは、前方不注意に係る動画データのみを抽出する。そして、動画再生部21cは、抽出した動画データを再生対象の候補として表示装置25に一覧表示させる(ステップS73)。
図18は、表示装置25が、前方不注意に係る動画データのみを一覧表示している様子を示す図である。表示装置25においては、前方不注意に係る動画データの情報(日付、ドライバ名など)がそれぞれ項目71として表示されている。ユーザは、入力装置26を利用していずれかの項目71を仮選択した上で、再生ボタン72をクリックすることで、所望の動画データを再生対象となる動画データとして選択することができる。
前方不注意に係る動画データのみが一覧表示されるため、ユーザは、事故の危険性が高かった前方不注意に係る動画データを、再生すべき動画データとして容易に選択することができる。
再生ボタン72がクリックされると、動画再生部21cは、ユーザによる動画データの選択を受け付ける(ステップS74)。そして、動画再生部21cは、選択された動画データを再生する再生処理(図5のステップS5)を実行する。
図19は、前方不注意に係る動画データの再生時の表示装置25の表示例を示す図である。この場合は、図に示すように、再生中の動画データが前方不注意に係る動画データであることを示すメッセージTmが、各フレームに重畳して表示される。このようなメッセージTmに基づいて、ユーザは、再生中の動画データ6が前方不注意に係る動画データであることを容易に把握できる。
なお、急ブレーキのタイミングのみにおいて、このようなメッセージTmを表示してもよい。また、第3の実施の形態においても、第1及び第2の実施の形態と同様に、動画データの再生時において、要因物体を強調してもよい。
<3−4.集計処理>
また、第3の実施の形態のデータ処理装置2においては、ユーザの指示により集計処理が適宜に実行される。この集計処理は、図5に示すメイン処理とは独立した処理となる。図20は、集計処理の流れを示す図である。以下、この集計処理について説明する。
まず、集計部21gが、記憶部24に記憶された全ての動画データのうち、不注意情報が関連付けられた動画データのみを抽出する(ステップS81)。これにより、集計部21gは、前方不注意に係る動画データのみを抽出する。
次に、集計部21gは、前方不注意に係る動画データの数をドライバごとに集計する(ステップS82)。集計部21gは、各動画データが記録された車両5のドライバを、動画データの付加情報に含まれるドライバコードに基づいて識別する。
次に、集計部21gは、前方不注意に係る動画データの数に基づいて、ドライバのランキングを表示する(ステップS83)。図21は、表示装置25が、ドライバのランキングを表示している様子を示す図である。表示装置25においては、前方不注意に係る動画データの数(すなわち、前方不注意の回数)が多い順に、ドライバ名が前方不注意の回数と併せて表示されている。このようなドライバのランキングに基づいて、ユーザは、前方不注意の回数が多いドライバ(タクシーの乗務員)を容易に把握できる。
以上のように、第3の実施の形態のデータ処理装置2においては、ドライバ状態判定部21fは、急ブレーキの要因となった車両5のドライバの状態を判定する。このため、急ブレーキの要因となった車両5のドライバの状態を事後的に容易に把握できる。
また、ドライバ状態判定部21fは、急ブレーキのタイミングにおける車両5の周辺の物体の位置に基づいて、急ブレーキの要因をドライバの前方不注意と判定する。このため、急ブレーキの要因が前方不注意であることを事後的に容易に把握できる。
また、表示装置25は、要因が前方不注意と判定された急ブレーキに係る動画データを一覧表示する。このため、前方不注意に係る動画データを容易に選択できる。
また、集計部21gは、要因が前方不注意と判定された急ブレーキに係る動画データの数をドライバごとに集計する。このため、前方不注意の回数が多いドライバを容易に把握できる。
<4.変形例>
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
また、上記実施の形態では、要因を判定する対象となる車両5の特定挙動は急ブレーキであるとして説明を行ったが、車両5の特定挙動は急ハンドルなどの他の挙動としてもよい。動画データの撮影期間において急ハンドルがなされたか否かは、車両5の加速度の時系列データなどに基づいて事後的に判定することができる。
また、上記実施の形態では、車両5の進行方向が前方であるものとし、特定挙動のタイミングに車両5の前方に存在する物体に基づいて、特定挙動の要因を判定するようにしていた。これに対して、車両5の進行方向が前方でない場合でも、特定挙動のタイミングに車両5の進行方向に存在する物体に基づいて特定挙動の要因を判定してもよい。例えば、右折中に急ブレーキがなされた場合は、急ブレーキのタイミングに車両5の右方に存在する物体に基づいて、急ブレーキの要因を判定してもよい。
また、上記実施の形態では、要因物体をマーカによって強調していたが、要因物体の像の彩度を強調するなど、他の手法で要因物体を強調してもよい。
また、上記実施の形態では、ドライブレコーダ4は、インシデントが発生した場合に動画データを記録するトリガ記録方式を採用していたが、駆動開始から駆動停止まで継続的に動画データを記録する常時記録方式を採用してもよい。常時記録方式を採用する場合においても、ドライブレコーダ4が動画データの撮影期間にわたる車両5の速度及び加速度の時系列データを動画データとともに記録すれば、特定挙動のタイミングを事後的に特定可能である。
また、上記実施の形態では、サーバ装置1が、動画データに基づいて物体を認識する物体認識処理を行う機能を備えていた。これに対して、同様の物体認識処理を行う機能をデータ処理装置2が備えていてもよい。
また、上記実施の形態において一つのブロックとして説明した機能は必ずしも単一の物理的要素によって実現される必要はなく、分散した物理的要素によって実現されてよい。また、上記実施の形態で複数のブロックとして説明した機能は単一の物理的要素によって実現されてもよい。また、車両内の装置と車両外の装置とに任意の一つの機能に係る処理を分担させ、これら装置間において通信によって情報の交換を行うことで、全体として当該一つの機能が実現されてもよい。
また、上記実施の形態においてプログラムの実行によってソフトウェア的に実現されると説明した機能の全部又は一部は電気的なハードウェア回路により実現されてもよく、ハードウェア回路によって実現されると説明した機能の全部又は一部はソフトウェア的に実現されてもよい。また、上記実施の形態において一つのブロックとして説明した機能が、ソフトウェアとハードウェアとの協働によって実現されてもよい。
1 サーバ装置
2 データ処理装置
4 ドライブレコーダ
5 車両
6 動画データ
11a 物体認識部
21a 挙動情報取得部
21b 物体情報取得部
21c 動画再生部
21d 要因物体判定部
21e 危険度導出部
21f ドライバ状態判定部
21g 集計部
25 表示装置

Claims (13)

  1. 車両の走行中に記録された前記車両の周辺を示す動画データを処理するデータ処理装置であって、
    前記動画データの撮影期間における前記車両の特定挙動に関する挙動情報を取得する第1取得手段と、
    前記動画データの撮影期間における前記車両の周辺の物体に関する物体情報を取得する第2取得手段と、
    同一の前記動画データに係る前記挙動情報と前記物体情報とに基づいて、前記特定挙動の要因を判定する判定手段と、
    を備えることを特徴とするデータ処理装置。
  2. 請求項1に記載のデータ処理装置において、
    前記判定手段は、前記特定挙動の要因となった前記車両の周辺の物体である要因物体を判定することを特徴とするデータ処理装置。
  3. 請求項2に記載のデータ処理装置において、
    前記判定手段は、前記特定挙動のタイミングに前記車両の進行方向に存在した物体を、前記要因物体として判定することを特徴とするデータ処理装置。
  4. 請求項2または3に記載のデータ処理装置において、
    前記要因物体を強調して、前記動画データを再生する再生手段、
    をさらに備えることを特徴とするデータ処理装置。
  5. 請求項4に記載のデータ処理装置において、
    前記再生手段は、前記動画データの再生時において、前記特定挙動のタイミングにおいて前記要因物体を強調することを特徴とするデータ処理装置。
  6. 請求項4または5に記載のデータ処理装置において、
    前記再生手段は、前記動画データの再生時において、前記特定挙動のタイミングよりも前から前記要因物体を強調することを特徴とするデータ処理装置。
  7. 請求項4ないし6のいずれかに記載のデータ処理装置において、
    前記要因物体の危険度を導出する導出手段、
    をさらに備え、
    前記再生手段は、前記危険度に応じた態様で前記要因物体を強調することを特徴とするデータ処理装置。
  8. 請求項1ないし7のいずれかに記載のデータ処理装置において、
    前記判定手段は、前記特定挙動の要因となった前記車両のドライバの状態を判定することを特徴とするデータ処理装置。
  9. 請求項8に記載のデータ処理装置において、
    前記判定手段は、前記特定挙動のタイミングにおける前記車両の周辺の物体の位置に基づいて、前記特定挙動の要因を前記ドライバの前方不注意と判定することを特徴とするデータ処理装置。
  10. 請求項9に記載のデータ処理装置において、
    前記要因が前記前方不注意と判定された前記特定挙動に係る前記動画データを一覧表示する表示手段、
    をさらに備えることを特徴とするデータ処理装置。
  11. 請求項9または10に記載のデータ処理装置において、
    前記動画データは、該動画データが記録された前記車両のドライバと関連付けられ、
    前記要因が前記前方不注意と判定された前記特定挙動に係る前記動画データの数を、前記ドライバごとに集計する集計手段、
    をさらに備えることを特徴とするデータ処理装置。
  12. 車両の走行中に記録された前記車両の周辺を示す動画データを処理する画像処理方法であって、
    (a)前記動画データの撮影期間における前記車両の特定挙動に関する挙動情報を取得する工程と、
    (b)前記動画データの撮影期間における前記車両の周辺の物体に関する物体情報を取得する工程と、
    (c)同一の前記動画データに係る前記挙動情報と前記物体情報とに基づいて、前記特定挙動の要因を判定する工程と、
    を備えることを特徴とする画像処理方法。
  13. 車両の走行中に記録された前記車両の周辺を示す動画データを処理するデータ処理装置に含まれるコンピュータにより実行可能なプログラムであって、
    前記コンピュータに、
    (a)前記動画データの撮影期間における前記車両の特定挙動に関する挙動情報を取得する工程と、
    (b)前記動画データの撮影期間における前記車両の周辺の物体に関する物体情報を取得する工程と、
    (c)同一の前記動画データに係る前記挙動情報と前記物体情報とに基づいて、前記特定挙動の要因を判定する工程と、
    を実行させることを特徴とするプログラム。
JP2014240961A 2014-11-28 2014-11-28 データ処理装置、画像処理方法、及び、プログラム Active JP6554280B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014240961A JP6554280B2 (ja) 2014-11-28 2014-11-28 データ処理装置、画像処理方法、及び、プログラム
US14/886,950 US10399438B2 (en) 2014-11-28 2015-10-19 Data processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014240961A JP6554280B2 (ja) 2014-11-28 2014-11-28 データ処理装置、画像処理方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2016103142A true JP2016103142A (ja) 2016-06-02
JP6554280B2 JP6554280B2 (ja) 2019-07-31

Family

ID=56079392

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014240961A Active JP6554280B2 (ja) 2014-11-28 2014-11-28 データ処理装置、画像処理方法、及び、プログラム

Country Status (2)

Country Link
US (1) US10399438B2 (ja)
JP (1) JP6554280B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019003512A (ja) * 2017-06-16 2019-01-10 三井物産エレクトロニクス株式会社 情報処理システム
JP2019168921A (ja) * 2018-03-23 2019-10-03 株式会社ユピテル システム、映像記録システム及びプログラム等
WO2019203107A1 (ja) * 2018-04-18 2019-10-24 株式会社Jvcケンウッド ドライブレコーダ、表示制御方法およびプログラム
WO2020066213A1 (ja) * 2018-09-26 2020-04-02 株式会社デンソー ドライブレコーダ及び画像記憶システム
JP2020064605A (ja) * 2019-05-22 2020-04-23 あいおいニッセイ同和損害保険株式会社 プログラム及び情報処理方法
JP2020145564A (ja) * 2019-03-05 2020-09-10 株式会社デンソーテン 画像処理装置および画像処理方法
JP2020161175A (ja) * 2020-06-18 2020-10-01 あいおいニッセイ同和損害保険株式会社 プログラム及び情報処理方法
JP2021005394A (ja) * 2020-09-08 2021-01-14 あいおいニッセイ同和損害保険株式会社 プログラム及び情報処理方法
JP2021057062A (ja) * 2020-12-09 2021-04-08 あいおいニッセイ同和損害保険株式会社 プログラム及び情報処理方法
WO2021245999A1 (ja) * 2020-06-04 2021-12-09 株式会社日立製作所 車載装置、車両動作解析システム
CN114746912A (zh) * 2020-01-31 2022-07-12 Jvc建伍株式会社 记录控制装置、记录装置、记录控制方法及程序

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7195098B2 (ja) * 2018-09-27 2022-12-23 株式会社Subaru 車両用通信装置、並びにこれを用いる車両制御システムおよび交通システム
JP7151449B2 (ja) * 2018-12-14 2022-10-12 トヨタ自動車株式会社 情報処理システム、プログラム、及び情報処理方法
US11132562B2 (en) * 2019-06-19 2021-09-28 Toyota Motor Engineering & Manufacturing North America, Inc. Camera system to detect unusual circumstances and activities while driving
JP6828772B2 (ja) * 2019-06-27 2021-02-10 株式会社Jvcケンウッド 記録制御装置、記録装置、記録制御方法、及び記録制御プログラム
JP6828771B2 (ja) 2019-06-27 2021-02-10 株式会社Jvcケンウッド 記録制御装置、記録装置、記録制御方法、及び記録制御プログラム
US10754893B1 (en) * 2019-09-09 2020-08-25 Forward Thinking Systems, LLC Providing access to vehicle videos
WO2021152985A1 (ja) * 2020-01-31 2021-08-05 株式会社Jvcケンウッド 記録制御装置、記録制御方法、及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003002256A (ja) * 2001-06-22 2003-01-08 Matsushita Electric Ind Co Ltd 車両用ドライブレコーダ
JP2007141211A (ja) * 2006-08-21 2007-06-07 Fujitsu Ten Ltd 運転支援方法および運転支援装置
JP2008176638A (ja) * 2007-01-19 2008-07-31 Fujitsu Ten Ltd サムネイル画像作成方法
JP2009040107A (ja) * 2007-08-06 2009-02-26 Denso Corp 画像表示制御装置及び画像表示制御システム
JP2009083815A (ja) * 2007-10-03 2009-04-23 Fujitsu Ten Ltd ドライブレコーダ装置および事故解析シミュレーション装置
JP2011100298A (ja) * 2009-11-06 2011-05-19 Fujitsu Ten Ltd 情報処理装置、車載装置、情報処理システム、情報処理方法、および、プログラム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6596541B2 (en) * 2000-10-31 2003-07-22 Regeneron Pharmaceuticals, Inc. Methods of modifying eukaryotic cells
US20030210806A1 (en) * 2002-05-07 2003-11-13 Hitachi, Ltd. Navigational information service with image capturing and sharing
US7385626B2 (en) * 2002-10-21 2008-06-10 Sarnoff Corporation Method and system for performing surveillance
JP4134894B2 (ja) * 2003-12-09 2008-08-20 株式会社デンソー 車両運転支援装置
JP4657765B2 (ja) * 2005-03-09 2011-03-23 三菱自動車工業株式会社 ノーズビューシステム
JP4984915B2 (ja) * 2006-03-27 2012-07-25 セイコーエプソン株式会社 撮像装置、撮像システム及び撮像方法
US8989959B2 (en) 2006-11-07 2015-03-24 Smartdrive Systems, Inc. Vehicle operator performance history recording, scoring and reporting systems
EP2031517A1 (en) * 2007-08-28 2009-03-04 Toyota Motor Europe NV Methods and systems for data processing and their applications
JP5282816B2 (ja) * 2009-04-15 2013-09-04 トヨタ自動車株式会社 運転支援システム
WO2010144900A1 (en) * 2009-06-12 2010-12-16 Magna Electronics Inc. Scalable integrated electronic control unit for vehicle
JP5292210B2 (ja) * 2009-07-16 2013-09-18 株式会社エルモ社 資料提示装置
JP5530146B2 (ja) 2009-09-30 2014-06-25 富士通テン株式会社 データ管理装置、データ読取方法及びプログラム
US8597027B2 (en) * 2009-11-25 2013-12-03 Loren J. Staplin Dynamic object-based assessment and training of expert visual search and scanning skills for operating motor vehicles
JP2011118482A (ja) * 2009-11-30 2011-06-16 Fujitsu Ten Ltd 車載装置および認知支援システム
JP5813298B2 (ja) 2010-07-22 2015-11-17 富士通テン株式会社 ドライブレコーダ、及び、画像記憶方法
US8994823B2 (en) * 2011-07-05 2015-03-31 Toyota Jidosha Kabushiki Kaisha Object detection apparatus and storage medium storing object detection program
KR20130008674A (ko) * 2011-07-06 2013-01-23 삼성전자주식회사 어댑티브 바디 바이어스 회로 및 이를 포함하는 반도체 집적 회로
US8599307B2 (en) * 2011-07-25 2013-12-03 Aptina Imaging Corporation Method and apparatus for rapid verification of imaging systems
US9298575B2 (en) * 2011-10-12 2016-03-29 Lytx, Inc. Drive event capturing based on geolocation
JP5863481B2 (ja) * 2012-01-30 2016-02-16 日立マクセル株式会社 車両用衝突危険予測装置
US8694224B2 (en) * 2012-03-01 2014-04-08 Magna Electronics Inc. Vehicle yaw rate correction
JP5962898B2 (ja) 2012-03-28 2016-08-03 日本電気株式会社 運転評価システム、運転評価方法、及び運転評価プログラム
US9524269B1 (en) * 2012-12-19 2016-12-20 Allstate Insurance Company Driving event data analysis
CN105765966B (zh) * 2013-12-19 2020-07-10 英特尔公司 碗形成像系统
CN110171405B (zh) * 2014-05-22 2021-07-13 御眼视觉技术有限公司 基于检测对象制动车辆的系统和方法
US9747812B2 (en) * 2014-10-22 2017-08-29 Honda Motor Co., Ltd. Saliency based awareness modeling

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003002256A (ja) * 2001-06-22 2003-01-08 Matsushita Electric Ind Co Ltd 車両用ドライブレコーダ
JP2007141211A (ja) * 2006-08-21 2007-06-07 Fujitsu Ten Ltd 運転支援方法および運転支援装置
JP2008176638A (ja) * 2007-01-19 2008-07-31 Fujitsu Ten Ltd サムネイル画像作成方法
JP2009040107A (ja) * 2007-08-06 2009-02-26 Denso Corp 画像表示制御装置及び画像表示制御システム
JP2009083815A (ja) * 2007-10-03 2009-04-23 Fujitsu Ten Ltd ドライブレコーダ装置および事故解析シミュレーション装置
JP2011100298A (ja) * 2009-11-06 2011-05-19 Fujitsu Ten Ltd 情報処理装置、車載装置、情報処理システム、情報処理方法、および、プログラム

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019003512A (ja) * 2017-06-16 2019-01-10 三井物産エレクトロニクス株式会社 情報処理システム
JP2019168921A (ja) * 2018-03-23 2019-10-03 株式会社ユピテル システム、映像記録システム及びプログラム等
JP7431407B2 (ja) 2018-03-23 2024-02-15 株式会社ユピテル システム、映像記録システム及びプログラム等
JP2022183223A (ja) * 2018-03-23 2022-12-08 株式会社ユピテル システム、映像記録システム及びプログラム等
JP7162288B2 (ja) 2018-03-23 2022-10-28 株式会社ユピテル システム、映像記録システム及びプログラム等
WO2019203107A1 (ja) * 2018-04-18 2019-10-24 株式会社Jvcケンウッド ドライブレコーダ、表示制御方法およびプログラム
JP2019191639A (ja) * 2018-04-18 2019-10-31 株式会社Jvcケンウッド ドライブレコーダ、表示制御方法およびプログラム
WO2020066213A1 (ja) * 2018-09-26 2020-04-02 株式会社デンソー ドライブレコーダ及び画像記憶システム
JP2020052634A (ja) * 2018-09-26 2020-04-02 株式会社デンソー ドライブレコーダ及び画像記憶システム
JP2020145564A (ja) * 2019-03-05 2020-09-10 株式会社デンソーテン 画像処理装置および画像処理方法
JP2020064605A (ja) * 2019-05-22 2020-04-23 あいおいニッセイ同和損害保険株式会社 プログラム及び情報処理方法
CN114746912A (zh) * 2020-01-31 2022-07-12 Jvc建伍株式会社 记录控制装置、记录装置、记录控制方法及程序
JP2021189981A (ja) * 2020-06-04 2021-12-13 株式会社日立製作所 車載装置、車両動作解析システム
WO2021245999A1 (ja) * 2020-06-04 2021-12-09 株式会社日立製作所 車載装置、車両動作解析システム
JP7430113B2 (ja) 2020-06-04 2024-02-09 日立Astemo株式会社 車載装置、車両動作解析システム
JP2020161175A (ja) * 2020-06-18 2020-10-01 あいおいニッセイ同和損害保険株式会社 プログラム及び情報処理方法
JP2021005394A (ja) * 2020-09-08 2021-01-14 あいおいニッセイ同和損害保険株式会社 プログラム及び情報処理方法
JP2021057062A (ja) * 2020-12-09 2021-04-08 あいおいニッセイ同和損害保険株式会社 プログラム及び情報処理方法
JP7206246B2 (ja) 2020-12-09 2023-01-17 あいおいニッセイ同和損害保険株式会社 プログラム及び情報処理方法

Also Published As

Publication number Publication date
US10399438B2 (en) 2019-09-03
JP6554280B2 (ja) 2019-07-31
US20160155004A1 (en) 2016-06-02

Similar Documents

Publication Publication Date Title
JP6554280B2 (ja) データ処理装置、画像処理方法、及び、プログラム
JP6607271B2 (ja) 顕著フラグメントへのビデオストリームの分解
CN105898207B (zh) 视频数据的智能处理方法及系统
JP6109593B2 (ja) 危険情報処理方法、装置及びシステム、並びにプログラム
JP6206857B1 (ja) 追跡支援装置、追跡支援システムおよび追跡支援方法
JP2018533295A (ja) ビデオ処理のためのシステムおよび方法
JP2018528720A (ja) ビデオ処理のためのシステムおよび方法
WO2016138141A1 (en) Systems and methods for bulk redaction of recorded data
US9837121B2 (en) Information processing device, information processing method, and program
JP2014154005A (ja) 危険情報提供方法、装置、及びプログラム
JP6503692B2 (ja) 画像送信装置、画像取得方法、および画像取得プログラム
KR102072022B1 (ko) 관심영역 기반의 영상요약 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체
JPWO2014045843A1 (ja) 画像処理システム、画像処理方法及びプログラム
JP2016207004A (ja) データ処理装置、データ処理システム、データ処理方法及びプログラム
JP6345572B2 (ja) 走行映像記録システムおよびこれに用いるドライブレコーダ、並びに記録走行映像のアップロード方法
JP2008033822A (ja) 運転支援装置
JP2017162436A (ja) 画像処理方法、画像処理装置およびプログラム
EP3765821A1 (en) Intra-route feedback system
US20210197835A1 (en) Information recording and reproduction device, a non-transitory storage medium, and information recording and reproduction system
JP5085693B2 (ja) 運転支援装置および運転支援方法
JP7386008B2 (ja) 表示制御装置、データ収集システム、表示制御方法および表示制御プログラム
JP2022065293A (ja) 映像処理装置、映像処理方法、コンピュータプログラム及び記憶媒体
JP2017162437A (ja) 画像処理方法、画像処理装置およびプログラム
JP5139480B2 (ja) 運転支援装置、運転支援システム、運転支援ソフトおよび運転支援方法
Gideon et al. A multi-camera deep neural network for detecting elevated alertness in drivers

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170929

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181219

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190424

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190708

R150 Certificate of patent or registration of utility model

Ref document number: 6554280

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250