JP2021083034A - 画像データ配信システム及び画像データ表示端末 - Google Patents

画像データ配信システム及び画像データ表示端末 Download PDF

Info

Publication number
JP2021083034A
JP2021083034A JP2019211215A JP2019211215A JP2021083034A JP 2021083034 A JP2021083034 A JP 2021083034A JP 2019211215 A JP2019211215 A JP 2019211215A JP 2019211215 A JP2019211215 A JP 2019211215A JP 2021083034 A JP2021083034 A JP 2021083034A
Authority
JP
Japan
Prior art keywords
image data
shooting
distribution system
vehicle
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019211215A
Other languages
English (en)
Other versions
JP7272244B2 (ja
Inventor
将弘 西山
Masahiro Nishiyama
将弘 西山
健司 塚岸
Kenji Tsukagishi
健司 塚岸
貴久 兼子
Takahisa Kaneko
貴久 兼子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2019211215A priority Critical patent/JP7272244B2/ja
Priority to US17/005,797 priority patent/US11657657B2/en
Priority to CN202011133179.XA priority patent/CN112836079A/zh
Publication of JP2021083034A publication Critical patent/JP2021083034A/ja
Application granted granted Critical
Publication of JP7272244B2 publication Critical patent/JP7272244B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/008Registering or indicating the working of vehicles communicating information to a remotely located station
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0129Traffic data processing for creating historical data or processing based on historical data
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0133Traffic data processing for classifying traffic situation
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/052Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096791Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is another vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/161Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • G07C5/0866Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Atmospheric Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】ユーザの希望する位置及び環境で撮影された車載カメラの画像データをユーザに提供する。【解決手段】配信システム30は、収集サーバ40、保存サーバ50及び配信サーバ60を備える。収集サーバ30は、車載カメラにより撮影された画像データを取得し、撮影位置情報及び撮影環境情報と関連づけたテーブル52を作成した上で、保存サーバ50に保存する。配信サーバ60では、撮影位置条件及び撮影環境条件を指定した配信要求を受け付ける。そして、撮影位置条件及び撮影環境条件を満たす画像データを検索して、配信を行う。【選択図】図3

Description

本発明は、車載カメラにかかる画像データ配信システム及び画像データ表示端末に関する。
車両では、車外あるいは車内を撮影する車載カメラを搭載している場合がある。
特許文献1には、ユーザが所望の位置付近を走行する所望の車載カメラの画像データをユーザの端末に送信することで、ユーザに当該位置の現状を詳細に伝達可能とすることが記載されている。
特許文献2には、車載カメラで撮影した事故発生前後の画像データを記録し、保険受託会社等に送信することが記載されている。
特開2014−164316号公報 特開2006−236292号公報
特許文献1では、車載カメラの画像データを、特定の地点における現状把握のために提供しているにすぎない。
特許文献2では、保険受託会社等の関係者に、事故という特別な状況について車載カメラの画像データを送信しているにすぎない。
車載カメラでは、様々な位置における様々な環境下での画像データが撮影される。そこで、ユーザが求める条件に従った画像データを提供することで、ユーザの利便性あるいは満足度を高めることができると考えられる。
本発明の目的は、ユーザの希望する位置及び環境で撮影された車載カメラの画像データをユーザに提供する技術を確立することにある。
本発明にかかる画像データ配信システムは、車載カメラにより撮影された画像データを、撮影位置情報及び撮影環境情報と関連づけて保存する保存手段と、撮影位置条件及び撮影環境条件を指定した配信要求を受け付ける受付手段と、前記撮影位置条件を満たす前記撮影位置情報及び前記撮影環境条件を満たす前記撮影環境情報と関連づけられた前記画像データを配信する配信手段と、を備える。
本発明の一態様においては、前記撮影環境条件は、撮影がなされたタイミングに関する条件である。
本発明の一態様においては、前記撮影環境情報は、前記車載カメラを搭載した車両の周囲で生じたイベントについての情報であり、前記撮影環境条件は、前記イベントを指定する条件である。
本発明の一態様においては、前記撮影環境条件は、撮影がなされた天候に関する条件である。
本発明の一態様においては、前記画像データを時間短縮または時間延長する編集を行う編集手段を備え、前記配信手段は、編集された前記画像データを配信する。
本発明の一態様においては、さらに、複数の車両と通信可能に設定され、各車両の前記車載カメラにより撮影された前記画像データを受信する受信手段を備え、前記保存手段は、前記受信手段により受信された前記画像データを保存する。
本発明にかかる画像データ表示端末は、撮影位置条件及び撮影環境条件を指定する指定手段と、車載カメラで撮影され、前記撮影位置条件を満たす撮影位置情報及び前記撮影環境条件を満たす撮影環境情報と関連づけられた画像データを受信する受信手段と、受信した前記画像データを表示する表示手段と、を備える。
本発明によれば、ユーザの位置及び撮影環境を指定して、車載カメラの画像データを見ることが可能となる。このため、同じ位置で撮影された複数の画像データを、撮影環境によって選択することも可能となり、ユーザの利便性あるいは満足度を高めることが期待できる。
実施形態にかかる車載カメラ画像活用システムの構成を示す図である 車両の構成を示す図である。 配信システムの構成を示す図である。 画像データの収集対象となる車両が走行する地図の例を示す図である。 収集した画像データ等に基づいて作成したテーブルの例を示す図である。 カーナビゲーションシステムと連動した画像再生の設定画面の例を示す図である。 画像データの表示例を示す図である。
以下に、図面を参照しながら、実施形態について説明する。説明においては、理解を容易にするため、具体的な態様について示すが、これらは実施形態を例示するものであり、他にも様々な実施形態をとることが可能である。
図1は、実施形態にかかる車載カメラ画像活用システム10の概略構成を示す図である。車載カメラ画像活用システム10は、車載カメラで撮影された画像データを収集し、希望するユーザに配信して、ユーザの端末に表示する一連の処理を実行可能なシステムである。車載カメラ画像活用システム10には、車両12、14、配信システム30及びスマートフォン80が含まれている。
図1の2台の車両12、14は、車載カメラを備えた多くの車両を代表して図示したものである。人が活動するエリアでは、通常、多くの車両12、14が走行しており、車載カメラによって、様々な位置及び環境下で車外の画像データが撮影されることになる。車両12、14で撮影された画像データは、配信システム30に送信される。また、車両12、14では、配信システム30から画像データを受信してディスプレイ等に表示させることができる。
配信システム30は、画像データ配信システムの一例であり、配信企業のオフィスなどに構築されるシステムである。配信システム30は、ネットワークに接続された複数のハードウエアを利用して構築することもできる。配信システム30は、収集サーバ40と、保存サーバ50と、配信サーバ60を含んでいる。収集サーバ40は、予め車載カメラ画像活用システム10への参加許諾を得た車両12、14から画像データを受信して、保存サーバ50に記憶させる。保存サーバ50は、画像データを保存する記憶装置である。配信サーバ60は、ユーザからの要求に従って画像データの配信を行う。
スマートフォン80は、画像データ表示端末の一例であり、ユーザが使用する携帯型の通信端末である。スマートフォン80では、アプリケーションプログラムをインストールすることで、配信システム30から、画像データの配信を受け、ディスプレイに表示することができる。
図2は、図1に図示した車両12について詳しく説明する図である。車両12は、車載カメラ20、タッチパネル22、GPS24、時計26及び無線通信装置28を備える。
車載カメラ20は、車両12に搭載されて車外あるいは車内の情景を撮影するカメラである。車載カメラ20は、例えば、車室内のルーフ前端付近に設置されて、フロントウインドシールドを通じて、車両前方側の車外を撮影し画像データを取得する。画像データは、2次元または3次元的な視覚情報を与えるデータである。画像データは、一般的には動画であるが適当な時間間隔で撮影される静止画であってもよい。車載カメラ20は、例えば、車両12の走行状況を記録するドライブレコーダとして利用することができる。また、例えば、車両12が自動運転モードを備える場合に、車載カメラ20は車両前方の交通状況を把握するセンサとして利用することができる。そして、車載カメラ画像活用システム10においては、車載カメラ20の画像データは、配信システム30に送信され、配信システム30から第三者に配信される用途にも使われる。なお、車載カメラ20としては、通常は可視光を利用する可視光カメラが用いられるが、赤外線カメラ、紫外線カメラなどの様々な波長帯のカメラを採用することも可能である。また、車載カメラ20は、車両12の側方、後方など、前方以外を撮影するものであってもよい。
タッチパネル22は、車両12の運転者等が入力操作を行うことができるディスプレイである。運転者等のユーザは、タッチパネル22にカーナビゲーションシステムを呼び出して、目的地までの経路の案内表示をさせることができる。また、タッチパネル22は、画像データ表示端末の一例である。ユーザは、タッチパネル22に車載カメラ画像活用システム10のアプリケーションプログラムを表示させ、画像データの配信を要求するとともに、配信システム30から配信される画像データを表示することもできる。このアプリケーションプログラムは、カーナビゲーションシステムと連動させることもできる。
GPS24は、Global Positioning Systemの略称であり、人工衛星を用いて車両12の位置を検出するセンサである。GPS24による検出結果は、車両12の車載カメラ20の画像データが、どの位置で撮影されたものかを特定する撮影位置データとして用いられる。また、撮影位置データを時系列で追うことで、車両12の走行ルートがわかることになる。
時計26は、年月日時のタイミングを表示する装置である。時計26の出力は、車両12の車載カメラ20の画像データが、どのタイミングで撮影されたかを特定する撮影時刻データとして利用される。
無線通信装置28は、Wi−Fi(登録商標)などの無線通信により、外部と通信を行う装置である。車両12は、無線通信装置28を通じて、撮影した画像データと、対応する撮影位置データ及び撮影時刻データを、配信システム30に送信する。また、無線通信装置28を通じて、配信システム30から様々な画像データを受信する。
なお、車両12には、さらに、温度センサ、日射量センサなど、天候に関連したデータを取得するセンサが設けられている場合がある。撮影時に対応したセンサ出力は、撮影天候データとして、画像データとともに、無線通信装置28によって、配信システム30に送信するようにしてもよい。
図3は、配信システム30の機能の詳細を説明するブロック図である。配信システム30は、収集サーバ40、保存サーバ50、配信サーバ60を含んでいる。収集サーバ40、保存サーバ50、配信サーバ60は、メモリ、プロセッサなどを備えたコンピュータハードウエアを、OS(Operating System)、アプリケーションプログラムなどのソフトウエアによって制御することで構築された装置である。
収集サーバ40には、アプリケーションプログラムの制御の下で、収集条件設定部42、データ受信部44、個人データ削除処理部46、テーブル作成部48が構築されている。
収集条件設定部42は、車載カメラ20の画像データを収集する対象について条件を設定するためのものである。収集条件の設定は、管理者によって行われてもよいし、プログラムに基づいて自動的に行われてもよい。収集条件の例としては、収集対象のエリアの指定、エリアにおいて収集対象となる車両12、14の指定(台数、車種、走行速度など)、撮影時刻の指定などが挙げられる。収集条件を設定することで、例えば、車両12、14があまり走行していないエリア、または、あまり走行していない時刻の画像データを積極的に収集することが可能となる。また、車両12、14が多く走行しているエリア、または、多く走行している時刻の画像データを、必要以上に大量に収集することを防止することが可能になる。
データ受信部44は、通信手段の一例であり、収集条件設定部42が設定した収集条件に従って、車両12、14等からの画像データと、対応する撮影位置データ、撮影時刻データ、撮影天候データなどを取得する。また、必要に応じて、撮影時の走行速度データ、車種データなどを取得することもできる。
個人データ削除処理部46は、画像データに含まれる人の顔、ナンバープレートなど、個人を特定しやすい部位を削除する処理を行う。個人データ削除処理部46は、例えば、ディープラーニングなどの学習アルゴリズムによって人の顔あるいはナンバープレートを判別し、その部位をぼかすなどの処理を行う。
テーブル作成部48は、画像データとともに受信した撮影位置データ、撮影時刻データ、撮影天候データなどに基づいて、画像データを効率的に検索するためのテーブルを作成する。テーブルは、撮影位置情報を含むとともに、撮影環境情報を含むように作成される。
ここで撮影位置情報は、画像データが撮影された位置を特定する情報であり、基本的には受信した撮影位置データに基づいて整理される。また、撮影環境情報とは、画像データが撮影されたタイミングまたは天候に関する情報である。画像データが撮影されたタイミングは、基本的には、撮影時刻データによって与えられる。また、画像データの撮影がイベント(例えばその地域のお祭りの開催、スポーツ大会の開催などの人為的イベント、及び、その地域における地震の発生、桜の開花などの自然イベントを含む)の最中に、その周囲で撮影された場合には、このイベントもタイミングに関する撮影環境情報として含むことができる。また、天候に関する撮影環境情報とは、天気、風向風速、気温などの情報をいう。天候に関する撮影環境情報は、気象庁などが提供する情報に基づいて取得することが可能である。また、車両12から取得した撮影天候データを利用して取得してもよい。
保存サーバ50は、保存手段の例であり、テーブル作成部48によって作成されたテーブル52と、画像データ54とを保存する。保存サーバ50では、国内はもとより外国さらには世界中で、様々な時期及び環境下で撮影された画像データ54と対応するテーブル52を保存することができる。
配信サーバ60は、配信手段の例であり、配信要求受付部62、画像検索部64、画像編集部66及び配信部68を備える。
配信要求受付部62は、受付手段の例であり、車両12、14のタッチパネル22あるいはスマートフォン80などから画像データの配信要求を受け付ける。配信要求にあたっては、撮影位置条件及び撮影環境条件が指定される場合がある。
ここで、撮影位置条件とは、上述の撮影位置情報に対応した条件であり、撮影された位置を指定するものである。例えば、開始位置と終了位置と、その間の経路を全て指定する条件は、撮影位置条件に含まれる。また、撮影位置条件は、撮影位置を大まかに指定する条件であってもよい。大まかな指定の例としては、開始位置と終了位置のみを指定するもの、走行する道路とその途上に含まれる1点を指定するもの、開始位置と進行方向を指定するもの、エリアの名称(例えば都市名、観光地名、公園名など)を指定するものなどが挙げられる。また、特定の地点の名称(例えば、駅、公共施設、建築物など)を指定するものであってもよい。この場合には、その名称に対応するものの周囲、あるいは、その名称に対応するものが見えるエリアなどを撮影位置条件とすることができる。さらには、撮影位置条件として、複数の位置がもつ特徴を指定するようにしてもよい。例えば、海岸沿いの道、紅葉の名所、世界遺産の都市などは複数存在する位置を指定する例である。この場合には、例えば、設定された優先順位などに従って、順次、対応する画像データを表示していく態様が考えられる。
撮影環境条件とは、上述の撮影環境情報に対応した条件であり、撮影された特定のタイミングまたは天候を指定するものである。特定のタイミングを指定する例としては、撮影された年、季節、月、日、時、曜日、イベント(お祭りの開催、地震の発生など)などを挙げることができる。また、天候とは、晴、曇、雨、霧、雪などの天気の他、風向風速、気温、湿度などの情報も含まれる。また、台風による暴風雨、竜巻の発生時なども天候に含まれる。
画像検索部64は、配信要求受付部62が配信要求を受け付けた場合に、撮影位置条件及び撮影環境条件に基づいて画像データの検索を行う。すなわち、撮影位置条件及び撮影環境条件を検索キーとして、保存サーバ50のテーブル52から対応する画像データ54を探し出す。条件を満たす画像データ54が複数存在する場合には、ユーザに提示して選択させてもよいし、適当なアルゴリズムに従って一つに選択してもよい。また、条件を満たす画像データ54が無い場合には、複数の画像データ54を結合して条件を満たすようにしてもよいし、条件を満たさないが条件に近い画像データ54を選択してもよい。
画像編集部66は、編集手段の例であり、配信対象となった画像データ54の編集を行う。編集には、例えば、スロー再生のような再生の時間延長を行う処理が含まれる。また、編集には、早送り再生、時間間隔をあけた静止画像の連続再生、類似した景観の省略など、再生の時間短縮を行う処理も含まれる。また、画像編集部66では、複数の画像データ54が選択された場合における連続再生処理なども行う。画像編集部66は、設定に従って自動的に編集を行ってもよいし、ユーザの指示に基づいて編集を行ってもよい。
配信部68は、画像データの配信を行う。配信は、ストリーミング方式、ダウンロード方式など様々な方式で行うことが可能である。
続いて、図4及び図5を参照して、画像データの収集の例について説明する。
図4は、ある地域における道路地図を示す図である。地図中には、地図の範囲外にある位置Aと位置Cを結ぶ道路100が図示されている。この道路100にある位置Bからは、道路102が分岐している。道路102は、位置D、位置Eを経て、地図の範囲外にある位置Fへと続いている。また、位置Dからは、別の道路104が分岐しており、地図の範囲外にある位置Gへと続いている。図4の例では、道路100を車両12、14が走行し、道路102を車両16が走行し、道路104を車両18が走行している。
車両12、14、16、18が、収集条件設定部42の設定する収集条件に適合する場合、車両12、14、16、18の車載カメラ20で撮影された画像データが、撮影位置データ及び撮影時刻データとともに、データ受信部44により受信される。そして、個人データ削除処理部46により個人データを削除する処理を受けた後に、テーブル作成部48によるテーブル作成処理を受ける。
図5は、図4に示した地域を走行する車両12、14、16、18から収集された画像データ等に基づいて作成されたテーブル52の例を示す図である。図5に示したテーブル52の例では、「データ番号」「ルート・時刻」「年/月/日」「曜日」「時間帯」「天気」の各欄が設けられている。
このうち、「データ番号」は、保存サーバ50に格納される画像データ54に付与された番号を示している。「ルート・時刻」は、車両が地図上に設定された位置を走行した時刻を順次記したものである。「年/月/日」「曜日」「時間帯」は車両が走行した年月日と曜日及び時間帯を示している。「天気」は天候の例であり、晴、雨などの天気情報を示している。
図5に示した例では、車両12が撮影した画像データは、データ番号「5026」として記憶されている。車両12は、位置Aを時刻10:03に通過し、位置Bを時刻10:16に通過し、位置Cを10:21に通過している。通過したのは2019年11月25日月曜日の9時〜12時の時間帯であり、天気は晴と記録されている。
同様にして、車両16が撮影した画像データは、データ番号「5030」として記録され、位置A、位置B、位置Dを経て位置Eに到着して停止したことを示している。また、車両18によるデータ番号「5088」のデータは、位置G、位置D、位置B、位置Cを走行していることが記録されている。そして、車両14によるデータ番号「5124」のデータは、位置C、位置B、位置D、位置E、位置Fを通過していることが記録されている。
続いて、図6及び図7を参照して、画像データの配信及び表示する例について説明する。
図6は、車両12のタッチパネル22に表示されたカーナビゲーションシステム110の画面の例を示している。カーナビゲーションシステム110では、運転者等のユーザが操作を行って、出発地点(START)を位置Bに設定し、到着地点(GOAL)を位置Eである温泉に設定している。これにより、カーナビゲーションシステム110では、位置Bから位置Eに至る経路を二重線で示している。車両12は、実際に、カーナビゲーションシステム110の案内に従って、位置Eまでの走行を行うことができる。
図6の例では、ユーザは、カーナビゲーションシステム110の操作により、画像表示を行おうとしている。カーナビゲーションシステム110では、画像配信用のアプリケーションプログラムが統合されている。そして、カーナビゲーションシステム110の操作に基づいて、位置Bから位置Eまで道路102の経路に沿って移動するという撮影位置条件が指定されている。つまり、カーナビゲーションシステム110における経路の設定機構は、撮影位置条件を指定する指定手段となっている。
さらに、カーナビゲーションシステム110の画面では、撮影環境条件を指定することができる。具体的には、カーナビゲーションシステム110の下部に、「季節」「時間帯」「天気」のボタンが設定されている。これらのボタンは、撮影環境条件を指定する指定手段の例である。
図6の例では、ユーザが「季節」のボタンを操作している。このため、新たに「春」「夏」「秋」「冬」の各サブボタンが表示されて、ユーザはいずれかの季節を選択できるようになっている。また、「時間帯」のボタンを操作した場合には、例えば、「6−9時」「9−12時」「12−15時」などのような時間帯を選択することが可能となる。「季節」ボタンと「時間帯」ボタンを操作することで、ユーザは撮影タイミングに関する撮影環境条件を設定する。なお、ユーザが「季節」ボタンあるいは「時間帯」ボタンを操作しなかった場合には、例えば、予め用意された設定値が採用される。
また、ユーザは、「天気」のボタンを操作することで、「晴」「曇」「雨」「雪」などを選択することができる。これにより、ユーザは、撮影時の天候に関する撮影環境条件を設定する。なお、ユーザが「天気」ボタンを操作しなかった場合には、例えば、予め用意された設定値が採用される。
ユーザが、図6に示した「再生開始」ボタンを操作した場合、車両12から配信システム30へ配信要求が行われる。この場合、配信サーバ60では、配信要求受付部62が配信要求を受け付け、画像検索部64が設定された撮影位置条件及び撮影環境条件に従った画像データを検索する。検索は、図5に示したテーブルを参照することで行われる。これにより、例えば、図5に示したデータ番号が「5030」または「5124」の画像データが選択される。そして、適宜画像編集部66による画像編集が行われた上で、配信部68による配信が行われる。これにより、車両12では、画像データの受信が行われる(これは受信手段の例である)。
図7は、配信された画像データを車両12のタッチパネル22に表示した例を示している(これは表示手段の例である)。タッチパネル22には、全面的に画像データが表示されるとともに、下部に、戻るボタン120、再生ボタン122、早送りボタン124、及び再生バー126が表示されている。戻るボタン120は、図6に示したカーナビゲーションシステム110の画面に戻ることを指示するボタンである。再生ボタン122は、画像データを通常速度で再生するか、一時停止するかを指示するボタンである。早送りボタン124は、画像データを早送り再生することを指示するボタンである。つまり、表示される画像の時間短縮を行わせる指示ボタンである。再生バー126は、再生される画像データの全体時間に対して、現在、どの程度を再生したかを示す表示である。再生バー126をタッチすることで、対応する時刻からの再生を行うことができる。これらのボタンを利用することで、ユーザは、好みの形態で画像データを見ることができる。
ユーザは、このようにして、位置を指定するだけでなく、季節、天気などを指定して車載カメラの画像データを見ることが可能となる。したがって、例えば、紅葉が綺麗な時期、あるいは、夜景が綺麗な時間帯にドライブを疑似的に楽しむなど、画像データの活用の幅が広がることになる。
画像データの配信は、図1に示したスマートフォン80からも同様にして要求することができ、同様にして表示することができる。つまり、車載カメラ画像活用システム10では、車両12、14を所有していないユーザも利用することが可能である。
なお、以上の説明では、画像データの表示形態についてのみ示したが、例えば、画像データの表示に合わせて、音声出力を行うこともできる。出力される音声データは、画像データの撮影時に録音されたものであってもよいし、別のもの(効果音、楽曲など)であってもよい。一例としては、撮影環境条件として冬の季節が選ばれた場合に、冬をテーマにする楽曲を流すというように、指定された撮影環境条件に関連した効果音または楽曲を出力することが考えられる。
以上に示した例では、撮影位置条件及び撮影環境条件に従った過去の画像データを表示する態様について示した。しかし、例えば、撮影位置条件に従った現在の画像データを表示させることも可能である。
また、以上に示した車載カメラ画像活用システム10の構成は一例に過ぎず、様々に変形することが可能である。例えば、図3に示した例では、収集サーバ40に個人データ削除処理部46及びテーブル作成部48を設けるものとした。しかし、これらを車両12,14などに設けるようにしてもよい。車載カメラ画像活用システム10では、システム全体として、必要な機能を構築することができればよく、個々の機能を設ける箇所については設計自由度がある。
10 車載カメラ画像活用システム、12,14,16,18 車両、20 車載カメラ、22 タッチパネル、24 GPS、26 時計、28 無線通信装置、30 配信システム、40 収集サーバ、42 収集条件設定部、44 データ受信部、46 個人データ削除処理部、48 テーブル作成部、50 保存サーバ、52 テーブル、54 画像データ、60 配信サーバ、62 配信要求受付部、64 画像検索部、66 画像編集部、68 配信部、80 スマートフォン、100,102,104 道路、110 カーナビゲーションシステム、120 戻るボタン、122 再生ボタン、124 早送りボタン、126 再生バー。

Claims (7)

  1. 車載カメラにより撮影された画像データを、撮影位置情報及び撮影環境情報と関連づけて保存する保存手段と、
    撮影位置条件及び撮影環境条件を指定した配信要求を受け付ける受付手段と、
    前記撮影位置条件を満たす前記撮影位置情報及び前記撮影環境条件を満たす前記撮影環境情報と関連づけられた前記画像データを配信する配信手段と、
    を備える、ことを特徴とする画像データ配信システム。
  2. 請求項1に記載の画像データ配信システムにおいて、
    前記撮影環境条件は、撮影がなされたタイミングに関する条件である、ことを特徴とする画像データ配信システム。
  3. 請求項2に記載の画像データ配信システムにおいて、
    前記撮影環境情報は、前記車載カメラを搭載した車両の周囲で生じたイベントについての情報であり、
    前記撮影環境条件は、前記イベントを指定する条件である、ことを特徴とする画像データ配信システム。
  4. 請求項1に記載の画像データ配信システムにおいて、
    前記撮影環境条件は、撮影がなされた天候に関する条件である、ことを特徴とする画像データ配信システム。
  5. 請求項1に記載の画像データ配信システムにおいて、
    前記画像データを時間短縮または時間延長する編集を行う編集手段を備え、
    前記配信手段は、編集された前記画像データを配信する、
    ことを特徴とする画像データ配信システム。
  6. 請求項1に記載の画像データ配信システムにおいて、
    さらに、複数の車両と通信可能に設定され、各車両の前記車載カメラにより撮影された前記画像データを受信する受信手段を備え、
    前記保存手段は、前記受信手段により受信された前記画像データを保存する、ことを特徴とする画像データ配信システム。
  7. 撮影位置条件及び撮影環境条件を指定する指定手段と、
    車載カメラで撮影され、前記撮影位置条件を満たす撮影位置情報及び前記撮影環境条件を満たす撮影環境情報と関連づけられた画像データを受信する受信手段と、
    受信した前記画像データを表示する表示手段と、
    を備える、ことを特徴とする画像データ表示端末。
JP2019211215A 2019-11-22 2019-11-22 画像データ配信システム Active JP7272244B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019211215A JP7272244B2 (ja) 2019-11-22 2019-11-22 画像データ配信システム
US17/005,797 US11657657B2 (en) 2019-11-22 2020-08-28 Image data distribution system and image data display terminal
CN202011133179.XA CN112836079A (zh) 2019-11-22 2020-10-21 图像数据分发系统和图像数据显示终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019211215A JP7272244B2 (ja) 2019-11-22 2019-11-22 画像データ配信システム

Publications (2)

Publication Number Publication Date
JP2021083034A true JP2021083034A (ja) 2021-05-27
JP7272244B2 JP7272244B2 (ja) 2023-05-12

Family

ID=75923724

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019211215A Active JP7272244B2 (ja) 2019-11-22 2019-11-22 画像データ配信システム

Country Status (3)

Country Link
US (1) US11657657B2 (ja)
JP (1) JP7272244B2 (ja)
CN (1) CN112836079A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024042683A1 (ja) * 2022-08-25 2024-02-29 株式会社 ミックウェア 情報処理装置、移動端末、情報処理方法、およびプログラム
WO2024100758A1 (ja) * 2022-11-08 2024-05-16 日本電気株式会社 データ提供システム、データ提供方法及び記録媒体

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2611154A (en) * 2021-07-29 2023-03-29 Canon Kk Image pickup apparatus used as action camera, control method therefor, and storage medium storing control program therefor
CN114244613B (zh) * 2021-12-17 2023-01-31 国汽智控(北京)科技有限公司 数据传输方法、装置、系统、自动驾驶车辆、电子设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006186645A (ja) * 2004-12-27 2006-07-13 Kyocera Corp 移動カメラシステム
JP2006221537A (ja) * 2005-02-14 2006-08-24 Denso Corp 交通情報提供システム、交通情報提供センタ、車載用情報収集装置
JP2008152364A (ja) * 2006-12-14 2008-07-03 Pioneer Electronic Corp 情報提供装置、情報提供方法、情報提供プログラム、およびコンピュータに読み取り可能な記録媒体
JP2008165033A (ja) * 2006-12-28 2008-07-17 Pioneer Electronic Corp 地図情報提供装置及び地図情報提供プログラム
JP2010102685A (ja) * 2008-09-29 2010-05-06 Hitachi Ltd 広告情報提供サーバとその移動体端末
JP2011141762A (ja) * 2010-01-07 2011-07-21 Fujitsu Ltd 配信抑制装置、配信抑制方法および配信抑制プログラム
JP2015161592A (ja) * 2014-02-27 2015-09-07 パイオニア株式会社 ナビゲーション装置、通信装置、サーバ装置、制御方法、プログラム及び記憶媒体
JP2018037886A (ja) * 2016-08-31 2018-03-08 株式会社東芝 画像配信装置、画像配信システム、および画像配信方法
JP2018055191A (ja) * 2016-09-26 2018-04-05 株式会社日立製作所 データ収集システム
JP2018133055A (ja) * 2017-02-17 2018-08-23 株式会社東芝 動画収集システム、動画収集装置、および動画収集方法
JP2018166292A (ja) * 2017-03-28 2018-10-25 トヨタ自動車株式会社 情報収集システムおよび情報収集装置
JP2019004373A (ja) * 2017-06-16 2019-01-10 国立研究開発法人情報通信研究機構 映像情報共有装置、映像情報共有システム及び映像情報共有方法

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7046258B1 (en) * 1998-05-28 2006-05-16 Canon Kabushiki Kaisha Display and control of permitted data processing based on control information extracted from the data
US20020029242A1 (en) * 2000-01-17 2002-03-07 Satoshi Seto Image editing method and system
JP2003274382A (ja) 2002-03-15 2003-09-26 Toshiba Corp 映像情報ストリーミング配信システム、コンピュータ、プログラム、映像情報ストリーミング配信方法
TW586012B (en) * 2002-10-23 2004-05-01 Eastern Broadcasting Co Ltd Real time positioning and audio/video formation supplying system and method thereof
JP2004207843A (ja) * 2002-12-24 2004-07-22 Casio Comput Co Ltd 画像撮影装置およびプログラム
JP2004207948A (ja) * 2002-12-25 2004-07-22 Fuji Xerox Co Ltd ビデオ閲覧システム
JP4350126B2 (ja) * 2004-03-31 2009-10-21 パイオニア株式会社 経路案内システム及び方法
JP2005293020A (ja) * 2004-03-31 2005-10-20 Fujitsu Ltd 移動物体の映像データ検索方法、移動物体の撮影・検出装置、移動物体の映像データ検索装置
JP2006236292A (ja) 2005-02-21 2006-09-07 Hiromasa Kubo 車載カメラ等による事故情報通報サービス
US7690011B2 (en) * 2005-05-02 2010-03-30 Technology, Patents & Licensing, Inc. Video stream modification to defeat detection
JP2007241377A (ja) * 2006-03-06 2007-09-20 Sony Corp 検索システム、撮像装置、データ保存装置、情報処理装置、撮像画像処理方法、情報処理方法、プログラム
US20100088021A1 (en) * 2007-04-26 2010-04-08 Marcus Rishi Leonard Viner Collection methods and devices
JP5683817B2 (ja) * 2010-01-07 2015-03-11 レノボ・イノベーションズ・リミテッド(香港) 携帯送信端末、携帯受信端末及び携帯送受信システム
US9451030B2 (en) * 2011-02-18 2016-09-20 Ford Global Technologies, Llc Crowdsourced weather data collection and provision
US20180032997A1 (en) * 2012-10-09 2018-02-01 George A. Gordon System, method, and computer program product for determining whether to prompt an action by a platform in connection with a mobile device
JP5456818B2 (ja) * 2012-03-27 2014-04-02 本田技研工業株式会社 ナビサーバ、ナビクライアント及びナビシステム
US9141995B1 (en) * 2012-12-19 2015-09-22 Allstate Insurance Company Driving trip and pattern analysis
US9870716B1 (en) * 2013-01-26 2018-01-16 Ip Holdings, Inc. Smart glasses and smart watches for real time connectivity and health
JP2014164316A (ja) 2013-02-21 2014-09-08 Honda Motor Co Ltd 車載カメラを用いた情報提供システム
US10037689B2 (en) * 2015-03-24 2018-07-31 Donald Warren Taylor Apparatus and system to manage monitored vehicular flow rate
US9733097B2 (en) * 2014-10-31 2017-08-15 Toyota Jidosha Kabushiki Kaisha Classifying routes of travel
US10452351B2 (en) * 2015-04-28 2019-10-22 Clarion Co., Ltd. Information processing device and information processing method
KR20170088548A (ko) * 2016-01-25 2017-08-02 현대자동차주식회사 차량 내 텔레매틱스 단말기, 텔레매틱스 서버, 텔레매틱스 시스템 및 이들의 제어 방법
CN105869230A (zh) * 2016-04-15 2016-08-17 北京小米移动软件有限公司 视频数据的管理方法、装置、终端及服务器
JP6827712B2 (ja) 2016-05-10 2021-02-10 エヌ・ティ・ティ・コミュニケーションズ株式会社 制御装置、車載装置、映像配信方法、及びプログラム
EP3594922A4 (en) * 2017-03-29 2021-03-31 Pioneer Corporation SERVER DEVICE, TERMINAL DEVICE, COMMUNICATION SYSTEM, INFORMATION RECEIVING METHOD, INFORMATION SENDING METHOD, PROGRAM FOR RECEIVING INFORMATION, PROGRAM FOR SENDING INFORMATION, RECORDING MEDIUM AND DATA STRUCTURE
WO2018225596A1 (ja) * 2017-06-07 2018-12-13 パイオニア株式会社 情報処理装置
US10031526B1 (en) * 2017-07-03 2018-07-24 Baidu Usa Llc Vision-based driving scenario generator for autonomous driving simulation
JP2019021187A (ja) 2017-07-20 2019-02-07 株式会社 日立産業制御ソリューションズ 映像蓄積配信システム
KR102387614B1 (ko) * 2017-08-17 2022-04-15 엘지전자 주식회사 차량 운전 보조 장치 및 차량
US10679071B2 (en) * 2018-01-10 2020-06-09 International Business Machines Corporation Capturing digital images during vehicle collisions
WO2019159333A1 (ja) * 2018-02-16 2019-08-22 マクセル株式会社 携帯情報端末、情報提示システム及び情報提示方法
US11330410B2 (en) * 2018-04-03 2022-05-10 Corning Research & Development Corporation Pathside communication relay (PCR) for collecting and distributing pathside data among client devices
JP2019185237A (ja) * 2018-04-05 2019-10-24 矢崎エナジーシステム株式会社 解析システム
US11103773B2 (en) * 2018-07-27 2021-08-31 Yogesh Rathod Displaying virtual objects based on recognition of real world object and identification of real world object associated location or geofence
EP3836067A4 (en) * 2018-08-10 2022-04-27 Pioneer Corporation DATA STRUCTURE, STORAGE MEDIA, STORAGE DEVICE AND RECEIVER
KR102521834B1 (ko) * 2018-08-21 2023-04-17 삼성전자주식회사 차량으로 영상을 제공하는 방법 및 이를 위한 전자 장치
KR20200045024A (ko) * 2018-10-08 2020-05-04 삼성전자주식회사 자율 주행 차량에 탑재된 단말 장치가 이동 통신 네트워크를 통해 예상 경로 정보를 전송하는 방법
JP2020060943A (ja) * 2018-10-10 2020-04-16 株式会社日立製作所 車両情報管理システムおよび管理方法
US11011063B2 (en) * 2018-11-16 2021-05-18 Toyota Motor North America, Inc. Distributed data collection and processing among vehicle convoy members
US10970878B2 (en) * 2018-12-13 2021-04-06 Lyft, Inc. Camera calibration using reference map
EP3707473A4 (en) * 2019-01-30 2020-12-30 Baidu.com Times Technology (Beijing) Co., Ltd. REAL-TIME MAP GENERATION SYSTEM FOR AUTONOMOUS VEHICLES
US11142209B2 (en) * 2019-02-12 2021-10-12 Ford Global Technologies, Llc Vehicle road friction control
US12051247B2 (en) * 2019-09-27 2024-07-30 Dish Network L.L.C. Wireless vehicular systems and methods for detecting roadway conditions
JP7264028B2 (ja) * 2019-12-05 2023-04-25 トヨタ自動車株式会社 情報提供システム、情報提供方法、情報端末及び情報表示方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006186645A (ja) * 2004-12-27 2006-07-13 Kyocera Corp 移動カメラシステム
JP2006221537A (ja) * 2005-02-14 2006-08-24 Denso Corp 交通情報提供システム、交通情報提供センタ、車載用情報収集装置
JP2008152364A (ja) * 2006-12-14 2008-07-03 Pioneer Electronic Corp 情報提供装置、情報提供方法、情報提供プログラム、およびコンピュータに読み取り可能な記録媒体
JP2008165033A (ja) * 2006-12-28 2008-07-17 Pioneer Electronic Corp 地図情報提供装置及び地図情報提供プログラム
JP2010102685A (ja) * 2008-09-29 2010-05-06 Hitachi Ltd 広告情報提供サーバとその移動体端末
JP2011141762A (ja) * 2010-01-07 2011-07-21 Fujitsu Ltd 配信抑制装置、配信抑制方法および配信抑制プログラム
JP2015161592A (ja) * 2014-02-27 2015-09-07 パイオニア株式会社 ナビゲーション装置、通信装置、サーバ装置、制御方法、プログラム及び記憶媒体
JP2018037886A (ja) * 2016-08-31 2018-03-08 株式会社東芝 画像配信装置、画像配信システム、および画像配信方法
JP2018055191A (ja) * 2016-09-26 2018-04-05 株式会社日立製作所 データ収集システム
JP2018133055A (ja) * 2017-02-17 2018-08-23 株式会社東芝 動画収集システム、動画収集装置、および動画収集方法
JP2018166292A (ja) * 2017-03-28 2018-10-25 トヨタ自動車株式会社 情報収集システムおよび情報収集装置
JP2019004373A (ja) * 2017-06-16 2019-01-10 国立研究開発法人情報通信研究機構 映像情報共有装置、映像情報共有システム及び映像情報共有方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024042683A1 (ja) * 2022-08-25 2024-02-29 株式会社 ミックウェア 情報処理装置、移動端末、情報処理方法、およびプログラム
WO2024100758A1 (ja) * 2022-11-08 2024-05-16 日本電気株式会社 データ提供システム、データ提供方法及び記録媒体

Also Published As

Publication number Publication date
JP7272244B2 (ja) 2023-05-12
US20210158632A1 (en) 2021-05-27
CN112836079A (zh) 2021-05-25
US11657657B2 (en) 2023-05-23

Similar Documents

Publication Publication Date Title
JP7272244B2 (ja) 画像データ配信システム
JP4323123B2 (ja) 関心のあるサイトを識別する携帯システム
US20110102637A1 (en) Travel videos
US7272498B2 (en) Method for incorporating images with a user perspective in navigation
EP0673010B1 (en) Guide system
US20070150188A1 (en) First-person video-based travel planning system
US7136749B2 (en) Navigation apparatus, navigation method, route data creation program, and server in navigation system
US20060271286A1 (en) Image-enhanced vehicle navigation systems and methods
TWI352803B (ja)
JP6296447B2 (ja) 自動運転交通システムを利用した撮影情報共有システム、撮影情報管理装置及び撮影情報共有方法
JPH1194571A (ja) 記録再生装置、記録再生方法、及び記録媒体
JP2010198502A (ja) 不動産物件検索装置、不動産物件検索方法、不動産物件検索プログラムおよび記録媒体
EP2869223A1 (en) Method for retrieving local tourism information with reference to position of user
JP2010039256A (ja) 表示システム、表示方法,及び移動体
JP2002297654A (ja) 情報提示方法および装置およびプログラム
JP2016057284A (ja) 経路表示方法、経路表示装置及びデータベース作成方法
CN110089125A (zh) 影像显示装置,影像显示系统,影像显示方法以及程序
JP6731667B1 (ja) 走行ルートの検索方法
JP2008107927A (ja) 車両用情報授受システム
JP2007218698A (ja) ナビゲーション装置、ナビゲーション方法及びナビゲーションプログラム
CN116337095A (zh) 基于地图的旅程记录与分享方法、系统及存储介质
CN106231194A (zh) 拍摄方法以及拍摄装置
JP2008139091A (ja) 地図データ更新システム、携帯情報端末、地図配信サーバ、ナビゲーション装置及び地図データ更新方法
JP7367848B2 (ja) 走行映像提供システム、装置、方法、及びプログラム
JP6925175B2 (ja) 車両用装置及び情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230410

R151 Written notification of patent or utility model registration

Ref document number: 7272244

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151