JP2020094956A - 情報処理システム、プログラム、及び情報処理方法 - Google Patents

情報処理システム、プログラム、及び情報処理方法 Download PDF

Info

Publication number
JP2020094956A
JP2020094956A JP2018234148A JP2018234148A JP2020094956A JP 2020094956 A JP2020094956 A JP 2020094956A JP 2018234148 A JP2018234148 A JP 2018234148A JP 2018234148 A JP2018234148 A JP 2018234148A JP 2020094956 A JP2020094956 A JP 2020094956A
Authority
JP
Japan
Prior art keywords
weather
vehicle
information
server
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018234148A
Other languages
English (en)
Other versions
JP7063256B2 (ja
Inventor
栄一 草間
Eiichi Kusama
栄一 草間
雅敏 林
Masatoshi Hayashi
雅敏 林
尚訓 光本
Naonori Mitsumoto
尚訓 光本
邦明 陣内
Kuniaki Jinnai
邦明 陣内
真 赤羽
Makoto Akahane
真 赤羽
友理子 山口
Yuriko Yamaguchi
友理子 山口
加藤　大介
Daisuke Kato
大介 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018234148A priority Critical patent/JP7063256B2/ja
Priority to US16/688,557 priority patent/US11453367B2/en
Priority to CN201911194131.7A priority patent/CN111325086B/zh
Publication of JP2020094956A publication Critical patent/JP2020094956A/ja
Application granted granted Critical
Publication of JP7063256B2 publication Critical patent/JP7063256B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0833—Optical rain sensor
    • B60S1/0844—Optical rain sensor including a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/18—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights being additional front lights
    • B60Q1/20—Fog lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
    • B60Q1/14—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights having dimming means
    • B60Q1/1415—Dimming circuits
    • B60Q1/1423—Automatic dimming circuits, i.e. switching between high beam and low beam due to change of ambient light or light level in road traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2300/00—Indexing codes for automatically adjustable headlamps or automatically dimmable headlamps
    • B60Q2300/30—Indexing codes relating to the vehicle environment
    • B60Q2300/31—Atmospheric conditions
    • B60Q2300/312—Adverse weather

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

【課題】気象情報を提供する技術を改善しつつ処理負担の増加を低減する。【解決手段】情報処理システムは、車両と、前記車両と通信可能なサーバと、を備える。サーバは、天気を示す気象情報を記憶する。車両は、気象情報をサーバから受信し、車載装置の動作状態が、気象情報に示される天気に対応する規定動作状態ではない場合、車外風景を撮像した画像を取得する。車両又はサーバは、画像から天気を検出する。サーバは、画像から検出された天気と気象情報に示される天気とが異なる場合、画像から検出された天気を示すように気象情報を更新し、更新された気象情報を用いて、クライアントに対する情報提供を実施する。【選択図】図１

Description

本発明は、情報処理システム、プログラム、及び情報処理方法に関する。
従来、天気等を示す気象情報を提供する技術が知られている。一般的に、提供される気象情報は、一定の地理的分解能（例えば、エリア単位又はスポット単位等）及び時間的分解能（例えば、時間帯単位又は時刻単位等）を有する。かかる技術において、例えば地理的又は時間的な分解能を向上させるべく、例えば、特許文献１には、車両の位置情報と、車載装置によって取得された車両が存在する領域の気象状態を反映した情報と、気象観測装置により第１の分解能で取得された気象に関する情報とに基づいて、第１の分解能に比して分解能が高い第２の分解能の気象に関する情報を生成する技術が開示されている。
特開２０１８−１０９８２０号公報
特許文献１に記載された技術のように、車両によって収集されるデータを用いる場合、車両及びサーバを含むシステム全体の処理負担が増加する。また、近年、例えば先進運転支援システム（ＡＤＡＳ；Advanced Driver-Assistance System）及び自動運転等の実現が進んでおり、処理負担は今後一層増加することが予見されている。したがって、気象情報を提供する技術を改善しつつ処理負担の増加を低減することが望まれている。
かかる事情に鑑みてなされた本発明の目的は、気象情報を提供する技術を改善しつつ処理負担の増加を低減することにある。
本発明の一実施形態に係る情報処理システムは、
車両と、前記車両と通信可能なサーバと、を備える情報処理システムであって、
前記サーバは、天気を示す気象情報を記憶し、
前記車両は、
前記気象情報を前記サーバから受信し、
車載装置の動作状態が、前記気象情報に示される天気に対応する規定動作状態ではない場合、車外風景を撮像した画像を取得し、
前記車両又は前記サーバは、前記画像から天気を検出し、
前記サーバは、
前記画像から検出された天気と前記気象情報に示される天気とが異なる場合、前記画像から検出された天気を示すように前記気象情報を更新し、
更新された前記気象情報を用いて、クライアントに対する情報提供を実施する。
本発明の一実施形態に係るプログラムは、
天気を示す気象情報を記憶するサーバと通信可能な車両に、
前記気象情報を前記サーバから受信するステップと、
車載装置の動作状態が、前記気象情報に示される天気に対応する規定動作状態ではない場合、車外風景を撮像した画像を取得するステップと、
前記画像を前記サーバへ送信するステップと、を実行させる。
本発明の一実施形態に係る情報処理方法は、
車両と、前記車両と通信可能なサーバと、を備える情報処理システムが実行する情報処理方法であって、
前記サーバが、天気を示す気象情報を記憶するステップと、
前記車両が、
前記気象情報を前記サーバから受信するステップと、
車載装置の動作状態が、前記気象情報に示される天気に対応する規定動作状態ではない場合、車外風景を撮像した画像を取得するステップと、
前記車両又は前記サーバが、前記画像から天気を検出するステップと、
前記サーバが、
前記画像から検出された天気と前記気象情報に示される天気とが異なる場合、前記画像から検出された天気を示すように前記気象情報を更新するステップと、
更新された前記気象情報を用いて、クライアントに対する情報提供を実施するステップと、を含む。
本発明の一実施形態に係る情報処理システム、プログラム、及び情報処理方法によれば、気象情報を提供する技術を改善しつつ処理負担の増加を低減可能である。
本発明の一実施形態に係る情報処理システムの概略構成を示す図である。 車両の概略構成を示すブロック図である。 車両に記憶された対応情報の例を示す図である。 サーバの概略構成を示すブロック図である。 サーバに記憶された情報の例を示す図である。 車両の動作を示すフローチャートである。 サーバの動作を示すフローチャートである。
以下、本発明の実施形態について説明する。
（情報処理システムの構成）
図１を参照して、本発明の一実施形態に係る情報処理システム１の概要について説明する。情報処理システム１は、１つ以上の車両１０と、サーバ２０と、を備える。車両１０は、例えば自動車であるが、これに限られず任意の車両であってもよい。図１では説明の簡便のため、車両１０については２つのみを図示しているが、情報処理システム１は任意の数の車両１０を備えてもよい。サーバ２０は、１つ又は互いに通信可能な複数の情報処理装置（例えば、サーバ装置）を含む。車両１０及びサーバ２０は、例えば移動体通信網及びインターネット等を含むネットワーク３０を介して通信可能である。また、サーバ２０は、ネットワーク３０を介してクライアント３１と通信可能である。クライアント３１は、例えばＰＣ（Personal Computer）、スマートフォン、又はサーバ装置等であるが、任意の情報処理装置であってもよい。
まず、本実施形態の概要について説明し、詳細については後述する。サーバ２０は、天気を示す気象情報を記憶する。気象情報に示される天気は、例えば地理的若しくは時間的な分解能の限界、及び／又は、天気の検出精度若しくは予測精度の限界等の原因により、必ずしも実際の天気と一致していなくてよい。車両１０は、気象情報をサーバ２０から受信する。車両１０は、車載装置の動作状態が、気象情報に示される天気に対応する規定動作状態であるか否かを判定する。後述するように、例えば「雨」に対応する車載装置及び規定動作状態は、それぞれ「ワイパー」及び「ＯＮ」である。したがって、気象情報に示される天気が雨である場合、車両１０は、ワイパーの動作状態がＯＮであるか否かを判定する。
ここで、車載装置の動作状態が規定動作状態ではない場合（例えば、気象情報が雨を示しているにもかかわらず、ワイパーの動作状態がＯＮではない場合）には、気象情報に示される天気と実際の天気とが一致していない可能性がある。このため、車両１０は、車載装置の動作状態が規定動作状態ではないと判定した場合、例えば車載カメラを用いて車外風景を撮像した画像を取得し、当該画像をサーバ２０へ送信する。サーバ２０は、車両１０によって取得された当該画像から、画像認識により天気を検出する。サーバ２０は、画像から検出された天気と、記憶されている気象情報に示される天気と、の比較結果に基づいて、記憶されている気象情報を更新する。後述するように、例えば画像から検出された天気が「晴」であり、且つ、気象情報に示される天気が「雨」である場合（即ち、実際の天気が「晴」であるにもかかわらず、気象情報が「雨」を示している場合）、「晴」を示すように気象情報が更新される。サーバ２０は、記憶された気象情報を用いて、クライアント３１に対する情報提供を実施する。
このように、本実施形態によれば、車両１０の車外の風景を撮像した画像から検出された実際の天気と、気象情報に示される天気と、の比較結果に基づいて気象情報が更新されるので、サーバ２０からクライアント３１に提供される情報の精度及び地理的若しくは時間的な分解能が向上する。また、情報処理システム１は、車載装置の動作状態が規定動作状態ではない場合（即ち、気象情報に示される天気と実際の天気とが一致していない可能性がある場合）に限り、画像の取得、画像認識による天気の検出、及び画像から検出された天気と気象情報に示される天気との比較等の処理を実施すればよい。即ち、情報処理システム１は、車載装置の動作状態が規定動作状態である場合にはこれらの処理を実施する必要がない。したがって、気象情報を提供する技術を改善しつつ処理負担の増加を低減可能である。
次に、情報処理システム１の各構成について、詳細に説明する。
（車両の構成）
図２に示すように、車両１０は、通信部１１と、測位部１２と、撮像部１３と、記憶部１４と、制御部１５と、を備える。通信部１１、測位部１２、撮像部１３、記憶部１４、及び制御部１５のそれぞれは、車両１０に内蔵されてもよく、或いは車両１０に着脱可能に設けられてもよい。通信部１１、測位部１２、撮像部１３、記憶部１４、及び制御部１５は、例えばＣＡＮ（Controller Area Network）等の車載ネットワーク又は専用線を介して、互いに通信可能に接続される。
通信部１１は、ネットワーク３０に接続する通信モジュールを含む。当該通信モジュールは、例えば４Ｇ（4th Generation）及び５Ｇ（5th Generation）等の移動体通信規格に対応するが、これらに限られず、任意の通信規格に対応してもよい。例えば、ＤＣＭ（Data Communication Module）等の車載通信機が、通信部１１として機能してもよい。本実施形態において、車両１０は、通信部１１を介してネットワーク３０に接続される。
測位部１２は、衛星測位システムに対応する受信機を含む。当該受信機は、例えばＧＰＳ（Global Positioning System）に対応するが、これに限られず、任意の衛星測位システムに対応してもよい。また、測位部１２は、例えばジャイロセンサ及び地磁気センサを含む。例えばカーナビゲーション装置が、測位部１２として機能してもよい。本実施形態において、車両１０は、測位部１２を用いて自車両の位置及び自車両が向いている方角を取得する。
撮像部１３は、視野内の被写体を撮像した画像を生成する車載カメラを含む。画像は、静止画像であってもよく、或いは動画像であってもよい。当該車載カメラは、単眼カメラであってもよく、或いはステレオカメラであってもよい。撮像部１３は、車外風景を撮像可能となるように車両１０に備えられる。例えば、ドライブレコーダ又は乗員が使用するスマートフォン等のカメラ機能を有する電子機器が、撮像部１３として機能してもよい。本実施形態において、車両１０は、撮像部１３を用いて、車外風景を撮像した画像を取得する。
記憶部１４は、１つ以上のメモリを含む。本実施形態において「メモリ」は、例えば半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限られない。記憶部１４に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部１４は、車両１０の動作に用いられる任意の情報を記憶する。例えば、記憶部１４は、システムプログラム、アプリケーションプログラム、及び組み込みソフトウェア等を記憶してもよい。記憶部１４に記憶された情報は、例えば通信部１１を介してネットワーク３０から取得される情報で更新可能であってもよい。
制御部１５は、１つ以上のプロセッサを備える。本実施形態において「プロセッサ」は、汎用のプロセッサ、特定の処理に特化した専用のプロセッサ等であるが、これらに限られない。例えば、車両１０に搭載されたＥＣＵ（Electronic Control Unit）が、制御部１５として機能してもよい。制御部１５は、現在時刻を把握する計時機能を有する。制御部１５は、車両１０全体の動作を制御する。
例えば、制御部１５は、天気と、車載装置及び規定動作状態と、の対応関係を示す対応情報を、記憶部１４に記憶する。例えば図３に示すように、本実施形態に係る対応情報は、「雨」、「霧」、及び「晴」の３つの天気と、各天気に対応する車載装置及び規定動作状態と、を含む。具体的には、「雨」に対応する車載装置及び規定動作状態は、それぞれ「ワイパー」及び「ＯＮ」である。また、「霧」に対応する車載装置及び規定動作状態は、それぞれ「フォグランプ」及び「ＯＮ（点灯状態）」である。また、「晴」に対応する車載装置は「ワイパー」及び「フォグランプ」であり、「ワイパー」の規定動作状態は「ＯＦＦ」であり、「フォグランプ」の規定動作状態は「ＯＦＦ（消灯）」である。このように、対応情報は、天気によって動作状態が異なると一般的に想定される車載装置について、特定の天気に対応する動作状態を規定動作状態として定めた情報である。対応情報は、図３に示す例に限られない。即ち、対応情報は、「雨」、「霧」、及び「晴」以外の天気を含んでもよい。また、対応情報は、「ワイパー」及び「フォグランプ」以外の車載装置を含んでもよい。また、対応情報は、「ＯＮ」及び「ＯＦＦ」以外の規定動作状態を含んでもよい。対応情報は、例えば実験、シミュレーション、又は経験則等に基づいて決定可能である。対応情報は、予め記憶部１４に記憶されてもよく、或いは通信部１１を介してネットワーク３０から受信されてもよい。
また、制御部１５は、通信部１１を介してサーバから、天気を示す気象情報を受信する。詳細には、制御部１５は、現在時刻又は現在時刻が属する時間帯に対応する天気であって、車両１０の現在位置又は現在位置が属する地理的エリアに対応する天気を示す気象情報を受信する。
また、制御部１５は、上述した対応情報に基づいて、気象情報に示される天気に対応する車載装置及び規定動作状態を特定する。制御部１５は、特定した車載装置の動作状態を、例えば車載ネットワークから取得する。制御部１５は、車載装置の動作状態が、気象情報に示される天気に対応する規定動作状態であるか否かを判定する。本実施形態では図３に示す対応情報に基づいて、制御部１５は、気象情報が「雨」を示す場合、「ワイパー」の動作状態が「ＯＮ」であるか否かを判定する。また、制御部１５は、気象情報が「霧」を示す場合、「フォグランプ」の動作状態が「ＯＮ」であるか否かを判定する。また、制御部１５は、気象情報が「晴」を示す場合、「ワイパー」及び「フォグランプ」の両方が「ＯＦＦ」であるか否かを判定する。
車載装置の動作状態が規定動作状態ではないと判定した場合、制御部１５は、撮像部１３を用いて、車外風景を撮像した画像を取得する。ここで、制御部１５は、車載装置の動作状態が規定動作状態ではないと判定したときに撮像部１３に車外風景を撮像させて画像を取得してもよい。或いは、制御部１５は、撮像部１３に車外風景の動画を撮像させておき、車載装置の動作状態が規定動作状態ではないと判定したときの画像を当該動画から抽出することにより取得してもよい。制御部１５は、取得した画像が撮像されたときの時刻（撮像時刻）及び車両１０の位置（撮像位置）を取得する。
また、制御部１５は、取得した画像、撮像時刻、及び撮像位置を、通信部１１を介してサーバ２０へ送信する。
（サーバの構成）
図４に示すように、サーバ２０は、サーバ通信部２１と、サーバ記憶部２２と、サーバ制御部２３と、を備える。
サーバ通信部２１は、ネットワーク３０に接続する通信モジュールを含む。当該通信モジュールは、例えば有線ＬＡＮ（Local Area Network）規格に対応するが、これに限られず、任意の通信規格に対応してもよい。本実施形態において、サーバ２０は、サーバ通信部２１を介してネットワーク３０に接続される。
サーバ記憶部２２は、１つ以上のメモリを含む。サーバ記憶部２２に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。サーバ記憶部２２は、サーバ２０の動作に用いられる任意の情報を記憶する。例えば、サーバ記憶部２２は、システムプログラム、アプリケーションプログラム、データベース、及び地図情報等を記憶してもよい。サーバ記憶部２２に記憶された情報は、例えばサーバ通信部２１を介してネットワーク３０から取得される情報で更新可能であってもよい。
サーバ制御部２３は、１つ以上のプロセッサを含む。サーバ制御部２３は、サーバ２０全体の動作を制御する。
例えば、サーバ制御部２３は、天気を示す気象情報をサーバ記憶部２２に記憶する。気象情報は、例えばエリア単位又はスポット単位等、所定の地理的分解能を有してもよい。気象情報は、例えば時間帯単位又は時刻単位等、所定の時間的分解能を有してもよい。気象情報は、例えば気象庁等の機関からネットワーク３０を介して提供されてもよく、或いは気象観測装置からネットワーク３０を介して受信する観測データに基づいて生成されてもよい。
また、サーバ制御部２３は、車外風景を撮像した画像、撮像時刻、及び撮像位置を、サーバ通信部２１を介して車両１０から受信する。サーバ制御部２３は、受信された画像から画像認識により天気を検出する。画像からの天気の検出には、任意の画像認識アルゴリズムが採用可能である。一例において、雨の検出には、車両１０のフロントウィンドウに付着した水滴をパターンマッチング、特徴点抽出、又は機械学習等の画像認識アルゴリズムにより検出する手法が採用可能である。また一例において、霧の検出には、画像のコントラスト及び色合い等の画質特性に基づいて霧の発生を判定する手法が採用可能である。サーバ制御部２３は、例えば図５に示すように、撮像時刻、撮像位置、及び画像から検出された天気を対応付けてサーバ記憶部２２に記憶する。ここで、撮像時刻、撮像位置、及び検出された天気に加え、画像が更に記憶されてもよい。
また、サーバ制御部２３は、画像から検出された天気と、気象情報に示される天気との比較結果に基づいて、サーバ記憶部２２に記憶されている気象情報を更新する。詳細には、サーバ制御部２３は、画像から検出された天気と気象情報に示される天気とが異なる場合、画像から検出された天気を示すように、サーバ記憶部２２に記憶されている気象情報を更新する。
ここで、サーバ記憶部２２に記憶されている気象情報の地理的分解能がスポット単位である場合、撮像位置に相当するスポットの天気が更新される。また例えば、サーバ記憶部２２に記憶されている気象情報の地理的分解能がエリア単位である場合、撮像位置の属するエリアの天気が更新されてもよい。或いは、サーバ記憶部２２に記憶されている気象情報の地理的分解能がエリア単位である場合、撮像位置の天気が更新（撮像位置に相当するスポット単位の天気が追加）されてもよく、又は撮像位置の属するエリアのうち当該撮像位置を含む一部のエリアの天気が更新（撮像位置を含む小エリア単位の天気が追加）されてもよい。かかる場合、気象情報の更新によって当該気象情報の地理的分解能が、エリア単位からスポット単位又は小エリア単位に向上する。
また、サーバ記憶部２２に記憶されている気象情報の時間的分解能が時刻単位である場合、撮像時刻の天気が更新される。また例えば、サーバ記憶部２２に記憶されている気象情報の時間的分解能が時間帯単位である場合、撮像時刻の属する時間帯の天気が更新されてもよい。或いは、サーバ記憶部２２に記憶されている気象情報の時間的分解能が時間帯単位である場合、撮像時刻の天気が更新（撮像時刻に相当する時刻単位の天気が追加）されてもよく、撮像時刻の属する時間帯のうち当該撮像時刻を含む一部の時間帯の天気が更新（撮像時刻を含む短時間帯単位の天気が追加）されてもよい。かかる場合、気象情報の更新によって当該気象情報の時間的分解能が、時間帯単位から時刻単位又は短時間帯単位に向上する。
また、サーバ制御部２３は、更新された気象情報を用いて、クライアント３１に対する情報提供を実施する。情報提供は、例えばクライアント３１からの要求に応じて実施（例えば、プル配信）されてもよく、或いはサーバ制御部２３により自動的に実施（例えば、プッシュ配信）されてもよい。情報提供は、サーバ記憶部２２に記憶されたウェブアプリケーションにより実施されてもよい。更新された気象情報を用いて実施される情報提供は、当該気象情報をそのまま提供することを含んでもよく、或いは当該気象情報を用いて新たに生成される任意の情報を提供することを含んでもよい。
（車両の動作フロー）
図６を参照して、車両１０の動作フローについて説明する。
ステップＳ１００：制御部１５は、天気と、車載装置及び規定動作状態と、の対応関係を示す対応情報を、記憶部１４に記憶する。
ステップＳ１０１：制御部１５は、通信部１１を介してサーバから、天気を示す気象情報を受信する。
ステップＳ１０２：制御部１５は、車載装置の動作状態が、気象情報に示される天気に対応する規定動作状態であるか否かを判定する。規定動作状態であると判定した場合（ステップＳ１０２−Ｙｅｓ）、プロセスは終了する。一方、規定動作状態ではないと判定した場合（ステップＳ１０２−Ｎｏ）、プロセスはステップＳ１０３に進む。
ステップＳ１０３：制御部１５は、車外風景を撮像した画像、撮像時刻、及び撮像位置を取得する。
ステップＳ１０４：制御部１５は、取得した画像、撮像時刻、及び撮像位置を、通信部１１を介してサーバ２０へ送信する。
（サーバの動作フロー）
図７を参照して、サーバ２０の動作フローについて説明する。
ステップＳ２００：サーバ制御部２３は、天気を示す気象情報をサーバ記憶部２２に記憶する。
ステップＳ２０１：サーバ制御部２３は、車外風景を撮像した画像、撮像時刻、及び撮像位置を、サーバ通信部２１を介して車両１０から受信する。
ステップＳ２０２：サーバ制御部２３は、受信された画像から画像認識により天気を検出する。
ステップＳ２０３：サーバ制御部２３は、画像から検出された天気と、気象情報に示される天気との比較結果に基づいて、サーバ記憶部２２に記憶されている気象情報を更新する。
ステップＳ２０４：サーバ制御部２３は、更新された気象情報を用いて、クライアント３１に対する情報提供を実施する。
以上述べたように、本実施形態に係る情報処理システム１によれば、車両１０の車載装置の動作状態が、気象情報に示される天気に対応する規定動作状態ではない場合に、車外風景を撮像した画像を取得し、当該画像から天気を検出し、検出された天気と気象情報に示される天気とが異なる場合、記憶されている気象情報を、画像から検出された天気を示すように更新し、更新された気象情報を用いてクライアント３１に対する情報提供を実施する。
かかる構成によれば、車両１０の車外の風景を撮像した画像から検出された実際の天気と、気象情報に示される天気と、が異なる場合に気象情報が更新されるので、サーバ２０からクライアント３１に提供される情報の精度及び地理的若しくは時間的な分解能が向上する。また、情報処理システム１は、車載装置の動作状態が規定動作状態ではない場合（即ち、気象情報に示される天気と実際の天気とが一致していない可能性がある場合）に限り、画像の取得、画像認識による天気の検出、及び画像から検出された天気と気象情報に示される天気との比較等の処理を実施すればよい。即ち、情報処理システム１は、車載装置の動作状態が規定動作状態である場合にはこれらの処理を実施する必要がない。したがって、気象情報を提供する技術を改善しつつ処理負担の増加を低減可能である。
本発明を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。したがって、これらの変形及び修正は本発明の範囲に含まれることに留意されたい。例えば、各手段又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。
例えば、上述した実施形態において、車両１０において実行される一部の処理動作がサーバ２０において実行されてもよく、サーバ２０において実行される一部の処理動作が車両１０において実行されてもよい。例えば、車載装置の動作状態が天気に対応する規定動作状態であるか否かの判定等の処理が、車両１０ではなくサーバ２０によって実行される構成も可能である。かかる場合、車両１０は、車外風景を撮像した画像、撮像時刻、及び撮像位置に加えて、各車載装置の動作状態をサーバ２０へ送信する。サーバ２０は、車両１０の対応情報を予め記憶する。サーバ２０は、サーバ記憶部２２に記憶されている気象情報から撮像時刻及び撮像位置に対応する天気を特定する。そして、サーバ２０は、車載装置の動作状態が天気に対応する規定動作状態であるか否かの判定を実施する。また例えば、画像からの天気の検出、及び画像から検出された天気と気象情報に示される天気との比較等の処理が、サーバ２０ではなく車両１０によって実行される構成も可能である。
また、例えばスマートフォン又はコンピュータ等の汎用の情報処理装置を、上述した実施形態に係る車両１０に備えられた構成部又はサーバ２０として機能させる構成も可能である。具体的には、実施形態に係る車両１０又はサーバ２０等の各機能を実現する処理内容を記述したプログラムを、情報処理装置のメモリに格納し、情報処理装置のプロセッサによって当該プログラムを読み出して実行させる。したがって、本実施形態に係る発明は、プロセッサが実行可能なプログラムとしても実現可能である。
１ 情報処理システム
１０ 車両
１１ 通信部
１２ 測位部
１３ 撮像部
１４ 記憶部
１５ 制御部
２０ サーバ
２１ サーバ通信部
２２ サーバ記憶部
２３ サーバ制御部
３０ ネットワーク
３１ クライアント

Claims (6)

  1. 車両と、前記車両と通信可能なサーバと、を備える情報処理システムであって、
    前記サーバは、天気を示す気象情報を記憶し、
    前記車両は、
    前記気象情報を前記サーバから受信し、
    車載装置の動作状態が、前記気象情報に示される天気に対応する規定動作状態ではない場合、車外風景を撮像した画像を取得し、
    前記車両又は前記サーバは、前記画像から天気を検出し、
    前記サーバは、
    前記画像から検出された天気と前記気象情報に示される天気とが異なる場合、前記画像から検出された天気を示すように前記気象情報を更新し、
    更新された前記気象情報を用いて、クライアントに対する情報提供を実施する、情報処理システム。
  2. 請求項１に記載の情報処理システムであって、
    前記気象情報に示される天気が雨である場合、前記車載装置はワイパーであり、前記規定動作状態はＯＮである、情報処理システム。
  3. 請求項１又は２に記載の情報処理システムであって、
    前記気象情報に示される天気が霧である場合、前記車載装置はフォグランプであり、前記規定動作状態はＯＮである、情報処理システム。
  4. 請求項１から３のいずれか一項に記載の情報処理システムであって、
    前記気象情報に示される天気が晴である場合、前記車載装置はワイパー及びフォグランプであり、前記規定動作状態はＯＦＦである、情報処理システム。
  5. 天気を示す気象情報を記憶するサーバと通信可能な車両に、
    前記気象情報を前記サーバから受信するステップと、
    車載装置の動作状態が、前記気象情報に示される天気に対応する規定動作状態ではない場合、車外風景を撮像した画像を取得するステップと、
    前記画像を前記サーバへ送信するステップと、
    を実行させる、プログラム。
  6. 車両と、前記車両と通信可能なサーバと、を備える情報処理システムが実行する情報処理方法であって、
    前記サーバが、天気を示す気象情報を記憶するステップと、
    前記車両が、
    前記気象情報を前記サーバから受信するステップと、
    車載装置の動作状態が、前記気象情報に示される天気に対応する規定動作状態ではない場合、車外風景を撮像した画像を取得するステップと、
    前記車両又は前記サーバが、前記画像から天気を検出するステップと、
    前記サーバが、
    前記画像から検出された天気と前記気象情報に示される天気とが異なる場合、前記画像から検出された天気を示すように前記気象情報を更新するステップと、
    更新された前記気象情報を用いて、クライアントに対する情報提供を実施するステップと、
    を含む、情報処理方法。
JP2018234148A 2018-12-14 2018-12-14 情報処理システム、プログラム、及び情報処理方法 Active JP7063256B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018234148A JP7063256B2 (ja) 2018-12-14 2018-12-14 情報処理システム、プログラム、及び情報処理方法
US16/688,557 US11453367B2 (en) 2018-12-14 2019-11-19 Information processing system, program, and information processing method
CN201911194131.7A CN111325086B (zh) 2018-12-14 2019-11-28 信息处理系统、程序和信息处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018234148A JP7063256B2 (ja) 2018-12-14 2018-12-14 情報処理システム、プログラム、及び情報処理方法

Publications (2)

Publication Number Publication Date
JP2020094956A true JP2020094956A (ja) 2020-06-18
JP7063256B2 JP7063256B2 (ja) 2022-05-09

Family

ID=71073307

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018234148A Active JP7063256B2 (ja) 2018-12-14 2018-12-14 情報処理システム、プログラム、及び情報処理方法

Country Status (3)

Country Link
US (1) US11453367B2 (ja)
JP (1) JP7063256B2 (ja)
CN (1) CN111325086B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019176607A1 (ja) * 2018-03-12 2019-09-19 株式会社小糸製作所 車両用クリーナシステムおよび車両用システム
JP7275556B2 (ja) * 2018-12-14 2023-05-18 トヨタ自動車株式会社 情報処理システム、プログラム、及び情報処理方法
JP7063256B2 (ja) * 2018-12-14 2022-05-09 トヨタ自動車株式会社 情報処理システム、プログラム、及び情報処理方法
CN111800582B (zh) * 2020-07-31 2021-12-07 上海眼控科技股份有限公司 锋面雾检测方法、装置、计算机设备和可读存储介质
JP2022107418A (ja) * 2021-01-08 2022-07-21 トヨタ自動車株式会社 サーバ装置、システム、情報処理装置、プログラム、及びシステムの動作方法
CN113778794A (zh) * 2021-08-24 2021-12-10 浙江吉利控股集团有限公司 一种环境温度处理方法、控制方法、云端服务器及车辆

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09128441A (ja) * 1995-10-31 1997-05-16 Matsushita Electric Ind Co Ltd 情報処理装置
JP2003130963A (ja) * 2001-10-25 2003-05-08 Equos Research Co Ltd 気象情報通知方法及び装置
JP2009192420A (ja) * 2008-02-15 2009-08-27 Sharp Corp 移動体ナビゲーションシステム、ナビゲーション装置およびサーバ装置
JP2016203886A (ja) * 2015-04-27 2016-12-08 富士通テン株式会社 検出装置、検出システム、検出方法、及び、プログラム
JP2016217777A (ja) * 2015-05-15 2016-12-22 株式会社リコー 情報送受信システム
JP2017083458A (ja) * 2016-12-19 2017-05-18 パイオニア株式会社 サーバ装置、天候状況取得方法、情報送信装置、情報送信方法、プログラム、及び、天候状況取得システム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69836344T2 (de) * 1997-10-30 2007-05-31 Donnelly Corp., Holland Regensensor mit nebelerkennung
JP3683763B2 (ja) * 1999-12-21 2005-08-17 株式会社ケンウッド 天候検出装置
JP4807439B2 (ja) * 2009-06-15 2011-11-02 株式会社デンソー 霧画像復元装置及び運転支援システム
JP2012002545A (ja) * 2010-06-14 2012-01-05 Panasonic Corp 天候検知装置及び天候情報収集システム
JP2012177637A (ja) * 2011-02-28 2012-09-13 Sanyo Electric Co Ltd 天気情報送信端末及びそれを用いた天気情報配信システム
CN102809767B (zh) * 2012-08-10 2015-02-25 杭州九树网络科技有限公司 利用雨感设备实时天气预报系统及预报方法
JP6064045B2 (ja) * 2013-06-11 2017-01-18 パイオニア株式会社 情報送信装置、天候状況取得システム、サーバ装置、情報送信方法及びプログラム
KR101408997B1 (ko) * 2013-08-30 2014-06-18 한국건설기술연구원 차량을 이용한 기상관측 시스템
KR101534716B1 (ko) * 2013-12-18 2015-07-08 현대자동차 주식회사 기상 정보 제공 시스템 및 그 방법
JP6280409B2 (ja) * 2014-03-25 2018-02-14 株式会社日立製作所 自車位置修正方法、ランドマークデータ更新方法、車載機、サーバおよび自車位置データ修正システム
US9979934B1 (en) * 2015-01-06 2018-05-22 Rockwell Collins, Inc. Automated weather sensing system and method using cameras
US9465987B1 (en) * 2015-03-17 2016-10-11 Exelis, Inc. Monitoring and detecting weather conditions based on images acquired from image sensor aboard mobile platforms
US20180141563A1 (en) * 2016-06-30 2018-05-24 Faraday&Future Inc. Classifying of weather situations using cameras on automobiles
US10657383B1 (en) * 2016-09-23 2020-05-19 Amazon Technologies, Inc. Computer vision to enable services
CN106772687A (zh) * 2016-12-06 2017-05-31 上海博泰悦臻电子设备制造有限公司 基于行驶车辆的天气信息推送系统及方法
JP6757246B2 (ja) 2016-12-28 2020-09-16 本田技研工業株式会社 気象情報処理装置、気象情報処理方法、およびプログラム
JP6664317B2 (ja) * 2016-12-28 2020-03-13 本田技研工業株式会社 情報処理システム、および情報処理方法
CN108202669B (zh) * 2018-01-05 2021-05-07 中国第一汽车股份有限公司 基于车车通信的不良天气视觉增强行车辅助系统及其方法
US10586132B2 (en) * 2018-01-08 2020-03-10 Visteon Global Technologies, Inc. Map and environment based activation of neural networks for highly automated driving
JP7063256B2 (ja) * 2018-12-14 2022-05-09 トヨタ自動車株式会社 情報処理システム、プログラム、及び情報処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09128441A (ja) * 1995-10-31 1997-05-16 Matsushita Electric Ind Co Ltd 情報処理装置
JP2003130963A (ja) * 2001-10-25 2003-05-08 Equos Research Co Ltd 気象情報通知方法及び装置
JP2009192420A (ja) * 2008-02-15 2009-08-27 Sharp Corp 移動体ナビゲーションシステム、ナビゲーション装置およびサーバ装置
JP2016203886A (ja) * 2015-04-27 2016-12-08 富士通テン株式会社 検出装置、検出システム、検出方法、及び、プログラム
JP2016217777A (ja) * 2015-05-15 2016-12-22 株式会社リコー 情報送受信システム
JP2017083458A (ja) * 2016-12-19 2017-05-18 パイオニア株式会社 サーバ装置、天候状況取得方法、情報送信装置、情報送信方法、プログラム、及び、天候状況取得システム

Also Published As

Publication number Publication date
CN111325086B (zh) 2023-09-19
JP7063256B2 (ja) 2022-05-09
US20200189527A1 (en) 2020-06-18
US11453367B2 (en) 2022-09-27
CN111325086A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
JP7063256B2 (ja) 情報処理システム、プログラム、及び情報処理方法
US11527158B2 (en) Information providing system, server, onboard device, and information providing method
US11557206B2 (en) Information provision system, server, and mobile terminal
US11189048B2 (en) Information processing system, storing medium storing program, and information processing device controlling method for performing image processing on target region
US11680822B2 (en) Apparatus and methods for managing maps
CN111319560B (zh) 信息处理系统、程序和信息处理方法
US20200210725A1 (en) Image collection system, image collection method, image collection device, recording medium, and vehicle communication device
US10803332B2 (en) Traffic sign detection method, apparatus, system and medium
EP3994423A1 (en) Collecting user-contributed data relating to a navigable network
US20220250627A1 (en) Information processing system, program, and information processing method
JP2012137320A (ja) 誘導案内装置、誘導案内方法、誘導案内プログラムおよび記録媒体
US11039087B2 (en) Image processing apparatus and computer-readable storage medium
CN111279150A (zh) 地图信息管理装置、地图信息管理系统、及地图信息管理方法
JP5212920B2 (ja) 車両用表示装置
JP2008249475A (ja) 車載装置及び交通情報提示方法
WO2019155557A1 (ja) 情報表示制御装置、情報表示制御方法及び情報表示制御プログラム
JP2020119131A (ja) サーバ、サーバ制御方法、サーバ制御プログラム、通信端末、端末制御方法、及び端末制御プログラム
US11748996B2 (en) Information processing system, program, and information processing method
JP2020057203A (ja) 画像処理装置、プログラム、情報処理システム、及び制御方法
CN110969996A (zh) 移动终端及调节其显示屏亮度的方法、装置及存储介质
CN113424243B (zh) 信息处理装置、信息处理方法和信息处理程序
JP2024017514A (ja) ナビゲーション装置、及びナビゲーション装置の制御方法
JP2022012573A (ja) 情報処理方法、プログラム、車載装置、車両、情報処理装置及び情報処理システム
CN114252081A (zh) 定位方法、装置、设备及存储介质
JP2020102032A (ja) 情報提供装置、車両、運転支援システム、地図生成装置、運転支援装置、及び運転支援方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210325

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220315

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220404

R151 Written notification of patent or utility model registration

Ref document number: 7063256

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151