JP2017201436A - 情報処理システム、情報処理装置及び情報処理方法 - Google Patents

情報処理システム、情報処理装置及び情報処理方法 Download PDF

Info

Publication number
JP2017201436A
JP2017201436A JP2016082219A JP2016082219A JP2017201436A JP 2017201436 A JP2017201436 A JP 2017201436A JP 2016082219 A JP2016082219 A JP 2016082219A JP 2016082219 A JP2016082219 A JP 2016082219A JP 2017201436 A JP2017201436 A JP 2017201436A
Authority
JP
Japan
Prior art keywords
information processing
vehicle
model
image
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016082219A
Other languages
English (en)
Other versions
JP6243956B2 (ja
Inventor
太田 洋
Hiroshi Ota
洋 太田
剛宣 佐藤
Takanobu Sato
剛宣 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CLOUDIAN HOLDINGS Inc
Original Assignee
CLOUDIAN HOLDINGS Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CLOUDIAN HOLDINGS Inc filed Critical CLOUDIAN HOLDINGS Inc
Priority to JP2016082219A priority Critical patent/JP6243956B2/ja
Priority to US15/244,902 priority patent/US20170300971A1/en
Publication of JP2017201436A publication Critical patent/JP2017201436A/ja
Application granted granted Critical
Publication of JP6243956B2 publication Critical patent/JP6243956B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0261Targeted advertisements based on user location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】所定の位置を走行する車両の統計データを生成する情報処理システム、情報処理装置及び情報処理方法を提供する。
【解決手段】本発明の一実施形態に係る情報処理システム100は、走行中の車両の画像を撮像する撮像部131と、撮像部131が撮像した車両の画像に基づいて車両のモデルを特定し、特定したモデルに基づいて統計データを生成する制御部121と、を備える。
【選択図】図1

Description

本発明は、所定の位置を走行する車両の統計データを生成する情報処理システム、情報処理装置及び情報処理方法に関する。
従来、車両の運転者等に向けて表示される屋外広告が知られている。例えば、特許文献1には、屋外に配置した看板装置に、時間帯及び交通量等に応じた広告を表示するシステムが開示されている。
特開2007−122673号公報
しかしながら、特許文献1に開示されたシステムは、あらかじめ調査された交通量に基づいて広告を表示するものであり、実際に走行している車両の属性に応じて広告を表示するものではない。そのため、上記システムでは、必ずしも実際に走行している車両の属性に適合した広告が表示されているとは限らない。また、上記システムでは、広告を見ることができる位置を走行する車両の属性を知ることができないため、広告の効果を評価することが難しい。
上記のような問題点に鑑みてなされた本発明の目的は、所定の位置を走行する車両の統計データを生成する情報処理システム、情報処理装置及び情報処理方法を提供することにある。
上述した諸課題を解決すべく、本発明の一実施形態に係る情報処理システムは、
走行中の車両の画像を撮像する撮像部と、
前記撮像部が撮像した前記車両の画像に基づいて前記車両のモデルを特定し、特定した前記モデルに基づいて統計データを生成する制御部と、
を備える。
また、情報処理システムは、
情報を表示する表示部をさらに備え、
前記制御部は、前記生成した統計データに応じた情報を前記表示部に表示させてもよい。
また、情報処理システムにおいて、
前記表示部は、デジタルサイネージであり、
前記制御部により前記デジタルサイネージに表示される情報は広告であってもよい。
また、情報処理システムは、
前記車両においてモデルに関する情報が記載された箇所の画像を撮像する第2の撮像部をさらに備え、
前記制御部は、前記特定したモデルと、前記第2の撮像部が撮像した画像から読み取った前記車両のモデルとが一致しない場合、前記車両の画像と前記読み取った前記車両のモデルとに基づき、前記車両のモデルを特定するためのプログラムを更新してもよい。
また、情報処理システムにおいて、前記制御部は、ディープラーニングに基づいて前記車両のモデルを特定してもよい。
また、本発明は上述した情報処理システムに対応する情報処理装置及び情報処理方法としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。
例えば、本発明の一実施形態に係る情報処理装置は、
走行中の車両の画像に基づいて前記車両のモデルを特定し、特定した前記モデルごとの統計データを生成する制御部を備える。
また、本発明の一実施形態に係る情報処理方法は、
画像を撮像する撮像部と、制御部とを備える情報処理システムによる情報処理方法であって、
前記撮像部が、走行中の車両の画像を撮像する撮像ステップと、
前記制御部が、前記撮像ステップで撮像された画像に基づいて前記車両のモデルを特定する特定ステップと、
前記制御部が、前記特定ステップで特定した前記モデルごとの統計データを生成する生成ステップと、を含む。
上記のように構成された本発明に係る情報処理システム、情報処理装置及び情報処理方法によれば、所定の位置を走行する車両の統計データを生成できる。
本発明の一実施形態に係る情報処理システムの概略構成を示す機能ブロック図である。 図1の情報処理システムの使用の一例を示す概略図である。 図1の第2の情報処理装置による、車両が写った範囲の抽出方法の一例について説明する図である。 図1の情報処理システムによる情報表示の処理の一例を示すシーケンス図である。 図1の情報処理システムによるモデル判定プログラムの更新処理の概要を示すシーケンス図である。 図1の第1の情報処理装置におけるモデル判定プログラムの更新処理の一例を示すフローチャートである。
以下、本発明の一実施形態について、図面を参照して詳細に説明する。
図1は、本発明の一実施形態に係る情報処理システム100の概略構成を示す機能ブロック図である。図1に示すように、本実施形態に係る情報処理システム100は、第1の情報処理装置110と、第2の情報処理装置120と、第1の撮像装置130と、第2の撮像装置140と、表示装置150とを備える。第2の情報処理装置120は、第1の情報処理装置110、第1の撮像装置130、第2の撮像装置140及び表示装置150と、それぞれ通信可能に構成されている。これらの各装置は、適宜インターネット等を介して通信可能に構成されていてもよい。
図2は、図1の情報処理システム100の使用の一例を示す概略図である。表示装置150は、各種情報を表示する。本実施形態において、表示装置150は、例えば図2に示すように、道路を走行する車両のドライバーが見ることが可能な位置に配置されるデジタルサイネージ(電子看板)である。表示装置150は、例えば、ビルの壁面又は道路脇等に設置される。表示装置150は、第2の情報処理装置120から取得した制御信号に基づいて、所定の情報を表示する。本実施形態において、表示装置150は、例えばドライバーに対する各種広告を表示するとして説明する。
第1の撮像装置130は、表示装置150が表示する広告を視認可能な位置又は所定時間後に視認可能となる位置を走行する車両の画像を撮像する。第1の撮像装置130は、例えば所定の位置の道路を撮像する定点カメラである。第1の撮像装置130は、当該道路を走行する車両の画像を撮像する。第1の撮像装置130は、例えば、表示装置150の前面側を走行する車両の進行方向側である前方側の画像を撮像する。
第2の撮像装置140は、第1の撮像装置130が撮像した車両の後方側の画像を撮像する。第2の撮像装置140は、第1の撮像装置130と同様に、例えば所定の位置の道路を撮像する定点カメラである。第2の撮像装置140は、例えば表示装置150を視認可能な位置を通り過ぎた後に走行する道路を撮像することにより、車両の後方側の画像を撮像する。第2の撮像装置140は、第1の撮像装置130が撮像する位置と同じ位置の道路を、異なる角度から撮像することにより、車両の後方側の画像を撮像してもよい。第1の撮像装置130及び第2の撮像装置140が撮像した画像は、第2の情報処理装置120に送信される。なお、後述の通り、第2の撮像装置140は、情報処理システム100で使用されるモデル判定プログラム211の更新処理に利用される画像を撮像するものであり、統計データ213の生成に必須のものではない。
第2の情報処理装置120は、第1の撮像装置130が撮像した画像に基づいて、表示装置150に表示させる広告を決定し、決定した広告を表示させるための制御信号を表示装置150に送信する。すなわち、情報処理システム100において、表示装置150が表示する所定の広告は、第1の撮像装置130が撮像した画像に基づいて、第2の情報処理装置120により決定及び制御される。具体的には、第2の情報処理装置120は、第1の撮像装置130が撮像した画像に基づいて、車両のモデル(車名、車種、年式及び型式等)を判定し、判定したモデルに基づいて車両のモデルに関する統計データ213を生成する。車両のモデルの判定には、ディープラーニング(深層学習)が利用される。第2の情報処理装置120は、生成した統計データ213に応じた広告を、表示装置150に表示させる。
第2の情報処理装置120が車両のモデルを判定するためのプログラム(モデル判定プログラム211)は、第1の情報処理装置110により作成される。また、第1の情報処理装置110は、第2の情報処理装置120を介して取得した、第1の撮像装置130及び第2の撮像装置140が撮像した画像に基づいて学習を行い、モデル判定プログラム211を更新する。第1の撮像装置130は、更新されたモデル判定プログラム211を第2の撮像装置140に送信し、第2の撮像装置140は、更新されたモデル判定プログラム211を使用して、表示装置150に表示させる広告を決定するための制御を行う。
再び図1を参照し、情報処理システム100の各構成要素の詳細について説明する。
第1の情報処理装置110は、例えばサーバ装置により構成される。第1の情報処理装置110は、制御部111と、記憶部112と、通信部113とを備える。
制御部111は、第1の情報処理装置110が備える各機能ブロックをはじめとして、第1の情報処理装置110の全体を制御及び管理するプロセッサである。制御部111は、制御手順を規定したプログラムを実行するCPU(Central Processing Unit)等のプロセッサで構成される。プロセッサにより実行されるプログラムは、例えば記憶部112又は外部の記憶媒体等に格納される。
制御部111は、車両のモデルを判定するためのモデル判定プログラム211を作成する。本実施形態において、制御部111は、ディープラーニングにより、モデル判定プログラム211を作成する。ディープラーニングは、多層構造のニューラルネットワークを利用して、データの特徴量を自動で計算及び学習する技術である。制御部111は、例えば記憶部112に記憶されるデータセット212を用いてディープラーニングを行う。制御部111は、第1の情報処理装置110の外部から取得したデータセット(画像と車種等の対応データ)を用いてディープラーニングを行ってもよい。
また、制御部111は、第2の情報処理装置120を介して取得した、第1の撮像装置130及び第2の撮像装置140が撮像した画像に基づいて、作成したモデル判定プログラム211を更新する。モデル判定プログラム211の更新の詳細については、後述する図5の説明において詳述する。
記憶部112は、多様なメモリデバイスを有し、用途に応じてそれぞれ各種情報、例えば、制御部111の動作に必要なデータなどを記憶する。また、記憶部112は、ワークメモリとして機能するRAM(Random Access Memory)等のデバイスも有する。記憶部112は、モデル判定プログラム211と、データセット212とを記憶する。モデル判定プログラム211は、制御部111がディープラーニングにより作成したプログラムである。データセット212は、制御部111がモデル判定プログラム211を作成するために使用する一連のデータである。データセット212は、例えば第1の情報処理装置110の管理者により入力されるものであってもよく、第1の情報処理装置110が外部のリソースから取得したものであってもよい。データセット212として、実際の映像データを追加することもできる。データセット212は、例えば、車両の画像と、当該車両に関する情報との組合せにより構成される。車両に関する情報は、車両のモデルに関する情報であり、例えば、車両の車名、車種、年式及び型式等を含む。なお、車両に関する情報は、これらに限られず、車両に関する任意の情報を含んでいてもよい。
通信部113は、第2の情報処理装置120と有線通信又は無線通信を行うことにより、各種情報の送受信を行う。例えば、第1の情報処理装置110は、通信部113を介して、制御部111が作成したモデル判定プログラム211を第2の情報処理装置120に送信する。また、例えば第1の情報処理装置110は、通信部113を介して、第2の情報処理装置120が備える、第1の撮像装置130及び第2の撮像装置140が撮像した画像等のデータを受信する。
第2の情報処理装置120は、例えばサーバ装置により構成される。第2の情報処理装置120は、制御部121と、記憶部122と、通信部123とを備える。
制御部121は、第2の情報処理装置120が備える各機能ブロックをはじめとして、第2の情報処理装置120の全体を制御及び管理するプロセッサである。制御部121は、制御手順を規定したプログラムを実行するCPU等のプロセッサで構成される。プロセッサにより実行されるプログラムは、例えば記憶部122又は外部の記憶媒体等に格納される。
制御部121は、第1の撮像装置130が撮像した、車両を含む画像に基づいて、画像に映り込んだ車両のモデルを判定し、判定結果に基づいて統計データ213を生成する。また、制御部121は、統計データ213に基づいて、表示装置150に表示させる広告を決定する。
制御部121は、まず、第1の撮像装置130が撮像した、車両を含む画像のうち、車両が写った範囲を抽出(特定)する。範囲の抽出は、任意の方法で実行することができる。
図3は、第2の情報処理装置120による範囲の抽出方法の一例について説明する図である。図3(a)は、第1の撮像装置130により撮像された画像の一例であり、図3(b)は、図3(a)の画像における第2の情報処理装置120による処理過程を示す画像の一例である。範囲の抽出方法の一例において、制御部121は、オプティカルフロー法を用いて、車両の特徴的な点(特徴点)を、第1の撮像装置130が撮像した画像において連続する複数のフレームに亘って追跡記録する。制御部121が追跡した特徴点は、図3(b)において上方から下方に(車両の進行方向に)延びる線として表現されている。オプティカルフロー法により、制御部121は、画像内における車両の動きを検出する。そして、制御部121は、バックグラウンド除去法を用いて、第1の撮像装置130が撮像した画像において連続する複数のフレームの画像の加重平均を算出し、算出結果と、最後に取得したフレームの画像との差分を算出する。これにより、制御部121は、画像内において移動する物体、すなわち車両を検出する。制御部121は、これらのオプティカルフロー法及びバックグラウンド除去法を用いて、第1の撮像装置130が撮像した画像のうち、車両が写った範囲を抽出する。抽出された範囲は、図3(b)において、それぞれ四角により囲まれた領域として表現されている。なお、制御部121は、上述の方法に限らず、他の任意の方法により、車両が写った範囲を抽出してもよい。
制御部121は、車両が写った範囲を抽出すると、当該抽出した範囲における車両の画像に基づき、モデル判定プログラム211を使用して、車両のモデルを判定する。
そして、制御部121は、判定したモデルに基づいて、車両のモデルに関する統計データ213を生成する。統計データ213は、第1の撮像装置130が撮像する、道路の所定の位置を走行した車両のモデルに関する統計的なデータである。統計データ213は、例えば、所定の時間ごとに分割された、車両のモデルに関するデータを含む。所定の時間を、例えば数秒単位以下とすることにより、制御部121は、所定の位置を走行する車両のモデルをリアルタイムに把握することができる。制御部121は、統計データ213により、所定の時間ごとに所定の位置を走行した車両のモデルが得られる。また、制御部121は、統計データ213により、例えば時間の経過に沿った車両のモデルの変化の傾向も得られる。
制御部121は統計データ213に基づいて、表示装置150に表示させる広告(情報)を決定する。このとき、制御部121は、所定の位置を走行する車両のモデルに関するリアルタイムな統計データ213に基づき、表示装置150に表示させる広告を決定する。制御部121は、例えば判定したモデルに対応付けられた広告の広告IDを決定する。広告IDは、表示装置150が表示可能な各広告に、それぞれ一意に対応付けられた情報である。制御部121は、例えば予め記憶部122に記憶された、統計データ213の内容に応じて広告IDを決定するためのテーブル(広告IDテーブル215)を参照して、統計データ213の内容に応じた広告IDを決定する。例えば、制御部121は、統計データ213において最も台数が多いモデルに基づき、広告IDテーブル215を参照して広告IDを決定する。また、例えば、制御部121は、統計データ213における各モデルの台数の割合に応じて、広告IDテーブル215を参照して広告IDを決定してもよい。広告IDに対応付けられた広告は、例えば、当該広告IDに対応付けられたモデルの車両の購買者又は所有者を対象とした広告である。かかる広告は、例えば、当該広告IDに対応付けられたモデルの車両と同一のメーカの商品に関する広告、又は当該広告IDに対応付けられたモデルの車両の購買者層が購入する可能性の高い商品に関する広告等である。制御部121は、制御信号として、決定した広告IDと、当該広告IDに対応する広告を表示させるための指令を表示装置150に送信することにより、決定した広告を表示装置150に表示させる。
記憶部122は、多様なメモリデバイスを有し、用途に応じてそれぞれ各種情報、例えば、制御部121の動作に必要なデータ等を記憶する。また、記憶部122は、ワークメモリとして機能するRAM等のデバイスも有する。記憶部122は、モデル判定プログラム211と、統計データ213と、撮像データ214と、広告IDテーブル215とを記憶する。モデル判定プログラム211は、第2の情報処理装置120が第1の情報処理装置110から取得して、記憶部122に記憶したものである。モデル判定プログラム211は、第1の情報処理装置110により適宜更新される。撮像データ214は、第2の情報処理装置120が、第1の撮像装置130及び第2の撮像装置140から取得した、第1の撮像装置130及び第2の撮像装置140がそれぞれ撮像した画像に関するデータである。撮像データ214は、例えば第1の情報処理装置110に送信され、第1の情報処理装置110においてモデル判定プログラム211を更新するために使用される。
通信部123は、第1の情報処理装置110、第1の撮像装置130、第2の撮像装置140及び表示装置150と有線通信又は無線通信を行うことにより、各種情報の送受信を行う。例えば、第2の情報処理装置120は、通信部123を介して、第1の情報処理装置110からモデル判定プログラム211を取得する。また、例えば、第2の情報処理装置120は、通信部123を介して、第1の撮像装置130及び第2の撮像装置140から、第1の撮像装置130及び第2の撮像装置140が撮像した画像を取得する。また、第2の情報処理装置120は、通信部123を介して、第1の情報処理装置110に、第1の撮像装置130及び第2の撮像装置140が撮像した画像を送信する。また、例えば、第2の情報処理装置120は、通信部123を介して、表示装置150に制御信号を送信する。第2の情報処理装置120は、第1の撮像装置130からリアルタイムに画像を取得し、取得した画像に基づいて生成した制御信号を表示装置150に送信する。
第1の撮像装置130は、撮像部131と、制御部132と、記憶部133と、通信部134とを備える。
撮像部131は、道路を走行する車両の画像を撮像する。撮像部131は、例えばデジタルビデオカメラにより構成される。
制御部132は、第1の撮像装置130が備える各機能ブロックをはじめとして、第1の撮像装置130の全体を制御及び管理するプロセッサである。制御部132は、制御手順を規定したプログラムを実行するCPU等のプロセッサで構成される。プロセッサにより実行されるプログラムは、例えば記憶部133又は外部の記憶媒体等に格納される。
記憶部133は、多様なメモリデバイスを有し、用途に応じてそれぞれ各種情報、例えば、制御部132の動作に必要なデータ等を記憶する。また、記憶部133は、ワークメモリとして機能するRAM等のデバイスも有する。記憶部133は、例えば、撮像部131が撮像した撮像データ214を記憶してもよい。
通信部134は、第2の情報処理装置120と有線通信又は無線通信を行うことにより、各種情報の送受信を行う。例えば、第1の撮像装置130は、通信部134を介して、撮像部131が撮像した撮像データ214を第2の情報処理装置120に送信する。
第2の撮像装置140は、撮像部141と、制御部142と、記憶部143と、通信部144とを備える。第2の撮像装置140が備える撮像部141、制御部142、記憶部143及び通信部144の各機能は、それぞれ第1の撮像装置130が備える撮像部131、制御部132、記憶部133及び通信部134と同様であるため、ここでは、その詳細な説明を省略する。
表示装置150は、表示部151と、制御部152と、記憶部153と、通信部154とを備える。
表示部151は、LED(Light Emitting Diode)ディスプレイ、液晶ディスプレイ(LCD:Liquid Crystal Display)又は有機ELディスプレイ(OELD:Organic Electroluminescence Display)等の周知のディスプレイにより構成される表示デバイスである。表示部151は、制御部152の制御に基づき、広告を表示する。
制御部152は、表示装置150が備える各機能ブロックをはじめとして、表示装置150の全体を制御及び管理するプロセッサである。制御部152は、制御手順を規定したプログラムを実行するCPU等のプロセッサで構成される。プロセッサにより実行されるプログラムは、例えば記憶部153又は外部の記憶媒体等に格納される。制御部152は、第2の情報処理装置120から取得した制御信号に基づき、表示部151に各種広告を表示させる。
記憶部153は、多様なメモリデバイスを有し、用途に応じてそれぞれ各種情報、例えば、制御部132の動作に必要なデータ等を記憶する。また、記憶部153は、ワークメモリとして機能するRAM等のデバイスも有する。記憶部153は、例えば、表示部151に表示させる広告を、画像又は動画等として記憶する。記憶部153は、各広告を、広告IDと対応付けて記憶する。
通信部154は、第2の情報処理装置120と有線通信又は無線通信を行うことにより、各種情報の送受信を行う。例えば、表示装置150は、通信部154を介して、第2の情報処理装置120から制御信号を取得し、取得した制御信号に応じて、表示部151に情報を表示する。
次に、情報処理システム100による情報表示の処理の一例について、図4を参照して説明する。
まず、第1の情報処理装置110は、データセットに基づいて、ディープラーニングにより、モデル判定プログラム211を作成する(ステップS101)。
第1の情報処理装置110は、ステップS101で作成したモデル判定プログラム211を、第2の情報処理装置120に送信する(ステップS102)。
次に、第1の撮像装置130が画像を撮像する(ステップS103)。第1の撮像装置130により撮像される画像は、車両の前方側の画像である。
第1の撮像装置130は、ステップS103で撮像した画像に関する撮像データ214を、第2の情報処理装置120に送信する(ステップS104)。第1の撮像装置130は、ステップS103及びステップS104を、常時繰り返して実行してもよく、定期的に繰り返し実行してもよい。
第2の情報処理装置120は、第1の撮像装置130から撮像データ214を取得すると、撮像データ214に係る画像において車両が写った範囲を抽出する(ステップS105)。
そして、第2の情報処理装置120は、抽出した範囲に写った車両の画像に基づき、モデル判定プログラム211を用いて、車両のモデルを判定する(ステップS106)。
次に、第2の情報処理装置120は、判定した車両のモデルに基づいて、統計データ213を生成する(ステップS107)。
第2の情報処理装置120は、記憶部122に記憶された広告IDテーブル215を参照して、ステップS107で生成した統計データ213に基づき、表示装置150に表示する広告の広告IDを決定する(ステップS108)。
第2の情報処理装置120は、ステップS108で決定した広告IDを含む制御信号を、表示装置150に送信する(ステップS109)。
表示装置150は、制御信号を受信すると、制御信号に基づき、広告IDに対応付けられた広告を表示部151に表示する(ステップS110)。
このように、本実施形態に係る情報処理システム100によれば、第2の情報処理装置120は、表示装置150に表示される広告を視認できる位置を走行する車両のモデルをリアルタイムに判定し、判定したモデルに基づいて統計データ213を生成する。そして、第2の情報処理装置120は、統計データ213に応じて、判定したモデルの車両の購買者又は所有者を対象とした広告を表示装置150に表示できる。そのため、情報処理システム100によれば、広告の視聴者に応じた広告を表示でき、視聴者のニーズに合った広告を表示しやすくなる。
また、本実施形態に係る情報処理システム100によれば、統計データ213により、表示装置150に広告を表示している際に、どのモデルの車両が表示装置150を視認できる位置を走行していたかを分析できる。そのため、情報処理システム100によれば、表示装置150に表示された広告を視認した視聴者の属性を知ることができるので、広告の価値を評価しやすくなる。
また、本実施形態に係る情報処理システム100によれば、ディープラーニングを利用して作成されたプログラムに基づいて、車両のモデルを判定しているため、ディープラーニングを利用していない場合と比較して、車両のモデル判定精度が向上する。
次に、情報処理システム100によるモデル判定プログラム211の更新処理の一例について、図5を参照して説明する。
モデル判定プログラム211の更新処理において、第2の情報処理装置120は、第1の撮像装置130から取得した前方側の画像と、図4のステップS106で判定した車両のモデルとを対応付ける(ステップS201)。
第2の情報処理装置120は、ステップS201で対応付けた前方側の画像(撮像データ214)と、モデルの判定結果とを第1の情報処理装置110に送信する(ステップS202)。
次に、第2の撮像装置140が画像を撮像する(ステップS203)。第2の撮像装置140により撮像される画像は、車両の後方側の画像である。
第2の撮像装置140は、ステップS203で撮像した画像に関する撮像データ214を、第2の情報処理装置120に送信する(ステップS204)。第2の撮像装置140は、ステップS203及びステップS204を、常時繰り返して実行してもよく、定期的に繰り返し実行してもよい。
第2の情報処理装置120は、第2の撮像装置140から取得した撮像データ214を、第1の情報処理装置110に送信する(ステップS205)。
そして、第1の情報処理装置110は、モデル判定プログラム211を更新する処理を実行する(ステップS206)。
図6は、図5のステップS206における、第1の情報処理装置110によるモデル判定プログラム211の更新処理の一例を示すフローチャートである。
第1の情報処理装置110は、車両の後方側の各画像において、車両が写った範囲を抽出する(ステップS301)。第1の情報処理装置110による抽出は、任意の画像処理により行うことができる。第1の情報処理装置110による抽出方法は、例えば、第2の情報処理装置120による前方側の画像における車両が写った範囲の抽出方法と同様とすることができる。
次に、第1の情報処理装置110は、抽出された前方側及び後方側の車両の画像から、各車両の前方側及び後方側に取り付けられたナンバープレートを読み取る(ステップS302)。ここで、ナンバープレートは、車両の登録番号を記した板であり、自動車登録番号標及び車両番号標を含む。第1の情報処理装置110は、例えば公知の技術により、車両のナンバープレートの位置を特定し、ナンバープレートに記載された文字及び番号等(以下「ナンバー」と略記する)を読み取ることができる。
そして、第1の情報処理装置110は、読み取ったナンバープレートのナンバーから、前方側及び後方側のナンバーが一致する画像を対応付けることにより、同一の車両の画像を対応付ける(ステップS303)。
次に、第1の情報処理装置110は、画像解析により、車両の後方側の画像から、車両の後方側に記載された車両のモデルに関する情報を読み取る(ステップS304)。車両の後方側には、車名及び型式等のモデルに関する情報が記載されている場合が多いため、第1の情報処理装置110は、このように車両の後方側に記載された車両のモデルに関する情報を読み取る。
第1の情報処理装置110は、第2の情報処理装置120が判定した車両のモデルと、ステップS304で読み出した車両のモデルとが一致するか否かを判断する(ステップS305)。
第1の情報処理装置110は、第2の情報処理装置120が判定した車両のモデルと、ステップS304で読み出した車両のモデルとが一致すると判断した場合(ステップS305のYes)、このフローを終了する。
一方、第1の情報処理装置110は、第2の情報処理装置120が判定した車両のモデルと、ステップS304で読み出した車両のモデルとが一致しないと判断した場合(ステップS305のNo)、第2の情報処理装置120による車両のモデルの判定が誤っていると判断して、再学習を行い、モデル判定プログラム211を更新する(ステップS306)。具体的には、第1の情報処理装置110は、読み出したモデルが車両の正しいモデルであると判断して、車両の画像と読み出したモデル(車名、車種、年式及び型式等)とを対応付けて、ディープラーニングにおいて微調整を行う、いわゆるチューニングという手法により、モデル判定プログラム211を更新する。更新されたプログラムは、記憶部112に記憶される。
そして、第1の情報処理装置110は、更新されたモデル判定プログラム211を、第2の情報処理装置120に送信する(ステップS307)。第2の情報処理装置120は、更新されたモデル判定プログラム211を取得した後、当該更新されたモデル判定プログラム211を用いて、車両のモデルを判定し、広告を表示させる処理を実行する。
このように、本実施形態に係る情報処理システム100によれば、車両の前方側及び後方側を撮像し、撮像した画像に基づいて、モデルの判定結果が正しいか否かを検証できる。また、モデルの判定結果が誤っている場合には、第1の情報処理装置110は、モデル判定プログラム211を更新できる。第2の情報処理装置120は、更新されたモデル判定プログラム211を用いて、モデルの判定処理を実行するため、モデル判定プログラム211が更新されるたびに、モデルの判定精度が向上する。
以上、本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
例えば、各構成部、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部やステップ等を1つに組み合わせたり、或いは分割したりすることが可能である。
具体的には、例えば、上記実施形態では、情報処理システム100は、それぞれ独立した第1の情報処理装置110と第2の情報処理装置120とを備えると説明したが、例えば情報処理システム100は、第1の情報処理装置110及び第2の情報処理装置120の双方の機能を有する1つの情報処理装置を備えていてもよい。また、例えば、第2の情報処理装置120の機能の一部又は全部は、第1の撮像装置130、第2の撮像装置140又は表示装置150の少なくともいずれかに包含されていてもよい。
また、上記実施形態では、情報処理システム100は、統計データ213に基づいて表示装置150に広告等の情報を表示すると説明したが、必ずしも情報を表示しなくてもよい。情報処理システム100は、生成された統計データ213を他の用途に用いてもよい。例えば、統計データ213は、所定の位置の交通量調査に用いることができる。統計データ213を交通量調査に用いることにより、車両のモデルごとの交通量を調査することができる。統計データ213は、この他、所定の位置を走行する車両のモデルごとの情報を活用可能な任意の用途に用いることができる。
100 情報処理システム
110 第1の情報処理装置
111、121、132、142、152 制御部
112、122、133、143、153 記憶部
113、123、134、144、154 通信部
120 第2の情報処理装置
130 第1の撮像装置
131、141 撮像部
140 第2の撮像装置
150 表示装置
151 表示部
211 モデル判定プログラム
212 データセット
213 統計データ
214 撮像データ
215 広告IDテーブル

Claims (7)

  1. 走行中の車両の画像を撮像する撮像部と、
    前記撮像部が撮像した前記車両の画像に基づいて前記車両のモデルを特定し、特定した前記モデルに基づいて統計データを生成する制御部と、
    を備える、情報処理システム。
  2. 情報を表示する表示部をさらに備え、
    前記制御部は、前記生成した統計データに応じた情報を前記表示部に表示させる、
    請求項1に記載の情報処理システム。
  3. 前記表示部は、デジタルサイネージであり、
    前記制御部により前記デジタルサイネージに表示される情報は広告である、
    請求項2に記載の情報処理システム。
  4. 前記車両においてモデルに関する情報が記載された箇所の画像を撮像する第2の撮像部をさらに備え、
    前記制御部は、前記特定したモデルと、前記第2の撮像部が撮像した画像から読み取った前記車両のモデルとが一致しない場合、前記車両の画像と前記読み取った前記車両のモデルとに基づき、前記車両のモデルを特定するためのプログラムを更新する、
    請求項1乃至請求項3のいずれか一項に記載の情報処理システム。
  5. 前記制御部は、ディープラーニングに基づいて前記車両のモデルを特定する、請求項1乃至請求項4のいずれか一項に記載の情報処理システム。
  6. 走行中の車両の画像に基づいて前記車両のモデルを特定し、特定した前記モデルごとの統計データを生成する制御部を備える、情報処理装置。
  7. 画像を撮像する撮像部と、制御部とを備える情報処理システムによる情報処理方法であって、
    前記撮像部が、走行中の車両の画像を撮像する撮像ステップと、
    前記制御部が、前記撮像ステップで撮像された画像に基づいて前記車両のモデルを特定する特定ステップと、
    前記制御部が、前記特定ステップで特定した前記モデルごとの統計データを生成する生成ステップと、
    を含む、情報処理方法。
JP2016082219A 2016-04-15 2016-04-15 情報処理システム、情報処理装置及び情報処理方法 Active JP6243956B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016082219A JP6243956B2 (ja) 2016-04-15 2016-04-15 情報処理システム、情報処理装置及び情報処理方法
US15/244,902 US20170300971A1 (en) 2016-04-15 2016-08-23 Information Processing System, Information Processing Apparatus, and Information Processing Method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016082219A JP6243956B2 (ja) 2016-04-15 2016-04-15 情報処理システム、情報処理装置及び情報処理方法

Publications (2)

Publication Number Publication Date
JP2017201436A true JP2017201436A (ja) 2017-11-09
JP6243956B2 JP6243956B2 (ja) 2017-12-06

Family

ID=60038917

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016082219A Active JP6243956B2 (ja) 2016-04-15 2016-04-15 情報処理システム、情報処理装置及び情報処理方法

Country Status (2)

Country Link
US (1) US20170300971A1 (ja)
JP (1) JP6243956B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020021327A (ja) * 2018-08-01 2020-02-06 トヨタ自動車株式会社 広告システムおよび情報処理方法
JP2020030769A (ja) * 2018-08-24 2020-02-27 トヨタ自動車株式会社 情報処理装置、情報処理方法およびプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102449905B1 (ko) 2018-05-11 2022-10-04 삼성전자주식회사 전자 장치 및 이의 제어 방법
US11132893B2 (en) * 2018-05-11 2021-09-28 Seagate Technology, Llc Multi-sensor edge computing system
JP2020030361A (ja) * 2018-08-23 2020-02-27 トヨタ自動車株式会社 情報処理装置、情報処理方法およびプログラム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06307827A (ja) * 1993-01-13 1994-11-04 Toshiba Corp 車種判別装置
JPH0744689A (ja) * 1993-08-02 1995-02-14 Mitsubishi Heavy Ind Ltd 車種判別装置
JPH0755444A (ja) * 1993-08-11 1995-03-03 Toshiba Corp 車種判別装置
JP2000182109A (ja) * 1998-12-15 2000-06-30 Toshiba Corp 料金収受システム及び料金収受方法
JP2004303164A (ja) * 2003-04-01 2004-10-28 Mitsubishi Heavy Ind Ltd 車種判別システム、車種判別制御装置、及び車種判別方法
JP2007299144A (ja) * 2006-04-28 2007-11-15 Mitsubishi Heavy Ind Ltd ロゴ判別装置および方法ならびにプログラム
JP2008052539A (ja) * 2006-08-25 2008-03-06 Ntt Data Corp 車種判別装置、車種判別システム、車種判別方法及び車種判別プログラム
JP2010237411A (ja) * 2009-03-31 2010-10-21 Denso It Laboratory Inc 広告表示装置、システム、方法及びプログラム
JP2014002534A (ja) * 2012-06-18 2014-01-09 Toshiba Corp 車種判別装置及び車種判別方法
JP2014016654A (ja) * 2010-09-28 2014-01-30 Nec Corp 情報処理システム、及び、広告提示方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090106082A1 (en) * 2007-10-23 2009-04-23 Senti Thad E System and method to facilitate targeted advertising
WO2014169238A1 (en) * 2013-04-11 2014-10-16 Digimarc Corporation Methods for object recognition and related arrangements
US20150317687A1 (en) * 2014-05-02 2015-11-05 Jaichander Ramesh System and method for analytics-based advertising
US11004111B2 (en) * 2014-10-16 2021-05-11 Verizon Patent And Licensing Inc. Presenting smart billboard content based on optical pattern recognition of vehicle information

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06307827A (ja) * 1993-01-13 1994-11-04 Toshiba Corp 車種判別装置
JPH0744689A (ja) * 1993-08-02 1995-02-14 Mitsubishi Heavy Ind Ltd 車種判別装置
JPH0755444A (ja) * 1993-08-11 1995-03-03 Toshiba Corp 車種判別装置
JP2000182109A (ja) * 1998-12-15 2000-06-30 Toshiba Corp 料金収受システム及び料金収受方法
JP2004303164A (ja) * 2003-04-01 2004-10-28 Mitsubishi Heavy Ind Ltd 車種判別システム、車種判別制御装置、及び車種判別方法
JP2007299144A (ja) * 2006-04-28 2007-11-15 Mitsubishi Heavy Ind Ltd ロゴ判別装置および方法ならびにプログラム
JP2008052539A (ja) * 2006-08-25 2008-03-06 Ntt Data Corp 車種判別装置、車種判別システム、車種判別方法及び車種判別プログラム
JP2010237411A (ja) * 2009-03-31 2010-10-21 Denso It Laboratory Inc 広告表示装置、システム、方法及びプログラム
JP2014016654A (ja) * 2010-09-28 2014-01-30 Nec Corp 情報処理システム、及び、広告提示方法
JP2014002534A (ja) * 2012-06-18 2014-01-09 Toshiba Corp 車種判別装置及び車種判別方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"GTC Japan 2015 GPUをディープラーニングに活用", I/O, vol. 第40巻, JPN6016031102, 1 November 2015 (2015-11-01), JP, pages 4 - 6, ISSN: 0003665465 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020021327A (ja) * 2018-08-01 2020-02-06 トヨタ自動車株式会社 広告システムおよび情報処理方法
JP7225597B2 (ja) 2018-08-01 2023-02-21 トヨタ自動車株式会社 広告システムおよび情報処理方法
JP2020030769A (ja) * 2018-08-24 2020-02-27 トヨタ自動車株式会社 情報処理装置、情報処理方法およびプログラム
JP7103060B2 (ja) 2018-08-24 2022-07-20 トヨタ自動車株式会社 情報処理装置

Also Published As

Publication number Publication date
US20170300971A1 (en) 2017-10-19
JP6243956B2 (ja) 2017-12-06

Similar Documents

Publication Publication Date Title
JP6243956B2 (ja) 情報処理システム、情報処理装置及び情報処理方法
US10152641B2 (en) Artificial intelligence based vehicle dashboard analysis
US10255804B2 (en) Method for generating a digital record and roadside unit of a road toll system implementing the method
KR20200040665A (ko) 컨볼루션 신경망을 이용하여 poi 변화를 검출하기 위한 시스템 및 방법
US20150227965A1 (en) Method and system for evaluting signage
EP3671623B1 (en) Method, apparatus, and computer program product for generating an overhead view of an environment from a perspective image
US20230186517A1 (en) Method, apparatus, and computer program product for displaying virtual graphical data based on digital signatures
US20150317687A1 (en) System and method for analytics-based advertising
JP2019139316A (ja) 識別システム、識別装置、識別方法及び識別プログラム
JP2017162374A (ja) 情報表示効果測定システムおよび情報表示効果測定方法
KR20220141343A (ko) 자율주행 자동차용 고정밀 지도 메타데이터
WO2020183345A1 (en) A monitoring and recording system
US11468591B2 (en) Scene attribute annotation of complex road typographies
JP6776440B2 (ja) 動力車両を運転する際に動力車両のドライバーを支援する方法、ドライバー支援システム及び動力車両
DE102018118950A1 (de) Informationsübermittlungsvorrichtung, informationsübermittlungsverfahren und aufzeichnungsmedium
US11408747B2 (en) In-vehicle apparatus and information presentation method
WO2020023358A1 (en) Verifying map data using challenge questions
JP2020024514A (ja) 情報処理装置および情報処理方法
CN110836674A (zh) 路线导航中路口提示的方法、装置、机器设备和存储介质
KR101015236B1 (ko) 차량 기반 멀티 센서를 이용한 측량 시스템 및 그 운용 방법
US20200065856A1 (en) Information processing apparatus, information processing method, and non-transitory storage medium
JP6953015B2 (ja) サイネージシステム
JP6738513B2 (ja) 舗装の維持修繕計画策定支援装置及び支援方法
KR200459282Y1 (ko) 광고 효과 측정이 가능한 광고장치의 배치구조
WO2019117048A1 (ja) 車載装置、情報提供システム、情報提示方法

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170927

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20171006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171110

R150 Certificate of patent or registration of utility model

Ref document number: 6243956

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250