JP2022003548A - 認識システム及びそのプログラム - Google Patents

Abstract

【課題】移動中の人又は車両の種類を特定すると共に人又は車両の内容を分析する認識システム及びそのプログラムを提供する。【解決手段】 設置物認識装置１が、道路に沿って撮影された風景の画像データから、指定された道路（経路）について、移動中の特定の人又は車両を探索する指示が入力されると、当該人又は車両の画像データを探索し、当該人又は車両があるか否かを判定し、当該人又は車両がある場合に、種類を判別して内容を分析し、人又は車両の特性を把握して地図上に種類等に応じたアイコンを表示する認識システム及びそのプログラムである。【選択図】 図１

Description

本発明は、移動中の人又は車両を認識するシステムに係り、特に、人又は車両の種類を特定すると共に人又は車両の内容を分析できる認識システム及びそのプログラムに関する。

［従来の技術］
従来、カメラで撮影した画像から物体を認識するシステムがあった。
画像認識の技術は、予め検出対象の画像のパターンをシステムの画像処理装置で認識させ、当該画像パターンとカメラで撮影した画像との相関を測定して、相関の高い撮影画像を検出対象の画像と判定するものがある。

［関連技術］
尚、関連する先行技術文献として、特開２０１８−１６３６５４号公報「電気通信イベントリ管理のためのシステムおよび方法」（特許文献１）、特許第５４６２６０９号公報「停止線認識装置」（特許文献２）、特許第６４１１９３３号公報「車両状態判定装置」（特許文献３）がある。

特許文献１には、ストリートビュー画像とＧＰＳ（Global Positioning System）の位置情報を取得し、対象画像をディープラーニングでモデル学習させ、対象物を認識することが記載されている。
特許文献２には、車載のカメラが赤信号を認識したときに、路上の停止線を認識する装置が記載されている。
特許文献３には、地図情報から道路の車線数を認識し、道路上の路側帯に停車する車両を判定する装置が記載されている。

特開２０１８−１６３６５４号公報 特許第５４６２６０９号公報 特許第６４１１９３３号公報

しかしながら、上記従来のシステムでは、カメラで撮影した画像から物体を認識するものの、その対象物の種類及び内容を分析するものではなく、対象物の特性を容易に把握できるものとはなっていないという問題点があった。

尚、特許文献１〜３には、設置物の内容を認識し、その特性を把握することについての記載がない。

本発明は上記実状に鑑みて為されたもので、移動中の人又は車両の種類を特定すると共に人又は車両の内容を分析する認識システム及びそのプログラムを提供することを目的とする。

（認識システム）
上記従来例の問題点を解決するための本発明は、経路に沿って撮影された風景の画像データから移動中の特定の人又は車両を探索する認識装置を備える認識システムであって、認識装置が、地図情報における経路が指定され、特定の人又は車両を探索する指示が与えられると、経路に沿って特定の人又は車両の画像データが風景の画像データに存在するか否かを判定し、特定の人又は車両の画像データが存在する場合には、特定の人又は車両の種類を判別し、位置情報と共に特定の人又は車両の種類を記憶することを特徴とする。

（サイズを判別）
本発明は、上記認識システムにおいて、認識装置が、特定の人又は車両の画像データが存在する場合には、特定の人又は車両のサイズを判別し、位置情報と共に特定の人又は車両のサイズを記憶することを特徴とする。

（アイコン表示）
本発明は、上記認識システムにおいて、認識装置が、表示部に表示した地図上に特定の人又は車両の種類及びサイズに応じたアイコンを位置情報に応じて表示することを特徴とする。

（３Ｄ画像表示）
本発明は、上記認識システムにおいて、認識装置が、表示部に表示した地図上に特定の設置物の種類及びサイズに応じた３次元画像を位置情報に応じて表示することを特徴とする。

（機械学習の利用）
本発明は、上記認識システムにおいて、認識装置が、特定の人又は車両の画像データが風景の画像データに存在すると判定した場合は、当該風景の画像データにおける画像データ部分を記憶して機械学習させ、判定処理に利用することを特徴とする。

（位置情報を取得する撮影装置での画像データ）
本発明は、上記認識システムにおいて、設置物の画像データが、位置情報を取得する撮影装置で撮影されたものであることを特徴とする。

（認識プログラム）
本発明は、経路に沿って撮影された風景の画像データから移動中の特定の人又は車両を探索する認識装置で動作するプログラムであって、認識装置を、地図情報における経路が指定され、特定の人又は車両を探索する指示が与えられると、経路に沿って特定の人又は車両の画像データが風景の画像データに存在するか否かを判定させ、特定の人又は車両の画像データが存在する場合には、特定の人又は車両の種類を判別させ、位置情報と共に特定の人又は車両の種類を記憶させるよう機能させることを特徴とする。

（サイズ判別のプログラム）
本発明は、上記プログラムにおいて、認識装置を、特定の人又は車両の画像データが存在する場合には、特定の人又は車両のサイズを判別させ、位置情報と共に特定の人又は車両のサイズを記憶させるよう機能させることを特徴とする。

（アイコン表示のプログラム）
本発明は、上記プログラムにおいて、認識装置を、表示部に表示した地図上に特定の人又は車両の種類及びサイズに応じたアイコンを位置情報に応じて表示させるよう機能させることを特徴とする。

（３Ｄ画像表示のプログラム）
本発明は、上記プログラムにおいて、認識装置を、表示部に表示した地図上に特定の人又は車両の種類及びサイズに応じた３次元画像を位置情報に応じて表示させるよう機能させることを特徴とする。

（機械学習利用のプログラム）
本発明は、上記プログラムにおいて、認識装置を、特定の人又は車両の画像データが風景の画像データに存在すると判定した場合は、当該風景の画像データにおける画像データ部分を記憶して機械学習させ、判定処理に利用させるよう機能させることを特徴とする。

（位置情報を取得する撮影装置での画像データ）
本発明は、上記プログラムにおいて、人又は車両の画像データが、位置情報を取得する撮影装置で撮影されたものであることを特徴とする。

本発明によれば、認識装置が、地図情報における経路が指定され、特定の人又は車両を探索する指示が与えられると、経路に沿って特定の人又は車両の画像データが風景の画像データに存在するか否かを判定し、特定の人又は車両の画像データが存在する場合には、特定の人又は車両の種類を判別し、位置情報と共に特定の人又は車両の種類を記憶する認識システムとしているので、風景の画像から人又は車両の特性を容易に把握でき、マーケティング戦略に活用できる効果がある。

本システムの概略図である。 本システムにおける設置物の表示例を示す図である。 本システムにおける設置物探索処理のフロー図である。 本システムにおけるアイコン表示処理のフロー図である。

本発明の実施の形態について図面を参照しながら説明する。
［実施の形態の概要］
本発明の実施の形態に係る設置物認識システム（本システム）は、道路に沿って撮影された風景の画像データから、指定された道路（経路）について、特定の設置物を探索する指示が入力されると、当該設置物の画像データを探索し、当該設置物があるか否かを判定し、当該設置物がある場合に、種類を判別して内容を分析し、設置物の特性を把握して地図上に種類等に応じたアイコンを表示するものであり、設置物の特性をアイコンで地図上に表示して容易に設置物の特性を把握できるので、マーケティング戦略に活用できるものである。

また、本システムは、ＧＰＳ機能を有する撮影装置で位置情報と共に撮影された画像データから特定の設置物を検出し、設置物の種類と特性を分析し、２次元の地図上に設置物のアイコンを表示するか、３次元の地図上に設置物の３Ｄ画像データを表示するものであり、設置物の配置特性を容易に認識でき、マーケティング戦略に利用できるものである。

［本システム：図１］
本システムについて図１を参照しながら説明する。図１は、本システムの概略図である。
本システムは、図１に示すように、設置物認識装置１と、画像データベース（ＤＢ）２と、地図データベース（ＤＢ）３と、ネットワーク４と、設置物データベース（ＤＢ）５とを備えている。

画像ＤＢ２は、座標データに対応した、道路に沿って撮影された風景の画像データを記憶する記憶部である。
地図ＤＢ３は、座標データに対応した地図情報（地図データ）を記憶する記憶部である。
尚、画像ＤＢ２と地図ＤＢ３が一体になっている構成でもよい。

ネットワーク４は、設置物認識装置１と、画像ＤＢ２と、地図ＤＢ３と、設置物ＤＢ５とを接続するもので、インターネットを想定している。
設置物ＤＢ５は、後述する探索した設置物の画像データと関連情報（設置物の種類、サイズ等）を設置物の情報として位置情報に対応付けて記憶する記憶部である。

設置物認識装置１は、コンピュータの処理装置であり、制御部１１と、記憶部１２と、インタフェース部１３と、表示部１４と、入力部１５とを備えている。
制御部１１は、記憶部１２に記憶された処理プログラムを動作させ、後述する処理を実行する。
記憶部１２は、処理プログラム、その他必要なデータを記憶する。
インタフェース部１３は、ネットワーク４、表示部１４、入力部１５に接続する。
表示部１４は、処理結果等を表示する。
入力部１５は、処理を行うための指示等を入力する。

［処理内容］
設置物認識装置１における処理内容について説明する。
制御部１１は、記憶部１２から処理プログラムを読み込み、入力部１５からの指示により該当する地域の地図データを地図ＤＢ３から表示部１４に表示させる。
表示された地図データについて探索対象の道路が指定され、探索対象の設置物（例えば、清涼飲料水の自動販売機等）が設定されると、制御部１１は、当該道路に対応する風景画像データを画像ＤＢ２から読み込み、探索対象の設置物があるか否かを判定する。
地図データにおける道路の指定は、座標データを特定することにより行われるので、画像ＤＢ２でもその座標データを基に対応する風景画像データが特定されることになる。

次に、制御部１１が、判定の結果、探索対象の設置物がある場合には、その設置物の種類（飲料メーカー）と設置物のサイズ（大中小）を分析し、更に画像認識の精度を上げることができれば、設置物の画像パターンから取り扱い商品を認識して分析することができる。

尚、上記の処理では、探索経路を地図上で指定して、その経路に沿って設置物の探索を行ったが、地図上でエリアを指定し、当該エリア内の道路に沿って設けられた設置物を網羅的に探索するようにしてもよい。
この場合、具体的には、指定されたエリア内で、例えば、横方向に座標データをライン上にスキャンしながら該当する設置物の画像が存在するか否か探索を行うものである。

［設置物の表示：図２］
次に、探索した設置物について画面表示について図２を参照しながら説明する。図２は、本システムにおける設置物の表示例を示す図である。
設置物認識装置１の制御部１１は、図２に示すように、地図データ上に探索した設置物のアイコンを表示する。アイコンは、種類別に色分けし、設置物のサイズに応じて大きさを調整するようにしてもよい。
図２では、アイコン内のＡ，Ｂ，Ｃの文字は、飲料メーカーの社名又は略称を示しており、アイコンの大きさは、自動販売機の大きさの違いを示している。アイコンを識別し易くするために、色分けして表示してもよい。

探索対象の設置物の判定には、ＡＩ（人工知能：Artificial Intelligence）を用いて、予めサンプルとなる設置物の画像データを大量に読み込ませて学習させ、認識精度を向上させるようにする。

［設置物の探索処理：図３］
次に、本システムにおける設置物の探索処理について図３を参照しながら説明する。図３は、本システムにおける設置物探索処理のフロー図である。
設置物認識装置１の制御部１１が記憶部１２から処理プログラムを読み込み、実行すると設置物探索処理が開始される。

まず、設置物認識装置１の入力部１５から探索対象の設置物の指定が為される（Ｓ１１）。具体的には、「清涼飲料水の自動販売機」等の指定が為される。設置物認識装置１の記憶部１２には、清涼飲料水の自動販売機の複数の画像が探索対象用として予め記憶されており、それら画像と経路上の画像とのマッチングを行い、同一又は類似する画像を抽出することになる。

次に、設置物認識装置１は、地図ＤＢ３から探索対象の地図情報を読み込み、表示部１４に表示し、表示した地図上で入力部１５から探索の経路が指定される（Ｓ１２）。
制御部１１は、探索位置を地図上の経路に沿って進行させて（Ｓ１３）、進行させた座標データから該当する画像データを画像ＤＢ２から読み込み、経路上の設置物の画像認識処理を実行する（Ｓ１４）。

経路上の設置物の画像認識処理は、記憶部１２に予め記憶された探索対象用の設置物の画像と同一又は類似の画像が、座標データに対応した画像に含まれているか否かを判定する。この判定処理をＡＩの学習モデルを用いて行うようにしてもよい。
具体的には、探索して設置物の画像データとして設置物ＤＢ５に記憶させたデータを教師データとして深層学習させ、設置物判定のＡＩの学習モデルを生成する。その後、学習済み学習モデルを用いて判定処理を行えば、判別の精度を向上させることができる。

そして、画像認識処理により、該当する設置物があるかどうかを判定し（Ｓ１５）、該当する設置物があれば（Ｙｅｓの場合）、該当する設置物の画像データを設置物ＤＢ５に位置情報（座標データ）と関連付けて記憶し、更に、設置物の種類とサイズを特定し、座標データに関連付けて設置物の情報として設置物ＤＢ５に記憶する（Ｓ１６）。
設置物の種類とは、清涼飲料のメーカーであり、画像認識の技術の精度が向上すれば画像のパターン認識によって販売表示されている商品の種類が含まれる。
また、設置物のサイズとは、自動販売機の大きさである。

そして、指定された経路を終了したか否かを制御部１１が判定し（Ｓ１７）、終了した場合（Ｙｅｓの場合）、処理を終了する。
指定された経路を終了していない場合（Ｎｏの場合）、処理Ｓ１３に戻る。
また、判定処理Ｓ１５で、該当する設置物がない場合（Ｎｏの場合）、処理S１６を行わず処理Ｓ１７に移行する。

［アイコン表示処理：図４］
次に、設置物の探索処理を行った結果、地図上に対応アイコンを表示する処理について図４を参照しながら説明する。図４は、本システムにおけるアイコン表示処理のフロー図である。
設置物認識装置１の制御部１１が記憶部１２から処理プログラムを読み込み、実行すると、処理を開始し、記憶部１２に記憶されている取得した設置物の情報を読み出して分類処理を行う（Ｓ２１）。

記憶部１２には、設置物の情報に対応してアイコンが作成されて記憶されている。
設置物の情報は、設置物の種類とサイズであるので、制御部１１が該当（対応）するアイコンを記憶部１２から選択する（Ｓ２２）。

そして、制御部１１は、表示部１４に表示した地図上に選択（分類）した設置物のアイコンを位置情報に基づいて表示する（Ｓ２３）。表示例は、図２に示した通りである。

更に、制御部１１は、全ての設置物を地図上に表示したか否かを判定し（Ｓ２４）、全ての設置物を表示したなら（Ｙｅｓの場合）、処理を終了し、全ての設置物を表示していない場合（Ｎｏの場合）、処理Ｓ２１に戻り、読み出していない設置物の情報を読み出して分類処理を行う。

［応用］
設置物が「自動販売機」の例を示したが、設置物が「自動車」であってもよい。その場合、車の形状（セダン、クーペ、トラック等）、製造会社、車種等を分析する。
また、設置物が「店舗」の場合、店舗の種類（コンビニ、飲食店、スーパーマーケット、スポーツジム等）、店舗の規模、駐車場の広さ等を分析する。店舗の分析は、出店戦略に利用できる。

また、選挙期間を指定して選挙ポスターを分析することもでき、期間を指定しない場合には、常時貼ってあるポスターについて識別し、支持者の分布を分析してもよい。
更に、単に店舗だけを認識するのではなく、当該店舗の周辺の情報（人、車、自転車、バイク、バス停、駐車場、自動販売機等）も総合的に分析して、出店戦略に利用できる。
また、道路を人が歩く順にルート設定し、当該ルートに従って店舗画像を認識して分析し、その結果により出店計画を作成するようにしてもよい。

また、観光地における路上設置物の把握にも応用できる。
例えば、レンタサイクルなどの設置を行う場合に、設置スペースの有無、競合設置物の有無などを探索することで、レンタサイクルなどの設置戦略に活用できる。
また、主要観光施設までの道案内を探索することで、道案内の看板が適切に設置されているかどうかを把握でき、観光地の整備に利用できる。

［画像データの収集］
本システムにおいて、画像データの収集について具体的に説明する。
画像データは、ＧＰＳ機能付きの撮影装置で撮影されるもので、当該撮影装置を車両に搭載して道路沿いを撮影する。
撮影装置は、ＧＰＳ機能を有し、ＧＰＳ受信信号に基づいて位置情報と時刻情報を定期的に取得し、動画像データ又は特定間隔で撮影された静止画（写真）データを取得する。
位置情報をＧＰＳ受信信号から取得しているが、その他の通信手段で位置情報を取得するようにしてもよい。

撮影装置としては、ＧＰＳ機能を有するスマートフォン、タブレット、ドライブレコーダ等が想定される。
撮影装置は、更に図１のネットワーク４に接続機能を備え、撮影された画像データを、ネットワーク４を介して画像ＤＢ２に送信し、時刻情報、位置情報と共に画像データが画像ＤＢ２に記憶される。
そして、設置物認識装置１における図３に示す設置物の探索処理を実行する。

［設置物の認識］
設置物の画像認識は、設置物の静止画の画像データをＡＩに教師データとして機械学習させ、静止画の画像データ又は動画の画像データから学習済みＡＩモデルを用いて行う。
車から撮影される画像データは、設置物の遠くの小さい形状から近くの大きな形状に変化するので、その一連の形状変化をＡＩに学習させて、設置物を認識するようにしてもよい。

［設置物の表示］
図２では、設置物を種類別、色別、サイズ別にアイコン表示した例を示したが、設置物を認識した画像データから３次元（３Ｄ：three dimensions）の画像を生成し、当該３Ｄ画像を用いて地図上に表示するようにしてもよい。この場合、設置物の３Ｄ画像に合わせて、地図は３Ｄの簡易マップとするものである。
３Ｄ画像は、奥行きを持っているので、撮影した車からの距離を測定することができる。従って、撮影した撮影装置の位置情報から設置物までの距離、方向によって、設置物のより正確な位置を算出することができる。

［各設置物のレイヤー管理］
対象となる設置物について複数の種類、例えば、自動販売機、ガソリンスタンド、ファーストフード店等を別々に探索し、それぞれの集合（レイヤー）で設置物ＤＢ５に記憶しておき、レイヤーを任意に１つ又は複数選択して地図上にアイコン又は３Ｄ画像を表示するようにしてもよい。
これにより、様々な設置物を選択的に地図上に表示することができ、また、複数種類の設置物を組み合わせて地図上に表示することができる。この機能により、自動販売機や店舗の設置する場合などのマーケティングに利用できる。

［設置物以外の認識］
これまで、設置物を認識することを示したが、設置物ではなく、移動中の人、自転車、車両等のパターンを認識するようにし、人の流れ、車の流れを把握するようにしてもよい。
これにより、人の流れから人の集まり易い場所が分かり、マーケティングに活用することができる。また、車の流れから交通渋滞等を認識し、渋滞緩和に利用することができる。

［実施の形態の効果］
本システムによれば、設置物認識装置１が、道路に沿って撮影された風景の画像データから、指定された道路（経路）について、特定の設置物を探索する指示が入力されると、当該設置物の画像データを探索し、当該設置物があるか否かを判定し、当該設置物がある場合に、種類を判別して内容を分析し、設置物の特性を把握して地図上に種類等に応じたアイコンを表示するようにしているので、設置物の特性をアイコンで地図上に表示できるので、マーケティング戦略に活用できる効果がある。

また、本システムによれば、ＧＰＳ機能を有する撮影装置で位置情報と共に撮影された画像データから特定の設置物を探索し、設置物の種類と特性を分析し、２次元の地図上に設置物のアイコンを表示し、若しくは、３次元の地図上に設置物の３Ｄ画像を表示するものであり、設置物の配置特性を容易に認識でき、マーケティング戦略に利用できる効果がある。

本発明は、移動中の人又は車両の種類を特定すると共に人又は車両の内容を分析する認識システム及びそのプログラムに好適である。

１…設置物認識装置、 ２…画像データベース（画像ＤＢ）、 ３…地図データベース（地図ＤＢ）、 ４…ネットワーク、 １１…制御部、 １２…記憶部、 １３…インタフェース部、 １４…表示部、 １５…入力部

Claims (12)

1. 経路に沿って撮影された風景の画像データから移動中の特定の人又は車両を探索する認識装置を備える認識システムであって、
   前記認識装置は、地図情報における経路が指定され、前記特定の人又は車両を探索する指示が与えられると、前記経路に沿って前記特定の人又は車両の画像データが前記風景の画像データに存在するか否かを判定し、前記特定の人又は車両の画像データが存在する場合には、前記特定の人又は車両の種類を判別し、位置情報と共に前記特定の人又は車両の種類を記憶することを特徴とする認識システム。
2. 認識装置は、特定の人又は車両の画像データが存在する場合には、前記特定の人又は車両のサイズを判別し、位置情報と共に前記特定の人又は車両のサイズを記憶することを特徴とする請求項１記載の認識システム。
3. 認識装置は、表示部に表示した地図上に特定の人又は車両の種類及びサイズに応じたアイコンを位置情報に応じて表示することを特徴とする請求項２記載の認識システム。
4. 認識装置は、表示部に表示した地図上に特定の人又は車両の種類及びサイズに応じた３次元画像を位置情報に応じて表示することを特徴とする請求項２記載の認識システム。
5. 認識装置は、特定の人又は車両の画像データが風景の画像データに存在すると判定した場合は、当該風景の画像データにおける画像データ部分を記憶して機械学習させ、前記判定処理に利用することを特徴とする請求項１乃至４のいずれか記載の認識システム。
6. 人又は車両の画像データは、位置情報を取得する撮影装置で撮影されたものであることを特徴とする請求項１乃至５のいずれか記載の認識システム。
7. 経路に沿って撮影された風景の画像データから移動中の特定の人又は車両を探索する認識装置で動作するプログラムであって、
   前記認識装置を、地図情報における経路が指定され、前記特定の人又は車両を探索する指示が与えられると、前記経路に沿って前記特定の人又は車両の画像データが前記風景の画像データに存在するか否かを判定させ、前記特定の人又は車両の画像データが存在する場合には、前記特定の人又は車両の種類を判別させ、位置情報と共に前記特定の人又は車両の種類を記憶させるよう機能させることを特徴とするプログラム。
8. 認識装置を、特定の人又は車両の画像データが存在する場合には、前記特定の人又は車両のサイズを判別させ、位置情報と共に前記特定の人又は車両のサイズを記憶させるよう機能させることを特徴とする請求項７記載のプログラム。
9. 認識装置を、表示部に表示した地図上に特定の人又は車両の種類及びサイズに応じたアイコンを位置情報に応じて表示させるよう機能させることを特徴とする請求項８記載のプログラム。
10. 認識装置を、表示部に表示した地図上に特定の人又は車両の種類及びサイズに応じた３次元画像を位置情報に応じて表示させるよう機能させることを特徴とする請求項８記載のプログラム。
11. 認識装置を、特定の人又は車両の画像データが風景の画像データに存在すると判定した場合は、当該風景の画像データにおける画像データ部分を記憶して機械学習させ、前記判定処理に利用させるよう機能させることを特徴とする請求項７乃至１０のいずれか記載のプログラム。
12. 人又は車両の画像データは、位置情報を取得する撮影装置で撮影されたものであることを特徴とする請求項７乃至１１のいずれか記載のプログラム。

Images