JP2019211921A - 物体認識システムおよび物体認識方法 - Google Patents

Abstract

【課題】動画中の第１対象物に付随する第２対象物を、システムの動作負担を抑えながら精度良く認識することが容易となる物体認識システムを提供する。【解決手段】動画から第１対象物を物体認識する動画物体認識部と、前記動画から第１対象物を含む複数のフレームの静止画を抜き出す静止画抜出部と、前記静止画から第１対象物に付随する第２対象物を物体認識する静止画物体認識部と、を備えたことを特徴とする物体認識システムとする。【選択図】図６

Description

本発明は、物体認識等の処理を行う物体認識システムおよび物体認識方法に関する。

従来、画像から対象物を認識する物体認識の手法が提案されている。物体認識の手法は主に撮影画像を取扱うシステムにおいて好適に利用することができ、各種処理の自動化や効率化に役立てることが可能である。

一例として特許文献１によれば、車両周辺の物標を検出し、検出された物標に基づいて物体を認識する物体認識装置が開示されている。また特許文献２によれば、車両に設けられた撮像装置によって撮像された画像から認識対象物の形状が存在する対象領域を抽出し、当該画像の領域全体のうち抽出された対象領域に対して選択的に認識対象物の認識処理を実行する物体認識装置が開示されている。

物体認識を行うための具体的手段としては、動画からの物体認識に好適であるＹＯＬＯや、静止画からの物体認識に好適であるＴＥＮＳＯＲＦＬＯＷ（登録商標、以下同様）等が開発されている。これらの手段には人工知能［ＡＩ：Artificial Intelligence］の技術が応用され、機械学習によって物体認識の精度を向上させることが可能である。また機械学習においては、高度な深層学習（ディープラーニング）が採用される傾向にあり、物体認識の精度や速度が向上してきている。

特開２０１８−０４１３９６号公報 特開２０１７−１３０１５５号公報

ところで、動画中のある対象物（第１対象物）に付随する別の対象物（第２対象物）の物体認識を行う場合に、第２対象物を動画から直接的に精度良く認識することが容易ではないケースがある。なお本願における「対象物」は、機械学習や物体認識等でのアノテーションデータに相当する概念である。例えば、車両（第１対象物の一例）を監視するカメラの撮影動画からそのナンバープレートに表されたナンバー（第２対象物の一例）を認識しようとする場合、ナンバーを認識するためには車両の物体認識に比べて精密な認識処理が要求される。そのため動画から直接的にナンバーを認識しようとすると、認識精度の低下等を生じる虞がある。

この問題を解消させるため、動画から静止画を抜き出しておき、抜き出した静止画からの物体認識によってナンバーを認識する手法が考えられる。しかしながら、例えば動画から各フレームの静止画を一律に抜き出すようにすると、車両が含まれない不要な静止画も抜き出しの対象となり、システムの動作負担が過大となる虞がある。また、抜き出す静止画にこのような不要な静止画が多く含まれると、物体認識の速度や精度が低下する虞もある。

本発明は上述した問題点に鑑み、動画中の第１対象物に付随する第２対象物を、システムの動作負担を抑えながら精度良く認識することが容易となる物体認識システム、および物体認識方法の提供を目的とする。

本発明に係る物体認識システムは、動画から第１対象物を物体認識する動画物体認識部と、前記動画から第１対象物を含む複数のフレームの静止画を抜き出す静止画抜出部と、前記静止画から第１対象物に付随する第２対象物を物体認識する静止画物体認識部と、を備えた構成とする。本構成によれば、動画中の第１対象物に付随する第２対象物を、システムの動作負担を抑えながら精度良く認識することが容易となる。なおここでの「付随する」とは、第１対象物に第２対象物が含まれる形態に限られず、動画中に表れる時期が密接に関連する他の形態も含まれる。

また上記構成としてより具体的には、前記抜き出された各静止画のうち、第１対象物および第２対象物の少なくとも一方の露出度の高さに関する所定条件を満たすものを抽出する抽出部を備え、前記静止画物体認識部は、前記抽出された静止画から、第１対象物に含まれる第２対象物を認識する構成としてもよい。本構成によれば、第１対象物に含まれる第２対象物を、静止画からより効率良く認識することが可能となる。

また上記構成としてより具体的には、前記抜き出された各静止画のうち、第２対象物である特定対象物の露出度が最も高いものを抽出する第１処理と、抽出された前記静止画から第２対象物内の表示情報の認識を行う第２処理と、当該認識が成功するまで、前記各静止画のうち前記特定対象物の露出度がその次に高いものを抽出して第２処理を繰返し行う第３処理と、を実行する構成としてもよい。なおここでの「表示情報」とは、文字、図形、記号、或いはこれらの組合わせであって、例えば本願でのナンバー（自動車登録番号）等が該当し得る。

また上記構成としてより具体的には、前記繰返しの回数が所定回数に達しても第２処理における前記認識が成功しない場合に、前記特定対象物を第１対象物として第１処理から第３処理を実行する構成としてもよい。

また上記構成としてより具体的には、前記静止画抜出部は、前記動画における第１対象物の露出度に応じて、前記抜き出す静止画の解像度および前記静止画を抜き出す時間間隔の少なくとも一方を調節する構成としてもよい。

本構成によれば、システムの負担を極力抑えながら、重要度の高い静止画を効率良く抜き出すことが可能となる。また上記構成としてより具体的には、抜き出された複数の前記静止画の中で第２対象物の露出度が最も大きいものに対し、深層学習に適した補正処理を施す構成としてもよい。

また上記構成としてより具体的には、前記動画はカメラを用いて撮影された映像であって、前記カメラと第１対象物の距離を検知する距離検知部を備え、前記静止画抜出部は、前記距離が所定値以下となったときに、前記静止画の抜き出しを開始する構成としてもよい。本構成によれば、第１対象物の映りが小さい不明瞭な静止画の抜き出しを極力抑えることが可能となる。

また上記構成としてより具体的には、第１対象物の向きを検知する方向検知部を備え、前記静止画抜出部は、前記向きが所定条件を満たしたときに、前記静止画の抜き出しを開始する構成としてもよい。本構成によれば、第１対象物の向きに問題がある静止画の抜き出しを極力抑えることが可能である。

また上記構成としてより具体的には、第１対象物の情報と第２対象物の情報を関連させて保持する構成としてもよい。本構成によれば、第１対象物と第２対象物を一括して管理することが可能となる。また更に上記構成において、前記動画物体認識部と前記静止画物体認識部において、異なる物体認識の手法を用いる構成としてもよい。本構成によれば、動画からの物体認識と静止画からの物体認識のそれぞれに最適な手法を用い、物体認識を効率良く行うことが可能となる。

また本発明に係る物体認識方法は、動画から第１対象物を物体認識する動画物体認識工程と、前記動画から第１対象物を含む静止画を抜き出す静止画抜出工程と、前記静止画から第１対象物に付随する第２対象物を物体認識する静止画物体認識工程と、を含む方法とする。

本発明に係る物体認識システムおよび物体認識方法によれば、動画中の第１対象物に付随する第２対象物を、システムの動作負担を抑えながら精度良く認識することが容易となる。

本実施形態に係る車両管理システム１の構成に関するブロック図である。 敷地内においてスマートフォン１１が設置された様子の説明図である。 情報処理装置１４の機能的構成に関するブロック図である。 スマートフォン１１の映像に関する説明図である。 ご当地ナンバープレートに関する説明図である。 前段処理の流れに関するフローチャートである。 車両の動きに伴って距離Ｄが変化する様子の説明図である。 動画からの静止画の抜出しに関するタイミングチャートである。 後段処理の流れに関するフローチャートである。 チェック結果等の情報に関する説明図である。

本発明の実施形態に係る車両管理システム（本発明に係る物体認識システムの一形態）について、各図面を参照しながら以下に説明する。

１．車両管理システムの構成
図１は、本実施形態に係る車両管理システム１の概略構成を示すブロック図である。本図に示すように車両管理システム１は、進入路前側撮影用スマートフォン１１ａ、進入路後側撮影用スマートフォン１１ｂ、退出路前側撮影用スマートフォン１１ｃ、退出路後側撮影用スマートフォン１１ｄ、通信ネットワーク１２、エッジサーバー１３、情報処理装置１４、および管理サーバー１５を備えている。なお以下の説明では、上記の各スマートフォン１１ａ〜１１ｄを「スマートフォン１１」と総称することがある。また各図面においては、スマートフォン（SmartPhone）を「ＳＰ」と略記することがある。

本実施形態では一例として、スマートフォン１１は複数の敷地（図１に示す例では敷地１〜３）内それぞれに複数個が設置されている。本実施形態における「敷地」は、当該敷地を管理する事業者等（以下、「管理者」と称する）の許可を得た車両が出入りできる場所であり、例えば、管理者が所有する駐車場等が該当する。敷地に車両の出入口が複数箇所ある場合、全ての出入口の付近にスマートフォン１１を設置することにより、その敷地に進入或いは退出する車両を漏れなく監視することが可能である。なお、本実施形態における「車両」はナンバープレートを備えた自動車のことであり、「ナンバー」は当該ナンバープレートに表された自動車登録番号のことである。一般的にナンバープレートは、車両の前側と後側の両方に設けられている。

一方で、エッジサーバー１３、情報処理装置１４、および管理サーバー１５は、管理センターに纏めて設置されている。本実施形態における「管理センター」は、敷地に出入りする車両の管理が行われる場所であり、例えば、管理者が所有する建物内の一室が該当する。車両管理システム１は、各敷地に進入する車両を自動的に監視するとともに、一括して管理する役割を果たす。

管理サーバー１５は、各敷地に進入する車両等の管理に用いられるサーバーである。管理サーバー１５には、敷地内への進入を許可された全ての車両（以下、便宜的に「許可車両」と称する）のナンバーが、データベースとして登録されている。管理サーバー１５は、管理者等によって新たな許可車両のナンバーが入力される度に、この情報をデータベースに蓄積する。なお、管理サーバー１５は、インターネット網を介してデータセンタ上に設けられてもよい。

スマートフォン１１は、被写体を撮影して動画（映像）を得るカメラの機能を有するとともに、自機から被写体までの距離を測る機能（測距機能）を有する。この測距機能は、スマートフォン１１に複数のレンズを搭載した「ステレオカメラ」により実現される。測距機能は、ステレオカメラに替えて測距センサー等を設けることにより実現してもよい。また、進入路前側撮影用スマートフォン１１ａは敷地へ進入する車両の前側を撮影する役割を、進入路後側撮影用スマートフォン１１ｂは敷地へ進入する車両の後側を撮影する役割を、退出路前側撮影用スマートフォン１１ｃは敷地から退出する車両の前側を撮影する役割を、退出路後側撮影用スマートフォン１１ｄは敷地から退出する車両の後側を撮影する役割を、それぞれ担っている。なお、カメラ単体或いはその他のカメラを有した機器が、スマートフォン１１の代わりに適用されても良い。

図２は、敷地内においてスマートフォン１１が設置された様子を例示している。本図に示すように、スマートフォン１１は、敷地に進入および退出する車両の通行路が被写体となるように設置されている。これにより、車両が進入路（敷地へ進入するための通行路）および退出路（敷地から退出するための通行路）を通行する際、その車両の前側および後側の外観をスマートフォン１１の被写体に収めることが可能である。スマートフォン１１は、車両のナンバープレート（或いは、これに表されたナンバーの情報）、運転者、運転者が装着したシートベルト、車両の汚れや傷（凹み等含む）、および所定の装備品（以下、これらを「ナンバープレート等」と総称することがある）を被写体へ収めることができるように、適切な位置に設置されることが望ましい。なお、ここでの「装備品」は、例えば許可車両に装備が義務付けられたものであり、スマートフォン１１の被写体となり得るものである。

例えば図２に示すように、各スマートフォン１１は守衛室の近傍に設けられ、車両の全体を斜め上方から撮影できる位置（本図の例では支柱）に設置されることが望ましい。本図の例では、進入路前側撮影用スマートフォン１１ａおよび進入路後側撮影用スマートフォン１１ｂは、進入路のほぼ真上において後部同士が対向するように設置され、進入路前側撮影用スマートフォン１１ａは進入路を進む車両の前側全体を斜め上前方から撮影するように、進入路後側撮影用スマートフォン１１ｂは進入路を進む車両の後側全体を斜め上後方から撮影するように、それぞれ適切に配置されている。

一方、退出路前側撮影用スマートフォン１１ｃおよび退出路後側撮影用スマートフォン１１ｄは、退出路のほぼ真上において後部同士が対向するように設置され、退出路前側撮影用スマートフォン１１ｃは退出路を進む車両の前側全体を斜め上前方から撮影するように、退出路後側撮影用スマートフォン１１ｄは退出路を進む車両の後側全体を斜め上後方から撮影するように、それぞれ適切に配置されている。

このように、各スマートフォン１１は上方視において車両と重なる位置に配されることが望ましく、これによりスマートフォン１１により得られた画像データについて、車幅方向の各種補正の簡略化あるいは省略が可能となる。なお以下の説明では、同じ車両を前側と後側から撮影するスマートフォン１１の組合せ、すなわち、進入路前側撮影用スマートフォン１１ａとこれに対応する進入路後側撮影用スマートフォン１１ｂの組合せ、および、退出路前側撮影用スマートフォン１１ｃとこれに対応する退出路後側撮影用スマートフォン１１ｄの組合せそれぞれを、「一対のスマートフォン１１」と表現することがある。

例えば退出路前側撮影用スマートフォン１１ｃの映像には、図４に例示するように、車両Ｃ１の前側のナンバープレートが直接映るとともに、運転者と運転者が装着したシートベルトがフロントガラス越しに映ることになる。上記のナンバープレート等は、車両が映っている動画および静止画において、何れも当該車両に含まれているものであり、当該車両に付随しているものである。また、スマートフォン１１は測距機能を有しているため、被写体中の車両の位置が特定されれば、当該スマートフォン１１から当該車両までの距離Ｄの情報を得ることが可能である。この距離Ｄは、後述する距離検知部４３によって検知される。また、スマートフォン１１の温度上昇、低下や経年劣化を抑え、車両の側面をより正確に撮影するために、守衛室にスマートフォン１１を設けてもよい。進入車両を撮影するスマートフォン（１１ａ、１１ｂ）と、退出車両を撮影するスマートフォン（１１ｃ、１１ｄ）とから得られるデータを照合することにより、入退出の管理が可能になる。

通信ネットワーク１２は、各スマートフォン１１と情報処理装置１４の間の通信に用いられるネットワークである。通信ネットワーク１２の具体的形態としては、有線と無線の何れのネットワークが適用されても良い。また、通信ネットワーク１２にインターネット等を利用することも可能である。

エッジサーバー１３は、通信ネットワーク１２と情報処理装置１４の間に介在し、例えばディープラーニングを実行可能な環境やディープラーニングで使用される各種値（人工知能の学習済のハイパーパラメータ、モデルの構造情報となるハイパーパラメータ、学習データを学習させた際に与えられるウエイトデータ、強化学習モデルにおける報酬関数）を記憶している。エッジサーバー１３にはディープラーニングを実行できる環境のソフトウエア（Python,anaconda,jupyter,opencv,TENSORFLOW,YOLO等）がインストールされている。

情報処理装置１４は、エッジサーバー１３よりも高性能なサーバーにより構成され、動画および静止画からの物体認識の他、車両の監視および管理に関わるディープラーニングの新規学習（強化学習、追加学習）の関連処理等を実行する装置である。また情報処理装置１４は、動画に対する画像認識等の処理を行う動画処理エンジン１４ａと、静止画に対する画像認識等の処理を行う静止画処理エンジン１４ｂを有する。

動画処理エンジン１４ａは、ＹＯＬＯ（You Only Look Once）やＯＰＥＮ ＣＶ（Open Source Computer Vision Library）等のアルゴリズムが採用されており、リアルタイムで動画から物体認識を行う機能に優れている。動画処理エンジン１４ａは、機械学習により、外観（傾き、大きさ、向き）が異なる車両を何れも「車両」を正確かつ迅速に物体認識することが可能となっている。これにより、動画中の車両の認識漏れを極力抑えることが可能である。なお「機械学習」は、与えられた情報に基づいて反復的に学習を行うことにより、法則やルールを自律的に見つけ出す手法である。但し、動画処理エンジン１４ａの具体的構成は上記の例に限定されるものではなく、ＹＯＬＯ等の代わりに、動画からの物体認識に適した他の手段が採用されても良い。

一方で静止画処理エンジン１４ｂは、機械学習ライブラリであるＴＥＮＳＯＲＦＬＯＷが採用されており、静止画から素早く精度良く物体認識を行う機能に優れている。特にＴＥＮＳＯＲＦＬＯＷは、深層学習（ディープラーニング）が可能であるライブラリとなっており、多次元のデータ構造を円滑に処理することができる。なお「深層学習」は、多層構造のニューラルネットワーク（人間の脳神経系の仕組みを模した情報処理モデル）を用いた機械学習である。

静止画処理エンジン１４ｂによれば、車両を含む静止画からナンバープレート等を高精度に物体認識することが出来るとともに、当該ナンバープレートに表されたナンバーを認識することも可能である。但し、静止画処理エンジン１４ｂの具体的構成は上記の例に限定されるものではなく、ＴＥＮＳＯＲＦＬＯＷの代わりに、静止画からの物体認識に適した他の手段が採用されても良い。また、エッジサーバー１３と情報処理装置１４とを同じサーバーで実現してもよい。

ここで、情報処理装置１４の主な機能的構成のブロック図を図３に示す。本図に示すように情報処理装置１４は、制御部４０、通信部４１、動画物体認識部４２、距離検知部４３、速度検知部４４、静止画抜出部４５、露出度検出部４６、抽出部４７、画像処理部４８、静止画物体認識部４９、チェック実行部５０、および異常信号出力部５１を有する。

制御部４０は、情報処理装置１４が正常に動作するように、各機能部４１〜５１を適切に制御する。なお情報処理装置１４の主な動作については、改めて詳細に説明する。通信部４１は、各スマートフォン１１および管理サーバー１５を含む外部装置との通信を実行する。

動画物体認識部４２は、動画処理エンジン１４ａによる動画からの物体認識機能を用いて、動画から車両を物体認識する。なお、複数の車両が同時に表れている動画に対しては、動画物体認識部４２はこれらを別々に物体認識することが可能である。例えば一のスマートフォン１１の被写体に２台の車両が入ったときには、これら２台の車両を別々に物体認識することが可能であり、情報処理装置１４は、それぞれに着目した処理を並行して進めることが可能である。当該物体認識は、主に後述するステップＳ１０の処理において実施される。

距離検知部４３は、スマートフォン１１に設けられた測距機能を利用して、物体認識された車両とスマートフォン１１との距離Ｄ（図２を参照）を検知する。当該距離の検知は、主に後述するステップＳ１２の処理において実施される。

速度検知部４４は、物体認識された車両の速度を検知する。速度を検知する手法としては、スマートフォン１１の近傍に設置された速度センサーを利用する手法や、動画における車両の動きから速度を検知する手法等が採用され得る。当該速度の検知は、主に後述するステップＳ１１の処理において実施される。

静止画抜出部４５は、動画から複数の静止画（各フレームの画像、例えば０．１秒間隔に３０枚）を抜き出して、記憶領域に一時的に保持する。なお静止画抜出部４５は、動画から抜き出す静止画の解像度、および動画から静止画を抜き出す時間間隔を、適宜変更することが可能である。当該静止画の抜出しは、主に後述するステップＳ１３の処理において実施される。

露出度検出部４６は、動画の１フレーム（一の静止画に相当する）における物体認識された車両の露出度（以下、「第１露出度」と称する）を検出する。第１露出度は、動画の１フレームにおける車両の大きさ（面積）とフレームの大きさとの比率（フレームに対する露出割合）としてもよく、車両の大きさ自体としてもよい。また車両の大きさの情報としては、車両の輪郭内部の面積を採用しても良く、当該大きさの指標となる他の情報（例えば、図４に破線で示す矩形（四辺が車両に接する矩形）の内部の面積）を採用しても良い。その他、フレーム同士における車両の露出度の高さを比較可能とする別の値を、第１露出度とみなしても良い。第１露出度の検出は、主に後述するステップＳ１４の処理において実施される。さらに露出度検出部４６は、動画の１フレーム（一の静止画に相当する）における物体認識されたナンバープレートの露出度（以下、「第２露出度」と称する）を検出する。第２露出度は、動画の１フレームにおけるナンバープレートの大きさと車両の大きさとの比率（車両に対する露出割合）としても良く、ナンバープレートの大きさとフレームの大きさとの比率（フレームに対する露出割合）としても良く、ナンバープレートの大きさ自体としてもよい。また第１露出度の場合と同様に、フレーム同士におけるナンバープレートの露出度の高さを比較可能とする各種の値を、第２露出度とみなすことが可能である。第２露出度の検出は、主に後述するステップＳ２０の処理において実施される。

抽出部４７は、静止画抜出部４５によって抜き出された複数の静止画のうち、第１露出度および第２露出度の少なくとも一方に関する所定条件（以下、便宜的に「露出度条件」と称する）を満たすものを抽出する。露出度条件は、例えば、当該露出度の値が所定値以上であることとしても良く、当該露出度が最も高いこととしても良く、当該露出度の高い方から数えて所定数以内に該当することとしても良い。本実施形態に係る露出度条件の具体的内容については、改めて詳細に説明する。露出度が高いほど、静止画物体認識部４９によるナンバーの物体認識が行い易くなる可能性が高まるため、露出度条件を満たす静止画を用いれば当該物体認識をより有利に行うことが可能となる。その他、露出度条件の代わりに、静止画物体認識部４９による物体認識の行い易さに関する別の条件が設定されても良い。当該抽出は、主に後述するステップＳ２０の処理において実施される。

画像処理部４８は、静止画に対して閾値処理、エッジ処理（エッジ検出処理）、および傾き補正処理の各画像処理を順に実施する。なお画像処理部４８は、これらの画像処理のうち、何れか一つまたは二つのみを実施するようにしても良く、静止画からの物体認識をより有利にするための他の画像処理を更に実施するようにしても良い。当該画像処理は、主に後述するステップＳ２１の処理において実施される。なおこれらの画像処理は、深層学習に適した補正処理とみることも出来る。

ここで「閾値処理」は、画像を２値画像（シングルチャンネル画像）に変換する処理である。閾値処理によれば、例えば、白黒の２値画像に変換する場合には、チャンネル値が所定の閾値を超えた画素については白の画素に、チャンネル値が当該閾値を超えなかった画素については黒の画素に、それぞれ変換されることになる。閾値処理が施された画像は、画像中の明度の異なる部分を選ぶことが容易となる。

また「エッジ処理」は、画像中の明るさ（濃淡）あるいは色が急に変化している箇所（エッジ）を検出する処理である。画像中の物体の輪郭や線では、一般的に濃淡等が急激に変化しているため、エッジ処理によってこの輪郭や線を検出することが可能である。エッジは物体の構造を反映している重要な情報であり、静止画からの物体認識を実施する際にエッジ処理は極めて有用である。なおエッジ処理をより効果的に行うため、通常、予めその画像に閾値処理を実施しておくことは有用である。

エッジ処理を実施するためのアルゴリズムとしては、キャニー（Canny）エッジ検出器が採用されても良い。このアルゴリズムが採用された場合のエッジ処理（キャニー処理）によれば、他のアルゴリズム（ソーベルフィルタやラプラシアンフィルタ等）が採用された場合に比べ、輪郭の検出漏れや誤検出が少なく、各点に一本の輪郭を検出し、真にエッジである部分を検出し易いといった特徴がある。なおキャニー処理は、Gaussianフィルタで画像を平滑化し、この平滑化された画像の微分の計算結果から勾配の大きさと方向の計算して、Non maximum Suppression処理およびHysteresis Threshold処理を行うことにより達成される。

また「傾き補正処理」は、画像中に検出された直線等が水平方向（或いは垂直方向）から傾斜している場合に、この傾斜を解消させるように画像を回転させる処理である。例えば、画像中のナンバープレートの横方向に伸びる縁が水平方向に一致するように傾き補正処理を施すことにより、ナンバーの文字列が水平方向へ並ぶようにし、ナンバーの認識をより容易なものとすることが可能となる。なお画像中の直線等を検出容易とするため、通常、予めエッジ処理を実施しておくことは有用である。

静止画物体認識部４９は、静止画処理エンジン１４ｂによる静止画からの物体認識機能を用いて、静止画から車両のナンバープレート、ナンバー（ナンバープレートに表された情報）、運転者が装着したシートベルト、車両の汚れ・傷、および装備品を物体認識する。静止画からの物体認識は、車両のナンバーを認識する場合のように、静止画に表された表示情報を認識することも含む概念である。当該物体認識は、主に後述するステップＳ２２の処理において実施されるが、先述した第２露出度を検出するため、ナンバープレートについての物体認識はステップＳ２０の処理において実施される。なお上述したように本実施形態では、動画物体認識部４２と静止画物体認識部４９において、異なる物体認識の手法が用いられている。そのため、双方において同じ物体認識の手法が用いられる場合に比べ、動画からの物体認識と静止画からの物体認識のそれぞれに最適な手法を用い、物体認識を効率良く行うことが可能となっている。

なお、静止画物体認識部４９は、図柄の無い一般的なナンバープレートだけでなく、いわゆるご当地ナンバーが表されたナンバープレートからもナンバーを認識することが可能である。図５は、認識され得るナンバープレートのうち、ご当地ナンバーが表されたもの（ご当地ナンバープレート）の一例を示している。当該ナンバープレートには、車両を識別する数字や記号以外に図柄（ここでは波の図柄）が描写されている。静止画物体認識部４９は、このようなナンバープレートに対しても、プリミティブ形状判断によりナンバーとして登録される文字や記号だけを抽出し、それを車両の識別番号として利用することができる。そのため図５に示す例では、「墨田区 ｓ１２３４」のナンバーが抽出される。

チェック実行部５０は、物体認識されたナンバー等について予め決められた内容のチェックを実施する。当該チェックは、後述するステップＳ２４の処理で実施されるものであり、その内容については改めて詳細に説明する。

異常信号出力部５１は、チェック結果の異常を管理者等に知らせるための異常信号を出力する。この異常信号は、管理担当者等にチェック結果の異常を知らせるものであり、アラート音（聴覚信号）や警告ランプ（視覚信号）等とすることが可能である。当該異常信号の出力は、主に後述するステップＳ２６の処理において実施される。

２．車両管理システムの動作
次に、車両管理システム１の動作概要について説明する。まず車両管理システム１は、主に動画から静止画を抜出すための一連の処理（以下、便宜的に「前段処理」と称する）を実行する。以下、この前段処理の流れについて、図６に示すフローチャートを参照しながら説明する。

（１）前段処理
敷地内に設置された各スマートフォン１１は継続的に被写体の撮影を行い、その動画はリアルタイムに情報処理装置１４へ送られる。一方で情報処理装置１４は、この動画に対して車両の物体認識の処理を継続的に実施する。これにより、何れかのスマートフォン１１の被写体に車両が表れたとき、換言すれば、車両が敷地内に進入して被写体内の通行路を通過するときに、情報処理装置１４は当該車両を物体認識することができる（ステップＳ１０）。このようにして情報処理装置１４は、敷地内に進入する車両を監視する。

各スマートフォン１１における被写体の撮影モードは、天候、時間、および季節などの状況に応じて可変としてもよい。例えば、逆光や暗い場所の場合には、各スマートフォン１１におけるＨＤＲ（High Dynamic Range）の機能が自動的に有効となるようにしてもよい。これにより、そのときの状況に応じて極力鮮明な動画を取得することができる。

車両が物体認識されると（ステップＳ１０のＹｅｓ）、情報処理装置１４は、当該車両に対して以降の処理（ステップＳ１１〜Ｓ１８）を実施する。なお情報処理装置１４は、複数の車両が同時に物体認識された場合、すなわち、同じスマートフォン１１の被写体に同時に複数の車両が表れた場合や、複数のスマートフォン１１の被写体に同時に車両が表れた場合には、これらの車両が全て物体認識され、車両１台ごとに以降の処理が個別に行われる。

まず情報処理装置１４は、物体認識された車両の速度を検出する（ステップＳ１１）。この検出された車両速度の情報は、後述するステップＳ２４の処理により、管理サーバー１５に記録される。また更に情報処理装置１４は、当該車両とスマートフォン１１との距離Ｄが所定の閾値以下となるタイミングを監視する（ステップＳ１２）。

ここで図７は、車両の動きに伴って距離Ｄが変化する様子を例示している。本図に示すように、車両がスマートフォン１１に映り始めたときに比べ、車両がより大きく明瞭に映る位置まで進んだときには、距離Ｄは小さくなっている。なお距離に関する閾値は、車両が適度に大きく映ると見込まれるときの距離Ｄに合わせて設定されている。そのため情報処理装置１４は、ステップＳ１２の処理を行うことにより、車両が適度に大きく映り始めたタイミングを検知することが可能である。

距離Ｄが閾値以下となると（ステップＳ１２のＹｅｓ）、情報処理装置１４は、静止画抜出処理を開始する（ステップＳ１３）。以降、情報処理装置１４は、静止画抜出処理を終了するまで、動画から静止画を逐次抜き出すようにする。なお、距離Ｄが閾値以下となるまで静止画抜出処理の実施が保留されることにより、車両の映りが小さい不明瞭な静止画の抜き出しを極力抑えることが可能である。

なお、静止画抜出処理を開始する条件は、本実施形態のように距離Ｄが閾値以下になったときとする代わりに、例えば、車両の向きが所定条件を満たしたときとしても良い。このようにする場合、情報処理装置１４に車両の向きを検知する機能部（方向検知部）を設けておき、検知された方向が所定条件を満たしたときに静止画抜出処理が開始されるようにすれば良い。車両の向きは、動画中の車両の状態から認識することができる。車両の向きに関する所定条件は、例えば、スマートフォン１１に対して車両が真正面を向いている状態、つまり車両前側のナンバープレート前面がスマートフォン１１に真直ぐ向いている状態を基準方向として、車両の向きと基準方向との差が所定値以下（例えば３０°以下）であることとすれば良い。このようにすれば、車両の向きが所定条件を満たすまで静止画抜出処理の実施が保留されることにより、車両の向きに問題がある（ナンバーの認識に支障が出易い）静止画の抜き出しを極力抑えることが可能である。

静止画抜き出し処理が開始された後、情報処理装置１４は、動画の最新の１フレームについて当該車両の第１露出度を検出する（ステップＳ１４）。第１露出度が高いほど、その静止画において当該車両がより鮮明に表れている可能性が高く、当該車両に含まれるナンバープレート等の認識に役立つ可能性が高いため、その静止画はより重要度が高いと言える。なお第１露出度の検出は、動画から直接行うようにしても良く、抜き出された最新の静止画から行うようにしても良い。

その後に情報処理装置１４は、検出された第１露出度に応じて、抜き出す静止画の解像度を調節する（ステップＳ１５）。より具体的に説明すると、情報処理装置１４は、第１露出度が高いほど、抜き出す静止画の解像度を上げるようにする。これにより、重要度の高い静止画を優先的に得ることができ、静止画からのナンバープレート等の認識をより行い易くすることが可能である。なお、高い解像度の静止画を常時得ようとすると、データサイズの大きい静止画を多量に扱う必要があるためシステムの負担が大きくなり易いが、本実施形態のように車両の露出度に応じて解像度を調節することにより、このような問題を極力解消することが可能である。

更に情報処理装置１４は、検出された第１露出度に応じて、静止画を抜き出す時間間隔を調節する（ステップＳ１６）。より具体的に説明すると、情報処理装置１４は、第１露出度が高いほど静止画を抜き出す時間間隔を短くし、単位時間当たりに抜き出す静止画の数を増やすようにする。これにより、重要度の高い静止画を優先的に得ることができ、静止画からのナンバープレート等の認識をより行い易くすることが可能である。なお、静止画を抜き出す時間間隔を常時短くしておくと、非常に多くの静止画を扱う必要があるためシステムの負担が大きくなり易いが、本実施形態のように車両の露出度に応じて時間間隔を調節することにより、このような問題を極力解消することが可能である。

上述したステップＳ１４〜Ｓ１６の一連の処理は、車両が認識されなくなるまで（すなわち、車両がスマートフォン１１に映る範囲を通り過ぎるまで）、繰り返し実施される（ステップＳ１７）。このようにして、静止画の解像度および静止画を抜き出す時間間隔は第１露出度に応じてフィードバック制御され、重要度の高い静止画を効率良く抜き出すことが可能である。

図８に示すタイミングチャートは、一対のスマートフォン１１（同じ車両の前側と後側を撮影する各スマートフォン）により得られた動画から静止画が抜き出されるタイミングを例示している。本図における着色箇所が、静止画の抜き出しが行われるタイミングを示している。本図に示すように、車両が前側撮影用スマートフォン（１１ａまたは１１ｃ）の被写体内に存在する期間では、当該車両の前側の静止画が取得される。その後に当該車両が移動し、当該車両が後側撮影用スマートフォン（１１ｂまたは１１ｄ）の被写体内に存在する期間では、当該車両の後側の静止画が取得される。また図８に示すように、第１露出度が高いときほど、解像度の高い静止画が多く取得される。

なお本実施形態において、ステップＳ１４およびＳ１５の処理の一方を省略しても良く、ステップＳ１４〜Ｓ１６の処理を省略しても良い。一方、車両が認識されなくなると（ステップＳ１７のＹｅｓ）、その車両に関しての静止画抜出処理は終了する（ステップＳ１８）。一対のスマートフォン１１それぞれに対応した前段処理が実行されると、車両１台分についての複数のフレームの静止画が得られることになる。このようにして得られた静止画群は、後述するステップＳ２０〜Ｓ２６の一連の処理（以下、便宜的に「後段処理」と称する）に用いられる。

（２）後段処理
次に、図９に示すフローチャートを参照しながら、後段処理の流れについて説明する。この後段処理は、車両１台分の前段処理が終了する度に実行される。情報処理装置１４は、ナンバーの認識等に用いる静止画を得るため、前段処理によって得られた複数の静止画のうち先述した露出度条件を満たすものを抽出する（ステップＳ２０）。

ここで本実施形態では露出度条件として、優先度の高い方から順に、第１条件、第２条件、第３条件、第４条件、および第５条件が次の通り設定される。
第１条件：第２露出度が最も高いこと
第２条件：第２露出度が２番目に高いこと
第３条件：第２露出度が３番目に高いこと
第４条件：第１露出度が最も高いこと
第５条件：第１露出度が２番目に高いこと
但し、第４条件および第５条件については、第１〜第３条件の何れかを満たす静止画は対象外とされる。また、第５条件以降の各条件が適宜設定されるようにしても良い。

すなわち、ステップＳ２０の処理が最初に行われる際には、露出度条件として第１条件が有効とされる。しかし、その後のステップＳ２３の処理においてナンバーの認識が成功せず、次にステップＳ２０の処理が行われる際には、露出度条件として第２条件が有効とされる。以下同様に、その次にステップＳ２０の処理が行われる際には第３条件が有効とされ、更にその次にステップＳ２０の処理が行われる際には第４条件が有効とされ、更にその次にステップＳ２０の処理が行われる際には第５条件が有効とされる。

このように本実施形態では、まず第２露出度の高い方から所定数（本実施形態の例では３個）の静止画が最優先で抽出されるようにし、その次に第１露出度の高い方から所定数（本実施形態の例では２個）の静止画が優先的に抽出されるようにしている。なお、これらの所定数の値は一例であり、他の値を採用しても構わない。本実施形態では特に移動中の車を撮影するため、車両を映した撮影動画においてナンバープレートが欠けていたり、適切に見えなかったりする事態が生じ得る。このような事態はナンバーの認識に致命的な悪影響を及ぼす可能性が高いが、本実施形態のように第２露出度の高い静止画を最優先に抽出することにより、このような事態を極力抑えることが可能である。また本実施形態では、第１露出度の高さもナンバーの認識の成功率に大きく影響することから、第２露出度に次いで第１露出度の高さも重視して、抽出する静止画を決めるようにしている。なお、仮に車両を一方向のみから撮影すると、逆光でナンバープレートが適切に映らない虞があるが、本実施形態では一対のスマートフォンを用いて前側および後側から車両を撮影し、前側のナンバープレートが映った動画と後側のナンバープレートが映った動画の両方を得ることが出来るため、このような不具合は回避される。

ステップＳ２０の処理を行った後、情報処理装置１４は、抽出された静止画に対して先述した画像処理を実施し（ステップＳ２１）、画像処理済みの静止画に対してナンバープレート等の物体認識を実行する（ステップＳ２２）。なおナンバープレートに関しては、これに表されたナンバー（表示情報）の認識が実行される。ここで、ナンバーの認識に成功した場合には（ステップＳ２３のＹｅｓ）、次のステップＳ２４の処理が行われるが、ナンバーの認識に成功しなかった場合には（ステップＳ２３のＮｏ）、ステップＳ２０の処理が再度行われる。

なお、ステップＳ２０の処理が再度行われる際には、先述したとおり、第１条件の代わりに第２条件が適用され、更にステップＳ２０の処理が再度行われる際には第３条件が適用される。このように本実施形態では、抜き出された各静止画のうち第２露出度が最も高いものを抽出する第１処理と、抽出された前記静止画からナンバーの認識を行う第２処理と、当該認識が成功しない場合に、前記各静止画のうち第２露出度がその次に高いものを抽出してナンバーの認識を再度行う第３処理と、が実行され、当該認識が成功するまで第３処理が繰返されるようになっている。

また更に本実施形態では、第３処理を所定回数繰返しても前記認識が成功しない場合に、前記抜き出された各静止画のうち第１露出度が最も高いものを抽出する第４処理と、抽出された前記静止画からナンバーの認識を行う第５処理と、当該認識が成功しない場合に、前記各静止画のうち第１露出度がその次に高いものを抽出してナンバーの認識を再度行う第６処理と、が実行され、当該認識が成功するまで第６処理が繰り返されるようになっている。

次に情報処理装置１４は、当該物体認識の結果に基づいてナンバー等のチェックを実施し、その結果を管理サーバー１５に記録する（ステップＳ２４）。より具体的に説明すると、情報処理装置１４は、物体認識されたナンバーについては、管理サーバー１５に格納されているデータベース（全ての許可車両のナンバー）との照合を実行する。その結果、何れかの許可車両のナンバーに一致していれば正常、そうでなければ異常と判別する。また情報処理装置１４は、運転者が装着したシートベルトおよび装備品については、正しく物体認識された場合（つまり、正しく装着或いは装備されている場合）には正常、そうでなければ異常と判別する。また情報処理装置１４は、ステップＳ１１の処理にて検出済みである車両速度については、所定の許容上限速度（例えば３０km/h）を超えていなければ正常、そうでなければ異常と判別する。また情報処理装置１４は、車両の汚れや傷に関して、所定基準を上回る汚れや傷が物体認識された場合には異常、そうでなければ正常と判別する。

更に情報処理装置１４は、これらのチェック結果（判別の結果）、認識されたナンバー、撮影日時（現在の日時）、撮影に用いられたスマートフォン１１の識別番号、および車両速度を、車両ごとに関連付けて管理サーバー１５に記録される。図１０は、管理サーバー１５に記録されたチェック結果等の情報を例示している。本図に示す例では、車両ごとに管理番号が割り振られ、各項目の情報が記録されている。なお管理サーバー１５には、物体認識に利用された動画や静止画も保存され、車両の情報とその車両に関するナンバープレート等（ナンバーの他、運転者や装備品なども含む）の情報を関連させて保持するようになっている。これにより、車両とナンバープレート等を一括して管理することが可能である。また運転者（人物）については、その表情等も紐付けて保持されるようになっている。

その後、情報処理装置１４は、上記の何れのチェック結果にも異常が無かった場合には（ステップＳ２５のＮｏ）、後段処理は終了する。しかし何れかのチェック結果に異常が有った場合には（ステップＳ２５のＹｅｓ）、情報処理装置１４は異常信号を出力し（ステップＳ２６）、その後に後段処理は終了する。図１０に示す例では、管理番号No.00001についてはシートベルトのチェック結果に異常があり、管理番号No.00002については車両速度のチェック結果に異常があるため、これらの結果に対して異常信号が出力されることになる。

異常信号が出力されると、これに気付いた管理担当者は、チェック結果を確認した上で然るべき措置をとることが可能となる。チェック結果に異常が有ったことは、その車両のユーザーに報知されるようにしても良い。また、異常信号は、管理担当者が所定操作を行うまで継続して出力されるようにしても良い。更にこの場合、異常信号の出力が一定時間以上続けば、管理担当者やユーザーが所持する端末等に異常を知らせるメッセージ（例えば電子メール）が送信されるようにしても良い。

３．その他
以上に説明した通り車両管理システム１は、動画から車両（第１対象物の一例）を物体認識する動画物体認識部４２と、この動画から当該車両を含む静止画を抜き出す静止画抜出部４５と、当該静止画から車両に付随するナンバープレート等（第２対象物の一例）を物体認識する静止画物体認識部４９と、を備える。

そのため車両管理システム１によれば、システムの動作負担を抑えながらもナンバープレート等を精度良く認識することが容易となっている。すなわち、動画からナンバープレート等を直接的に認識しようとすると認識精度の低下等が懸念されるが、静止画から認識することにより精度の高い物体認識が容易である。また更に、動画に車両が含まれないときには静止画抜出処理が行われないようにし、無駄な処理を省いてシステムの動作負担を抑えることが可能である。

更に車両管理システム１は、前記抜き出された複数の静止画のうち露出度条件を満たすものを抽出する抽出部４７を備え、静止画物体認識部４９は、抽出された静止画から、車両に含まれるナンバープレート等を物体認識する。そのため、車両に含まれるナンバープレート等を静止画からより効率良く認識することが可能である。

以上、本発明の実施形態について説明したが、本発明の構成は上記実施形態に限られず、発明の主旨を逸脱しない範囲で種々の変更を加えることが可能である。本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。

本発明は、動画からの物体認識を行うシステム等に利用可能である。

１ 車両管理システム
１１ スマートフォン
１１ａ 進入路前側撮影用スマートフォン
１１ｂ 進入路後側撮影用スマートフォン
１１ｃ 退出路前側撮影用スマートフォン
１１ｄ 退出路後側撮影用スマートフォン
１２ 通信ネットワーク
１３ エッジサーバー
１４ 情報処理装置
１４ａ 動画処理エンジン
１４ｂ 静止画処理エンジン
１５ 管理サーバー
４０ 制御部
４１ 通信部
４２ 動画物体認識部
４３ 距離検知部
４４ 速度検知部
４５ 静止画抜出部
４６ 露出度検出部
４７ 抽出部
４８ 画像処理部
４９ 静止画物体認識部
５０ チェック実行部
５１ 異常信号出力部

Claims (11)

1. 動画から第１対象物を物体認識する動画物体認識部と、
   前記動画から第１対象物を含む複数のフレームの静止画を抜き出す静止画抜出部と、
   前記静止画から第１対象物に付随する第２対象物を物体認識する静止画物体認識部と、を備えたことを特徴とする物体認識システム。
2. 前記抜き出された各静止画のうち、第１対象物および第２対象物の少なくとも一方の露出度の高さに関する所定条件を満たすものを抽出する抽出部を備え、
   前記静止画物体認識部は、
   前記抽出された静止画から、第１対象物に含まれる第２対象物を認識することを特徴とする請求項１に記載の物体認識システム。
3. 前記抜き出された各静止画のうち、第２対象物である特定対象物の露出度が最も高いものを抽出する第１処理と、
   抽出された前記静止画から第２対象物内の表示情報の認識を行う第２処理と、
   当該認識が成功するまで、前記各静止画のうち前記特定対象物の露出度がその次に高いものを抽出して第２処理を繰返し行う第３処理と、を実行することを特徴とする請求項２に記載の物体認識システム。
4. 前記繰返しの回数が所定回数に達しても第２処理における前記認識が成功しない場合に、前記特定対象物を第１対象物として第１処理から第３処理を実行することを特徴とする請求項３に記載の物体認識システム。
5. 前記静止画抜出部は、
   前記動画における第１対象物の露出度に応じて、前記抜き出す静止画の解像度および前記静止画を抜き出す時間間隔の少なくとも一方を調節することを特徴とする請求項１から請求項４の何れかに記載の画像認識システム。
6. 抜き出された複数の前記静止画の中で第２対象物の露出度が最も大きいものに対し、深層学習に適した補正処理を施すことを特徴とする請求項１から請求項５の何れかに記載の画像認識システム。
7. 前記動画はカメラを用いて撮影された映像であって、前記カメラと第１対象物の距離を検知する距離検知部を備え、
   前記静止画抜出部は、
   前記距離が所定値以下となったときに、前記静止画の抜き出しを開始することを特徴とする請求項１から請求項６の何れかに記載の画像認識システム。
8. 第１対象物の向きを検知する方向検知部を備え、
   前記静止画抜出部は、
   前記向きが所定条件を満たしたときに、前記静止画の抜き出しを開始することを特徴とする請求項１から請求項６の何れかに記載の画像認識システム。
9. 第１対象物の情報と第２対象物の情報を関連させて保持することを特徴とする請求項１から請求項８の何れかに記載の画像認識システム。
10. 前記動画物体認識部と前記静止画物体認識部において、異なる画像認識の手法を用いることを特徴とする請求項１から請求項９の何れかに記載の画像認識システム。
11. 動画から第１対象物を物体認識する動画物体認識工程と、
    前記動画から第１対象物を含む静止画を抜き出す静止画抜出工程と、
    前記静止画から第１対象物に付随する第２対象物を物体認識する静止画物体認識工程と、を含むことを特徴とする物体認識方法。