JP2022184574A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】少なくとも３つの検出対象の位置及び大きさに基づいて画像中の各位置に対応する検出対象の大きさを推定するためのパラメータを算出する情報処理装置において、パラメータを算出するために用いる検出対象を視覚的、直感的にわかりやすく設定する。【解決手段】画像中の少なくとも３つの検出対象の位置及び大きさに基づいて、画像中の各位置に対応する検出対象の大きさを推定するためのパラメータを算出する。画像上に、画像中の少なくとも３つの検出対象の候補の位置それぞれを頂点とする多角形を表示する。ユーザ入力に基づいて、少なくとも３つの検出対象の候補を、少なくとも３つの検出対象として決定する。前記決定された少なくとも３つの検出対象の位置及び大きさに基づいて、前記画像中の各位置に対応する検出対象の大きさを推定するためのパラメータを算出する算出する。【選択図】図６

Description

本実施形態に係る発明は、画像から物体を検出する技術に関する。

一般に、検出処理を行う画像処理装置では、検出対象の大きさを必要とするものが多い。特許文献１では、画像解析処理の結果に基づいて、その画像の１画素あたりが現実世界でどの程度の大きさに相当するかを設定する技術が開示されている。

特許第６２６１８１５号公報

画像上の位置に対応する検出対象の大きさを推定する場合、３以上の検出対象の位置及び大きさを用いてそれらの関係性を推定する技術がある。しかしながら、ここで用いる検出対象が密集している場合など、画像全体においての検出対象の位置と大きさとの関係性を推定するには適切性が低い場合が存在する。特許文献１に記載の技術では、画像解析によって検出された検出対象のうちのどれを用いてパラメータを算出しているのかが提示されないため、そのように適切性が低い場合であるか否かがユーザにとって視覚的、直感的に判別しにくい。

本発明は、少なくとも３つの検出対象の位置及び大きさに基づいて画像中の各位置に対応する検出対象の大きさを推定するためのパラメータを算出する情報処理装置において、パラメータを算出するために用いる検出対象を視覚的、直感的にわかりやすく設定することを目的とする。

本発明の目的を達成するために、例えば、一実施形態に係る情報処理装置は以下の構成を備える。すなわち、画像上に、前記画像中の少なくとも３つの検出対象の候補の位置それぞれを頂点とする多角形を表示する第１の表示手段と、ユーザ入力に基づいて、前記少なくとも３つの検出対象の候補を、前記少なくとも３つの検出対象として確定させるユーザ入力を取得する第２の取得決定する決定手段と、前記決定された少なくとも３つの検出対象の位置及び大きさに基づいて、前記画像中の各位置に対応する検出対象の大きさを推定するためのパラメータを算出する算出手段と、を備えることを特徴とする。

パラメータを算出するために用いる検出対象を視覚的、直感的にわかりやすく設定することができる。

実施形態１に係る情報処理装置のハードウェア構成を示す図。 実施形態１に係る情報処理装置の機能構成図を示す図。 実施形態１に係る情報処理装置が行う情報処理を示すフローチャート。 実施形態１に係る情報処理装置が用いる画像群を示す図。 実施形態１に係る情報処理装置が表示する補助用図形を示す図。 実施形態１に係る情報処理装置による適切性の評価に応じた表示を示す図。 実施形態１に係る情報処理装置の、重複領域に応じた適切性の評価を示す図。 実施形態２に係る情報処理装置が用いる画像群を示す図。 実施形態２に係る情報処理装置が設定する検知線と部分領域を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［実施形態１］
本実施形態に係る情報処理装置は、画像中の少なくとも３つの検出対象の位置及び大きさに基づいて、画像中の各位置に対応する検出対象の大きさを推定するためのパラメータを算出する。そのために、本実施形態に係る情報処理装置１００は、画像中の検出対象３つ以上の候補を指定するユーザ入力を取得し、指定された検出対象の各候補を頂点とする多角形を表示する。次いで情報処理装置１００は、指定された検出対象の候補を、上述のパラメータの算出に用いる検出対象として確定させるユーザ入力を取得する。以下、単に「候補」と書く場合、このようなパラメータ設定に用いる少なくとも３つの検出対象の候補のことを指すものとする。

以下、本実施形態に係る、人数カウントシステムにおいて用いられる情報処理装置１００について説明を行う。ここで、人数カウントシステムとは、画像解析により画像中の検出対象を検出し、検出した検出対象の数のカウントを行うシステムであるものとする。検出対象は人体であるものとして説明を行うが、例えば動物又は車両など、検出可能であるならば特に限定はされず、また複数種類の検出対象の検出処理が同時に行われてもよい。本実施形態に係る人数カウントシステムでは、画像上の位置（遠近）を考慮した人体のサイズが、検出処理におけるパラメータとして用いられる。ここでは、画像全体に対して検出処理が行われてもよく、画像中の部分領域にのみ検出処理が行われてもよい。以下、「解析」とは、上述の人数カウントを行う処理のことを指すものとして説明を行う。

図１は、情報処理装置１００のハードウェア構成の一例を示すブロック図である。情報処理装置１００は、プロセッサ１０１、メモリ１０２、ネットワークインターフェース（Ｉ／Ｆ）１０３、表示装置１０４、及び入力装置１０５を備える。プロセッサ１０１は、例えばＣＰＵであり、図２に示される情報処理装置１００の有する各機能部による処理を行う。メモリ１０２は、例えばＲＯＭ及びＲＡＭであり、プロセッサ１０１が利用するデータ又はプログラム等を格納する。表示装置１０４は、液晶ディスプレイなどであり、プロセッサ１０１による処理の結果などを表示しユーザに提示する。入力装置１０５は、マウス及びキーボード、タッチパネル、又はボタンなどであり、ユーザの入力を取得する。Ｉ／Ｆ１０３は、情報処理装置１００がネットワークに接続する際のインターフェースである。本実施形態においては、プロセッサ１０１がメモリ１０２に格納されたプログラムに基づいて処理を実行することにより、情報処理装置１００の各機能部による機能が実現される。

図２は、本実施形態に係る情報処理装置１００の機能構成の一例を示すブロック図である。情報処理装置１００は、画像取得部２０１、表示部２０２、算出部２０３、設定部２０４、及び解析部２０５を有する。

画像取得部２０１は、処理対象とする画像を１つ以上取得する。画像取得部２０１はメモリ１０２に格納されている画像を取得してもよく、Ｉ／Ｆ１０３を介して画像を取得してもよく、不図示の撮像部を用いて画像を取得してもよい。画像取得部２０１は、撮像日時などの画像に関する情報を利用して、特定の条件に沿った画像の集合（例えば、同カメラによる所定時間おきの画像など）を取得することができる。

表示部２０２は、画像取得部２０１が取得した画像を表示する。次いで表示部２０２は、取得した画像上に対する、候補を指定するユーザ入力を取得する。例えば、表示部２０２は、候補の指定用のプレビュー画像を表示することができる。詳細な説明は図４～図７を参照して後述するが、表示部２０２は、画像上に、候補を指定する際に用いる指定子を重畳して表示してもよい。その場合、表示部２０２は、検出対象を指定する指定子を操作するユーザ入力を、マウスカーソルを介したクリック操作によって取得してもよく、タッチパネルへのタッチ操作によって取得してもよい。ここでは、ユーザ操作によって配置された指定子が重畳する検出対象が、ユーザ入力によって指定された検出対象であるものとする。この処理は候補を指定するユーザ入力を取得するのであれば特に限定されるわけではなく、例えば表示部２０２は、ユーザ入力として画像中の座標の指定を取得してもよい。表示部２０２は、３以上の所定数（例えば、３、４、５、又はそれ以上）の候補に対する指定を取得するものとするが、ユーザが候補の確定操作を行う前に任意の数の候補を指定できる構成であってもよい。

また、表示部２０２は、候補を指定するユーザ入力を、複数の画像にわたって取得してもよい。例えば表示部２０２は、時間的に連続する画像を複数取得し、そのうちの１つ以上に対するユーザ入力を取得することができる。そのために、表示部２０２は、候補の指定に用いる複数の画像を、切り替えて表示可能であってもよく、同時に表示してもよい。複数の画像に対して候補の指定が行われている場合、後述する補助用図形を表示する画像は、それらの複数の画像の代表画像（例えば、最新時刻の画像）であってもよく、複数の画像を合成した画像（例えば、各候補の指定子を同時に表示する画像）であってもよい

表示部２０２は、画像上に、指定された各候補の位置を頂点とする補助用図形（多角形）を表示する。ユーザは、この補助用図形を確認し、指定した候補が適切なものであるか否かの判断を下すことができる。例えば、表示部２０２は、３つの候補が指定された場合に、その各候補の位置を頂点とする三角形を、画像上に重畳して表示することができる。ここでは、各候補の位置として指定子の中心位置が用いられるものとするが、例えば検出された頭部の位置など任意の検出位置が用いられてもよく、また検出位置から上下所定幅に余裕を持たせた範囲内から取得される位置が用いられてもよい。また、補助用図形の各辺は基本的には直線であるが、例えば放物線などの曲線であってもよい。

表示部２０２は、指定された候補それぞれの位置に応じて候補としての適切性の評価情報を生成し、生成した評価情報に応じた態様で補助用図形を表示してもよい。本実施形態に係る表示部２０２は、各候補の位置に応じて決定される補助用図形の面積に応じて候補としての適切性の評価情報を生成する。表示部２０２は、補助用図形について、面積が大きいほど濃い色による表示を行うようにしてもよく、面積が所定の閾値を超えるか否かによって異なる色で表示を行うようにしてもよい。

図４～図６は、本実施形態に係る表示部２０２による表示の説明を行うための図である。図４は、表示部２０２が表示するプレビュー画像の一例を示している。画像群４００は、候補を指定するためにユーザに提示される複数の画像である。画像４０１には人体４０２が映っており、これが検出処理によって検出される。画像群４００は、検出対象を写していない画像を含んでいてもよい。

図５は、ユーザに候補を指定させるために表示部２０２が表示するＧＵＩの一例を示す図である。設定画面５００では、指定子５０２をユーザが用いて、画像５０１に写る人体のうちから候補とする人体が指定される。ここでは、候補を指定するために、人体の上半身と位置及びサイズが一致するように指定子を配置させるものとするが、例えば身長が一致するように指定子を全身に合わせてもよく、又は頭部幅が一致するように指定子を頭部に合わせてもよい。補助用図形５０３は、指定された各候補を頂点とする多角形であり、ここでは三角形である。また、設定画面５００上の確定ボタン５０５が押下された場合に、その時点で指定されている候補が、検出対象の大きさを推定するためのパラメータを算出するために用いる人体として設定される。また、設定画面５００は、表示する画像を変更する画像変更ボタン５０４を表示している。ユーザは、異なる画像から候補を指定する場合に、画像変更ボタン５０４を押下することにより、表示する画像を切り替えることができる。ここでは、表示する画像を変更する前に配置した指定子は消去され、新たに表示される画像において新規に候補の指定を行うものとする。一方で、画像の変更後にも画像上に配置された指定子が残り、複数の画像にわたって配置された全指定子に基づいて補助用図形５０３が形成されてもよい。

また、設定画面５０６は、設定画面５００において確定ボタン５０５が押下されず、画像変更ボタン５０４が押下されてから候補の再選択が行われた場合の画面である。設定画面５０６においては、設定画面５００とは異なる指定子５０２が３つ指定され、より大きな面積を有する補助用図形５０３が表示されている。表示する画像を変更する場合、画像変更ボタン５０４が押下されるたびに次の画像（例えば、時間的に連続している次の画像）へと表示の変更が行われてもよい。また、表示する画像を変更する場合、設定画面５０６に表示されるような「前の画像」ボタン又は「次の画像」ボタンの押下に応じて、それぞれ前の画像又は次の画像へと表示の変更が行われてもよい。

図６は、指定された候補によって算出される適切性の評価情報に応じた補助用図形の表示を行うＧＵＩの一例を示す図である。ここでは、指定した候補が密集してしまうと位置による大きさの差に対して個体差の影響が大きくなってしまうことを考慮して、指定した各候補を頂点とする多角形の面積が大きくなるほど適切性が高く設定される。図６においては、その面積に応じた濃淡表示によって（面積が大きいほど色が濃くなるように）補助用図形が表示されている。設定画面６０１～６０３は、それぞれ補助用図形６０３～６０５を表示しており、その面積に応じて、補助用図形６０５、６０４、６０３の順に表示色が濃くなっている。表示部２０２は、表示色と適切性の度合いの関係を示すカラーパレット６０６を設定画面上に表示することにより、視覚的にわかりやすい表示を行ってもよい。なお、表示色の変更は補助用図形の塗りつぶし色の変更であってもよく、枠線の色の変更であってもよく、対応する補助用図形が判別可能であれば特にその箇所は限定されない。枠線の色を変更する場合、表示部２０２は、１つの補助用図形の全ての辺の色を統一してもよく、辺ごとに異なる色で表示を行ってもよい。例えば表示部２０２は、補助用図形の辺をその長さに応じた色で表示を行い、短い辺を形成する候補の再設定を促してもよい。辺の長さに応じた色は、補助用図形の面積に応じた色と同様に、長さに応じた濃淡表示による表示がされてもよく、所定の閾値を超えるか否かに応じて異なる色で表示がされてもよい。

なお、ここでは適切性の評価情報が色によって表示されるものとして説明を行うが、適切であるか否かがユーザに把握可能な表示であれば特にこれに限定されるわけではない。表示部２０２は、補助用図形の適切性の評価を、例えばメッセージによって表示してもよく、明滅表示（例えば、面積が閾値よりも高い場合には補助用図形が点滅する）によって表示してもよい。ここでは、例えば第１の閾値ｔ_１及び第２の閾値ｔ_２（ｔ_１＜ｔ_２）が設定され、補助用図形の適切性の評価を、面積Ｓがｔ_２よりも大きい場合には高いものとし、Ｓがｔ_１より高くｔ_２以下である場合には中程度とし、Ｓがｔ_１以下であれば低いものとする。この場合表示部２０２は、適切性の評価に応じて「優」、「可」、又は「不可」の対応する文字表示を行ってもよく、候補として適切とするｔ_２＜Ｓの場合に「優」の表示を行ってもよく、Ｓ≦ｔ_１の場合に再設定を促すべきと判断して「不可」の表示を行ってもよい。ここで用いられる閾値の値は、予め設定されていてもよく、例えば解析処理を行う領域の面積の所定の割合など、設定に応じて変動してもよい。

また表示部２０２は、指定された候補の位置に応じて、（例えば確定ボタン５０５が押下されたタイミングで）警告を表示してもよい。例えば表示部２０２は、補助用図形の面積が所定の閾値よりも小さい場合に、再設定を促す旨の警告を表示してもよい。また、表示部２０２は、指定された候補の位置が一直線に並んでいる場合には、算出されるパラメータによって人体の大きさの推定ができる範囲が限定されてしまうため、再設定を促す旨の警告を表示してもよい。また、表示部２０２は、指定された候補が１つの直線の近傍に集中している（一直線に近いように並んでいる）場合には、その直線に対して垂直方向への解析処理の精度が低下してしまうことを考慮して、再設定を促す旨の警告を表示してもよい。ここでは、指定された候補の位置が、ある直線を中心として所定の幅を有する部分領域内に含まれている場合に、指定された候補が１つの直線の近傍に集中しているとして扱うものとする。なおここでは、表示部２０２は適切性の評価が低い場合には再設定を促す旨の警告を表示するものとしたが、適切性の評価が低い間には確定ボタンの表示を変更して押下操作を不可能としてもよい。

図７は、指定された候補の適切性の評価情報を表示する指標の一例を示す図である。この例では、画像中に解析を行う領域７０２が設定されており、領域７０２の面積をＳ_１、補助用図形の面積をＳ_２、領域７０２と補助用図形とが重複している領域の面積をＳ_３とする。ここでは、表示部２０２は、その補助用図形の適切性の評価を、例えばＳ_２がＳ_１の所定の割合以下（Ｘ％以下）である場合には不可とし、Ｓ_２がＳ_１のＸ％を上回りＳ_１以下である場合には可とし、Ｓ_２がＳ_１を上回る場合に良としてもよい。ここで、Ｘは０より大きく１００以下である、所望の精度に応じて設定される値とする。このように評価を行う場合には、領域７０２の位置を設定する前に評価方法の設定を行うことができる。

また例えば、表示部２０２は、補助用図形の適切性の評価を、Ｓ_３とＳ_１とが一致する場合には優とし、０＜Ｓ_３＜Ｓ_１の場合には可とし、それ以外の場合には不可としてもよい。このように評価を行う場合には、領域７０２の位置の設定を考慮した上で評価を行うことができる。

また、図７において、領域７０４は画像の内縁部の領域であり、領域７０５は補助用図形７０２と領域７０４とが重複している領域であり面積はＳ５となる。広角レンズを用いた撮像では、領域７０４のような撮像画像の内縁部は歪が生じやすい。したがって、画像の周縁に寄るほど、人体の位置に対する大きさの関係性も歪んでしまうことが考えられるため、そのような位置の人体は候補としては不適切となりやすい。そのような観点から、表示部２０２は、領域７０２への領域７０５の重複度合いに応じて、補助用図形の適切性の評価情報を算出してもよい。この例では、表示部２０２は、適切性の評価を、Ｓ_４が０の場合には優とし、０より大きく閾値以下である（０＜Ｓ_４≦Ｙ）場合には可とし、Ｙ＜Ｓ_４の場合には不可とするものとする。ここで、Ｙは、上述の重複度合いの判断に用いられる度合いであり、固定値であってもよく、領域７０４の面積に応じて（例えば、割合で）設定される値であってもよい。なお、ここで内縁部の領域とは、画像の縁から所定の幅（例えば、画像全体の幅の１／１０の幅）を有する領域であってもよく、図７に示されるように、画像全体から画像に略内接する楕円などの図形を除いた領域であってもよい。

算出部２０３は、パラメータの算出に用いると確定した人体の位置及び大きさに基づいて、画像中の各位置に対応する人体の大きさを推定するためのパラメータを算出する。ここでは、算出部２０３は、画像中の人体の位置（ｘ，ｙ）に対する人体の大きさｓを算出する関数におけるパラメータを算出する。例えば、算出部２０３は、位置と大きさとの関係をｓ＝ａｘ＋ｂｙ＋ｃとして、パラメータａ，ｂ，及びｃを算出することができる。この場合、未知のパラメータは３つであるので、少なくとも３つの人体ｉの位置（ｘ_ｉ，ｙ_ｉ）及び大きさｓ_ｉが必要となる。このパラメータの算出処理は、例えば最小二乗法などの統計処理を用い画像内の座標と検出対象の大きさを対応付ける１つ以上の未知のパラメータを算出する、一般的な処理と同様に行うことが可能である。また、人体以外の検出対象について同様にパラメータを算出する場合、その検出対象の大きさは検出処理によって画像中から取得されてもよく、人体の大きさとの比率を用いて算出されてもよい。人体とそれ以外の検出対象との大きさの比率は、その種類に応じて予め設定されていてもよく、ユーザが設定できるように構成されていてもよく、検出処理中に自動で推定されてもよい。

設定部２０４は、解析の処理に必要な設定を行う。本実施形態に係る設定部２０４は、人体検出、追尾、及び人数のカウント処理に用いる設定の参照、編集、並びに登録を行う。また、上述の表示部２０２及び算出部２０３が行う処理の一部又は全てを設定部２０４が行ってもよい。解析部２０５は、画像取得部２０１が取得した画像に対して解析処理を行う。解析処理については実施形態２において詳細な説明を行う。

図３は、本実施形態に係る情報処理装置１００が行う処理の一例を示すフローチャートである。Ｓ３０１で画像取得部２０１は、プレビュー用に１枚以上の画像を取得する。Ｓ３０２で表示部２０２は、Ｓ３０１で取得した画像のうちの１つを表示し、指定子と補助用図形とを画像に重畳して表示する。ここでは、初期設定として所定数（例えば３つ）の人体が候補として選択され、指定子と補助用図形の表示が行われるものとする。

Ｓ３０３で表示部２０２は、候補を指定するユーザ入力を取得する。続くＳ３０４で表示部２０２は、取得した候補の指定に応じた指定子と補助用図形との表示を行う。Ｓ３０５で表示部２０２は、指定されている候補をパラメータの算出に用いる人体として確定させるユーザ入力を取得する。次いで算出部２０３は、用いることが確定した人体の位置及び大きさに基づいて、画像中の各位置に対応する人体の大きさを推定するためのパラメータを算出して登録する。

このような構成によれば、少なくとも３つの検出対象の位置及び大きさに基づいて画像中の各位置に対応する検出対象の大きさを推定するためのパラメータを算出する情報処理装置において、検出対象の各候補を頂点とする多角形を表示することができる。次いで、それらの候補をパラメータを算出する際に用いる検出対象として確定させるユーザ入力を取得し、上述のパラメータを算出することができる。したがって、位置ごとの検出対象の大きさを推定するパラメータを算出する前に、その際に用いる検出対象の候補の位置関係を視覚的にわかりやすく提示することにより、適切な候補が選択されている場合にユーザからの確定指示を取得しやすくすることができる。

［実施形態２］
以下、本実施形態に係る交通量計測システムにおいて用いられる情報処理装置１００について説明を行う。ここで、交通量計測システムとは、画像解析により画像中の検出対象を検出し、画像中に設けた検知線を通過した検出対象の数の計測を行うシステムであるものとする。検出対象は人体又は車両であるものとして説明を行うが、例えば動物など、検出可能な対象であれば特に限定はされない。この解析処理は、数の計測を行う検出対象ごとに行われる。なお、解析負荷の軽減のため、解析処理は画像全体ではなく検知線の近傍の領域のみ行うものとするが、例えば画像全体に対して行ってもよく、検知線近傍に加えて注目する部分領域に対しても行ってもよい。

ここで、検知線とは、上述した交通量計測システムにおいて用いられる、検出対象の通過数を計測するために画像中に設けられる線分又は線分状の領域であるものとする。検知線、及び検知線近傍に設定される解析用の部分領域としては一般的な交通量計測システムにおいて用いられるものを任意に利用可能であり、公知技術に関する詳細な説明は省略する。ここで、動画像に含まれる複数の画像から、部分領域における部分画像がそれぞれ抽出され、抽出した部分画像に対して解析処理が行われて検出対象の流れが計測される。以下、このように部分領域に対応する部分画像も含めて部分領域と呼ぶものとする。

本実施形態に係る情報処理装置１００は、実施形態１の図１に示されるハードウェア構成、及び図２に示される機能構成と同様の構成を有し、同様に処理を行うことができるため、重複する説明は省略する。

本実施形態に係る解析部２０５は、動画像に基づいて検出対象の流れを計測する。そのために、表示部２０２は、検出対象の流れを計測する位置を示す検知線の設定を画像上に行う。解析部２０５は、例えば検知線によって区切られる一方の領域から他方の領域へと、検知線を交差して移動した検出対象の流量、すなわち通過した検出対象の数を計測することができる。

流れの計測のためには様々な方法を利用することができる。例えば、検出対象の人物を検出して追尾する方法や、検出対象の人物の位置、移動方向、及び移動速度などを推定して流量を直接求める方法などが挙げられる。このような計測方法を実現するためのアルゴリズムとしては、例えば、マッチング法、オプティカルフローを用いた方法、機械学習を用いた方法、及びニューラルネットワークを用いた方法が挙げられる。また、これらの方法を複数組み合わせて用いることもできる。

流れの計測のためには、部分画像を単独で用いてもよいし、複数の部分画像を同時に用いてもよい。複数の部分画像を用いる場合は、同一時刻における部分画像を用いてもよいし、異なる時刻における部分画像を用いてもよい。

解析部２０５による具体的な処理方法としては、例えば以下の方法が挙げられる。まず、解析部２０５は、時刻ｔ_１における各部分画像をニューラルネットワークに入力することにより、時刻ｔ_１における検知線周辺の検出対象の位置を推定する。同様に、解析部２０５は、時刻ｔ_２における各部分画像をこのニューラルネットワークに入力することにより、時刻ｔ_２における検知線周辺の計測対象の位置も推定する。このニューラルネットワークは、画像から画像中の計測対象（例えば人物の頭部）の位置を推定するように学習しておくことができる。また、推定精度が向上する別の方法として、画像から画像中の計測対象の密度分布を推定するように学習されたニューラルネットワークと、密度分布から計測対象の位置を推定するように学習されたニューラルネットワークと、を組み合わせて用いてもよい。このような方法により、解析部２０５は、異なる領域のそれぞれについて独立に、この領域から抽出された部分画像を用いて、それぞれの領域における計測対象の位置を推定することができる。

次に、解析部２０５は、時刻ｔ_１における計測対象の推定位置と、時刻ｔ_２における計測対象の推定位置とのマッチングを行うことにより、時刻ｔ_１から時刻ｔ_２の間の計測対象の軌跡を推定する。マッチング手法としては、マッチングさせる計測対象間の距離に応じたコストを最小化する方法を用いることができ、例えばハンガリアンマッチング法を用いることができる。こうして推定された軌跡が検知線と交差する場合に、１つの計測対象が検知線を通過したと判定することができる。このようなマッチング処理及び軌跡の推定は、それぞれの部分画像から検出された計測対象の位置に基づいて、同時に行ってもよい。

もっとも、流れの計測方法は上記の方法には限定されない。解析部２０５は、異なる領域のそれぞれについて独立に、この領域から抽出された部分画像を用いて、それぞれの領域における計測対象の軌跡を推定し、又は計測対象の流れを計測してもよい。例えば、解析部２０５は、部分画像ごとに計測対象の位置を推定するだけでなく、部分画像ごとに計測対象の軌跡を推定してもよい。また、時刻ｔ_１及び時刻ｔ_２における同位置の部分画像をニューラルネットワークに入力し、計測対象の位置、移動方向、及び移動速度などを推定することにより、計測対象の流れを推定してもよい。

本実施形態に係る表示部２０２は、実施形態１と同様の処理に加えて、取得した画像を、検知線の設定用のプレビュー画像として表示することができる。表示部２０２は、画像上に、検知線を指定する際に用いる検知線指定子を重畳して表示してもよい。その場合、表示部２０２は、検知線を設定する指定子を操作するユーザ入力を、マウスカーソルを介したクリック操作によって取得してもよく、タッチパネルへのタッチ操作によって取得してもよい。ここでは、ユーザ操作によって、検知線の始点と終点とが配置され、その始点から終点までの線分がユーザによって入力された検知線として設定されるものとする。この処理は検知線を設定するユーザ入力を取得するのであれば特に限定されるわけではなく、例えば表示部２０２は、ユーザ入力として検知線の始点及び終点の座標の指定を取得してもよい。また設定部２０４は、始点と終点との区別なく２点の指定を取得してから検知線の向きを取得してもよく、始点、向き、及び長さの入力を取得してもよい。表示部２０２は、１以上の所定数（例えば、１、２、又はそれ以上）の検知線の設定を取得するものとし、その個数は任意に決定可能である。なお、検知線は基本的には直線であるものとして説明を行うが、例えば任意の折れ線、又は曲線などであってもよい。

本実施形態に係る表示部２０２は、検知線の近傍に解析用の部分領域（パッチ）を設定する。表示部２０２は、複数のパッチによって検知線の全体が含まれるようにパッチを設定する。ここで表示部２０２は、パッチの大きさを、実施形態１と同様の方法により算出部２０３が算出したパラメータを用いて、パッチの位置に対して推定される検出対象の大きさを用いて設定する。例えば表示部２０２は、それぞれが中心を検知線上に有するパッチの大きさを、その中心の位置から推定される検出対象の大きさに基づいて設定することができる。ここで、パッチは、パッチの中心の位置に対応する検出対象の大きさ（例えば、人体の肩幅）の６．５倍の長さを一辺の長さとする正方形の領域であるものとするが、その大きさ及び形状は特に限定はされず、例えば長方形、台形、又は円形などであってもよい。情報処理装置１００は、このパッチ内の領域に対して解析処理を行い、検出対象の数の計測を行うことができる。

また、パッチを台形とする場合、表示部２０２は、そのパッチの中心（例えば、重心）の位置に対応する検出対象の大きさから、パッチの上底と下底との長さをそれぞれ設定することができる。例えば表示部２０２は、パッチの上底の長さを重心位置の検出対象の大きさの４倍とし、パッチの下底の長さを重心位置の検出対象の大きさの６．５倍としてもよい。パッチを台形とすることにより、遠近による検出対象が写る大きさの変化を考慮したパッチ内での解析処理を行うことができる。なお、台形のパッチは、画像内の遠近による奥行き方向が台形の上底及び下底と直交する向きに設定されるものとするが、所望の条件に応じて調整がなされてもよい。

なお、この検知線の端の近傍における計測漏れを抑制するために、表示部２０２は、検知線近傍に、上述のパッチに加えて、検出対象の数の計測は行わないが検出及び追尾処理は行う部分領域（検出パッチ）を設定してもよい。ここで、検出パッチは、パッチそれぞれに対して１つ設定される、対応するパッチを完全に包含する部分領域である。検出パッチの形状、大きさ、及び位置は、対応するパッチを完全に包含するのであれば限定はされない。ここではパッチと同様の形状を有する、パッチに対して所定の比率の大きさ（パッチの大きさ＜検出パッチの大きさ）の、対応するパッチと中心座標を揃えて設定される部分領域からそのパッチを除いた領域であるものとする。以下、パッチは一片の長さが人体の肩幅の６．５倍の長さの正方形の領域である一方で、検出パッチは一片の長さが人体の肩幅の８倍の長さの正方形の領域からパッチを除いた領域であるものとして説明を行う。このような検出パッチを生成することで、パッチ内の解析処理で検出対象の数の計測を行う前に、パッチの外縁部の領域となる検出パッチ内で検出及び追尾処理を開始することにより、検出対象の計測漏れを抑制することが可能となる。

図８は、本実施形態に係る表示部２０２が表示するプレビュー画像の一例を示している。画像群８００は、２以上の画像８０１の集合である。画像８０１には、検出対象である人体８０２と、車両８０３と、が写っており、これらが交通量計測システムにおける検出処理によって検出される。画像群８００は、検出対象を写していない画像を含んでいてもよい。

図９は、本実施形態に係る情報処理装置１００が行う、検知線に対してパッチを設定する処理の一例を説明するための図である。画像９０１では、検知線９０３が表示され、検知線９０３の全体を内側に包含するように、複数のパッチ９０２が検知線９０３の近傍に設定されている。ここでは、各パッチは中心が検知線９０３上にある正方形の領域であり、そのそれぞれの大きさが中心の位置に基づいて、上述の通りに設定されている。

画像９０４では、２つ存在する検知線９０６それぞれを包含するように、２つのパッチ９０５が検知線９０６の近傍に設定されている。ここでは、各パッチは重心が検知線上に存在する台形の領域であり、上底の長さと下底の長さとがその重心の座標に基づいて設定されている。また、この台形の上底の長さと下底の長さとが等しく設定されていてもよい。

このような構成によれば、実施形態１と同様の処理によって少なくとも３つの検出対象としてユーザが確定させた検出対象の位置及び大きさに基づいて、画像中の各位置に対応する検出対象の大きさを推定するためのパラメータを算出することができる。次いで、検出対象の流れを計測するための検知線を設定し、検知線の近傍に、各部分領域の位置から算出したパラメータを用いて推定される検出対象の大きさに基づく大きさを有する複数の部分領域を設定する。さらに、動画像から部分領域において抽出される部分画像を用いて、検知線を通る検出対象の流れを計測することができる。したがって、パラメータを算出するために用いる検出対象を視覚的、直感的にわかりやすく設定し、その設定に基づいて検出対象の流れを計測することが可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

２０１：画像取得部、２０２：表示部、２０３：算出部、２０４：設定部、２０５：解析部

Claims (18)

1. 画像上に、前記画像中の少なくとも３つの検出対象の候補の位置それぞれを頂点とする多角形を表示する第１の表示手段と、
   ユーザ入力に基づいて、前記少なくとも３つの検出対象の候補を、前記少なくとも３つの検出対象として決定する決定手段と、
   前記決定された少なくとも３つの検出対象の位置及び大きさに基づいて、前記画像中の各位置に対応する検出対象の大きさを推定するためのパラメータを算出する算出手段と、
   を備えることを特徴とする、情報処理装置。
2. 前記画像上の前記検出対象を表示する第２の表示手段と、
   前記第２の表示手段に表示される前記検出対象のうちから、前記少なくとも３つの検出対象の候補を指定するユーザ入力を取得する第１の取得手段と、
   をさらに備えることを特徴とする、請求項１に記載の情報処理装置。
3. 前記少なくとも３つの検出対象の候補の、前記少なくとも３つの検出対象としての適切性の評価を示す評価情報を取得する第２の取得手段をさらに備え、
   前記第２の表示手段は、前記画像上に前記評価情報をさらに表示することを特徴とする、請求項２に記載の情報処理装置。
4. 前記第２の取得手段は、前記多角形の面積に基づいて前記評価情報を取得することを特徴とする、請求項３に記載の情報処理装置。
5. 前記評価情報において、前記多角形の面積が大きいほど前記適切性の評価が高くなることを特徴とする、請求項４に記載の情報処理装置。
6. 前記検出対象の追尾を行う、前記画像上の第１の部分領域を設定する第１の設定手段をさらに備え、
   前記第２の取得手段は、前記第１の部分領域と、前記多角形と、の面積に基づいて前記評価情報を取得することを特徴とする、請求項３に記載の情報処理装置。
7. 前記第２の取得手段は、前記第１の部分領域の面積と、前記多角形の面積と、の比率に基づいて前記評価情報を取得することを特徴とする、請求項６に記載の情報処理装置。
8. 前記第２の取得手段は、
   前記多角形の面積が前記第１の部分領域の面積の所定の割合以下である場合には、前記適切性の評価を第１の程度に設定し、
   前記多角形の面積が前記第１の部分領域の面積の前記所定の割合よりも大きく前記第１の部分領域の面積以下である場合には、前記適切性の評価を前記第１の程度より高い第２の程度に設定し、
   前記多角形の面積が前記第１の部分領域の面積よりも大きい場合には、前記適切性の評価を前記第１の程度より高い第３の程度に設定することを特徴とする、請求項７に記載の情報処理装置。
9. 前記第２の取得手段は、前記第１の部分領域及び前記多角形が重複する領域の面積に基づいて前記評価情報を取得することを特徴とする、請求項６に記載の情報処理装置。
10. 前記第２の取得手段は、
    前記第１の部分領域と前記多角形とが重複する領域を有しない場合に、前記適切性の設定を第１の程度に設定し、
    前記第１の部分領域と前記多角形とが重複する領域を有する場合に、
    前記重複する領域の面積が前記第１の部分領域の面積よりも小さい場合には、前記適切性の評価を前記第１の程度より高い第２の程度に設定し、
    前記重複する領域の面積が前記第１の部分領域の面積と等しい場合には、前記適切性の評価を前記第２の程度より高い第３の程度に設定することを特徴とする、請求項９に記載の情報処理装置。
11. 前記画像の内縁部に第２の部分領域を設定する第２の設定手段をさらに備え、
    前記第２の取得手段は、前記第２の部分領域と前記多角形とが重複する領域の面積に基づいて前記評価情報を取得することを特徴とする、請求項３に記載の情報処理装置。
12. 前記第２の取得手段は、
    前記第２の部分領域と前記多角形とが重複する領域を有する場合に、
    前記重複する領域の面積が、前記第２の部分領域の面積と前記多角形の面積とに基づいて定まる閾値よりも大きい場合には、前記適切性の設定を第１の程度に設定し、
    前記重複する領域の面積が、前記第２の部分領域の面積と前記多角形の面積とに基づいて定まる閾値以下である場合には、前記適切性の評価を前記第１の程度より高い第２の程度に設定し、
    前記第２の部分領域と前記多角形とが重複する領域を有しない場合に、前記適切性の評価を前記第２の程度より高い第３の程度に設定することを特徴とする、請求項１１に記載の情報処理装置。
13. 前記第２の取得手段は、前記少なくとも３つの検出対象の候補の全てが、前記画像を通る線分を中心として所定の幅を有する部分領域内に位置している場合に、そうでない場合よりも、前記適切性の評価を低く設定することを特徴とする、請求項３に記載の情報処理装置。
14. 前記第２の表示手段は、前記評価情報が示す前記適切性の設定が所定の条件より低く設定されている場合に、ユーザに対する警告を表示することをさらに特徴とする、請求項３乃至１３の何れか一項に記載の情報処理装置。
15. 前記第２の表示手段は、前記適切性の評価に応じて前記多角形の塗りつぶしの色又は枠線の色を変更することを特徴とする、請求項３乃至１４の何れか一項に記載の情報処理装置。
16. 動画像に前記検出対象の流れを計測する位置を示す検知線を設定する第３の設定手段と、
    前記検知線の近傍に設定された複数の部分画像を、前記動画像における複数の画像のそれぞれから抽出する抽出手段であって、
    前記複数の部分画像の大きさが、前記パラメータを用いて推定した、前記部分画像の位置に対応する前記検出対象の大きさに基づいて設定される、抽出手段と、
    前記部分画像を用いて、前記検知線を通る前記検出対象の流れを計測する計測手段と、
    をさらに備えることを特徴とする、請求項１乃至１５の何れか一項に記載の情報処理装置。
17. 画像上に、前記画像中の少なくとも３つの検出対象の候補の位置それぞれを頂点とする多角形を表示する工程と、
    ユーザ入力に基づいて、前記少なくとも３つの検出対象の候補を、前記少なくとも３つの検出対象として決定する工程と、
    前記決定された少なくとも３つの検出対象の位置及び大きさに基づいて、前記画像中の各位置に対応する検出対象の大きさを推定するためのパラメータを算出する工程と、
    を備えることを特徴とする、情報処理方法。
18. コンピュータを、請求項１乃至１６の何れか一項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images