JP2007087150A - 画像再生方法、画像再生機、画像再生プログラム - Google Patents

Abstract

【課題】顔特徴情報を用いた人物検索において、顔特徴情報の近さの判定は、顔向きや照明変動の影響を大きく受け、その検索精度が低くなるとともに安定した結果が得られない。
【解決手段】ピクチャ内の所定画像を抽出する所定画像抽出部１０２と、前記所定画像抽出部により抽出される第１のピクチャ内の第１の所定画像との関係において所定条件を満たす画像である、前記所定画像抽出部により抽出される第２のピクチャ内の所定画像に対して付する所定識別子を生成する識別子生成部１１３と、前記所定識別子に従って、前記第1のピクチャ内の第１の所定画像と前記第2のピクチャ内の所定画像の１つの画像とに付する所定フラグを生成する正当画像フラグ生成部１１９１と、を備える、画像再生機。
【選択図】図１

Description

対象の人物の行動軌跡を映像として再生する人物検索方法、行動軌跡修正方法に関する。

従来は、監視対象人物の全映像を再生するために、監視映像に写る人物の特徴情報を抽出し、画像と共に人物の特徴情報をデータベースに蓄積していた。

そして、検索したい特定の監視対象者の人物特徴情報を用いて、上記データベース中を検索し、同一人物として検索された画像を時系列に並べ、これを特定の監視対象者の時系列映像として再生することが行われていた。

また、上記従来の技術における人物検索では、上記データベースに記憶されている顔画像の特徴である顔特徴情報を用いる顔画像検索により人物検索を行っていた（特許文献１）。
特開２００２−１８３２０５号公報

しかしながら、従来の人物検索においては、以下のような課題がある。

それは、顔特徴情報を用いた人物検索において、顔特徴情報の近さの判定は、顔向きや照明変動の影響を大きく受け、その検索精度が低くなるとともに安定した結果が得られないという課題である。

本願発明は、上記課題を解決したものであり、一定条件を満たす画像に識別子を付し、この画像を管理し、この識別子に従って画像の入れ替えを行うことで、確実に検索対象となる人物の時系列映像を再生することができる画像再生方法、画像再生機等に関するものである。

本発明は、ピクチャ内の所定画像を抽出する所定画像抽出部と、前記所定画像抽出部により抽出される第１のピクチャ内の第１の所定画像との関係において所定条件を満たす画像である、前記所定画像抽出部により抽出される第２のピクチャ内の所定画像に対して付する所定識別子を生成する識別子生成部と、前記所定識別子に従って、前記第1のピクチャ内の第１の所定画像と前記第2のピクチャ内の所定画像の１つの画像とに付する所定フラグを生成する正当画像フラグ生成部と、を備える、画像再生機である。

これにより、検索対象となる可能性がある画像に識別子を付して管理し、この識別子に従って画像の入れ替えを行うことができる。

本発明の画像再生機により、検索対象となる画像を減らすことができるため、計算量を低減することができる。

本実施例１又は実施例２に、本発明である画像再生機、画像再生方法、画像再生プログラムを記載する。

本発明は、一定条件を満たす画像（例えば、人物画像）に対して、識別子を付し管理し、この識別子に従って画像の入れ替えを行う画像再生方法、画像再生機である。

これにより、任意の画像認識を用いて検索対象物であると認識され、時系列に並べられた検索対象物の時系列画像の途中に検索対象物以外の画像が混ざっているような誤りがあるときでも、確実に正しい検索対象物の時系列画像を得ることができる。

実施例１では、任意の画像認識を用いて検索対象物であると認識され、その後、時系列に並べられた検索対象物の時系列画像の途中に検索対象物以外の画像が混ざっている場合の画像再生機について記載する。

これにより、確実に正しい検索対象物の時系列画像を得ることができる。

また、実施例２では、実施例１記載の画像再生機について、対象画像に付される識別子の更新方法について記載する。

これにより、次に同一対象物に関する時系列画像を検索する場合、計算量、計算時間を削減することができる。

本実施例に記載の発明は、任意の画像認識を用いて検索対象物であると認識された画像を時系列に並べ、この時系列の途中に検索対象物以外の画像が混ざっている場合の画像再生機等に関するものである。

例えば、本実施例の一例として、複数の監視カメラが設置された場所において、不信人物を追跡するために、その対象となる人物の画像を時系列に並べて再生する再生機が考えられる。

上記例は一例であるため、これに拘束されることなく、本発明の画像再生機は、検索対象物の時系列画像を取得する状況下において利用可能である。

そのため、画像を再生できる、テレビ、卓上ビデオ、DVD（Digital Versatile Disc）、デジタルカメラ、ビデオカメラ、モバイル機器、携帯電話等の再生機を有するものであれば、本発明を実施することができる。

本実施例では、特に監視カメラにおいて撮影された画像に関する画像再生機について、図１から図１３までを用いて、以下説明する。

なお、本願明細書中で用いている検索とは、画像が記憶されている記憶部中から監視カメラに写る監視対象を検索するという意味で用いている。

図１は、本発明の第１の実施の形態における、画像再生機１００の全体構成を示す概略ブロック図である。

図１において、画像再生機１００は、監視カメラ１０１と、監視カメラ１０１から入力される監視映像に対し人物特徴情報を抽出する人物特徴抽出部１０２と、人物特徴情報を記憶する人物情報記憶部１０６と、監視映像を蓄積する映像記憶部１０７と、監視映像と人物特徴情報とを用いて人物検索を行う人物検索部１１４と、表示部１１１と、ユーザーの検索要求や軌跡の修正情報を入力するための入力部１１２と、検索対象物となりうる画像に付する識別子を生成する識別子生成部１１３とから構成される。

監視カメラで撮影される画像は、たとえば、JPEG(Joint Photographic Experts Group)形式の画像である。

監視カメラで撮影される画像は、ＪＰＥＧやＪＰＥＧ２０００の様な圧縮形態の静止画像、非圧縮形態の静止画像（例えば、ピクチャ、フレーム等）や、ＭＰＥＧ１，２，４の様な圧縮形態の動画像、非圧縮形態の動画像でも良い。さらに独自形式の静止画像や動画像でも良い。

以後、これらを総称して画像と呼ぶこととする。

上記人物特徴抽出部１０２は、監視映像の中の動領域を抽出する動領域抽出部１０３と、動領域情報を元に人物の軌跡を作成する行動軌跡抽出部１０４と、顔特徴を抽出する顔特徴抽出部１０５とから構成される。

上記人物検索部１１４は、画像記憶部１０７に蓄積される監視映像を再生するための映像再生部１０８と、入力部からの情報を基に映像再生部１０８で再生される映像を再構築する必要があるか否かを判定する映像再構築判定部１１０と、映像再構築判定部１１０の判定結果により、識別子生成部１１３により生成される識別子が付された画像を基に再生する画像を再構築する映像再構築部１０９とから構成される。

なお、上記人物検索部１１４の構成、名称等は、例示であるため、人物検索部１１４の各構成要素と同一の作用、効果を発揮するものであれば、上記構成に拘束されない。

また、本実施例で「映像」とは、上記のような「画像」を連続して再生したものである。以下、特にことわらないがきり「映像」とは上記定義で使用するものとする。

以上のように構成される画像再生機１００において、まず、図３、図４を用いて、上記表示部１１１に表示されるユーザーインターフェイスについて説明する。

図３の３０１は、表示部１１１により表示される監視映像再生画面を表している。

また、表示部１１１は、人物検索のためのユーザーインターフェイスも兼ねている。

図３中において、３０２で示されるものは、監視映像中に現れる人物であり、人物特徴抽出部１０２によって特徴情報が抽出されている人物である。

図３中において、３０３で示されるものは、検索対象の人物を選択するための、マウスなどにより操作可能なポインティングデバイスである。

上記構成では、入力部１１２により上記ポインティングデバイス３０３を操作する。

ポインティングデバイス３０３により、表示部１１１に表示される人物３０２の誰かを選択すると人物検索の動作がおこなわれる。

上記動作は一例であるので、例えば、表示部１１１中の人物の誰かを選択すると、「人物検索を行いますか？」等の表示を出し、これに同意する場合のみ人物検索の動作に移行するようにしても良い。

以下、図４を用いて、上記ポインティングデバイス３０３で選択された人物を人物検索する際の画像再生機の動作について説明する。

図４において、４０１は、表示部１１１に表示される画像修正画面を表している。

４０２は、上記ポインティングデバイス３０３で選択された検索対象の人物の画像である。

検索対象の人物の画像４０２の上方に、その画像が撮影された時刻が表示されている。

ここで、検索対象の人物の画像４２０は、ポインティングデバイス３０３で指定された際のものである必要は必ずしもなく、検索対象の人物の画像であれば、どのような画像でも良い。

４０４は、検索対象の人物が監視カメラに撮影されている時間の時間軸を表している。

時間軸中の網目模様で示される領域は、来店から退店までの時間の中で、検索対象者が他の人物と入替わる可能性のあるところを表している。

この入れ替わる可能性とは、複数の人物や物体が、検索対象者と、交差、接近、隠れなどすることにより起こりうる。

時間軸４０４の両端は図４の様に、画像再生機が該当の検索対象者の来店、あるいは退店したと判断された時の画像を示し、その画像の上方には、来店時間又は退店時間が示されている。

４０３には、４０１に示されるユーザーインターフェイスにおける、時間軸４０４のマークの意味が示されている。

４０６は、時間軸４０４中の網目模様の時間において検索対象者とすれ違う等により、網目模様の時間後に、検索対象者と誤認する可能性のある人物の一覧を、検索対象者も含め、縦に表している。

監視者は人物の一覧４０６中の各ラインの中に検索対象者がいるかどうかを、人物画像をポインティングデバイス等（図示なし）で、選択することで入力する。

上記ポインティングデバイスは、本実施例の構成である入力部１１２により操作される。

４０７は再検索ボタンを表しており、人物の一覧４０６の中の、監視者が検索したい対象人物の画像を人物の一覧４０６から入力部１１２を通じて選択した後に、再検索ボタン４０７を押すことで、映像の再構築が行われる。

このとき画像再生機１００における映像再構築判定部１１０は、入力部１１２から人物の一覧４０６中の検索対象者を選ぶ信号が入力されたか否かを判定する。

判定の結果、検索対象者を選ぶ信号が入力されていれば、映像再構築部１０９で映像の再構築が行われる。この映像再構築については、後述する。

判定方法に関しては、当業者が普通に適用する判定方法であればなんでも良い。

本実施例では、映像再構築判定部１１０は、入力部１１２から人物の一覧４０６中の検索対象者が選ばれたか否かが、その入力信号を検出することで判定されているが、これに拘束されることなく、たとえば過去の検索対象者の選択結果を記憶したデータベース中のデータを基に、入力がなくとも画像再生機が自動的に判定するようにしても良い。

４０８は人物映像再生ボタンであり、この人物映像再生ボタン４０８を押すことで検索対象者の全映像を再生することが可能となる。

ここで、上記図４中の時間軸４０４の網目模様で示される検索対象者の入れ替わりがどのようにして起きるかを説明し、このとき付される画像の信頼度（識別子）に関して図５を用いて説明する。

図５において、５０１は、本発明における人物情報を模式的に表している。

この場合、図５に示すように、AさんとBさんとがカメラにより撮影されている。

図５（a）は、t時における画像であり、図５（b）は、AさんとBさんとが交差した後の画像である、t＋２時における画像を示している。

上記t+2時の画像は、例示であり、AさんとBさんとが入れ替わった後の画像であれば他の時刻の画像でも良い。

５０２〜５０５は、フレーム間差分などで抽出可能な、特定個人を模式的に表している。

図５では、５０２、５０５はＡさんの、５０３、５０４はＢさんを模式的に表している。

５０６は、ＡさんとＢさんとが交差したことを表しているが、その結果、５０２のＡさんが、Aさん画像５０５とBさん画像５０４とのどちらであるかが分からなくなることが生じることがある。

これは、顔特徴情報を用いた人物検索において、顔特徴情報の近さの判定は、顔向きや照明変動の影響を大きく受けるためである。

この様な場合には、交差した直後の画像の中で最もAさんに近いと認識された画像を交差する直前のAさん画像との関係において信頼度を高に設定し、その他の入替わる可能性のある相手（この場合Bさん画像）画像を交差する直前のAさん画像との関係において信頼度を低に設定し、人物特徴情報として人物情報記憶部１０６に記憶する。

上記の認識の手法は、この分野の当業者が、画像認識の際に普通に用いる顔認識等の人物を認識できる認識手法であればなんでも良い。

以上のように構成される画像再生機１００の動作について、図２から図９を用いて、具体的例示を示しながら以下説明する。

ここでは、ある店において、客の来店から退店までを撮影する複数の監視カメラによる画像を再生する画像再生機について考える。

この複数のカメラは、互いに重複する場所は撮影しないものとし、この複数のカメラにより監視されている店内は、いずれかのカメラによりいずれの時刻においても隈なく撮影されているものとする。

なお、複数のカメラによって重複する場所が撮影されるものであっても、本発明には問題はない。

また、店内を隈なく撮影することができるのであれば、複数のカメラでなくとも、１台のカメラでも良い。

なお、図１に示す本実施例の発明の構成図には、図示はしていないが、以下のような全体的な動作は制御部が行うものとし、この制御部により最適な制御がされているものとする。

上記最適な制御を行う制御部（図示なし）とは、当業者が技術常識を加味した上で、通常適用する制御方法のうち、本実施例を実施する上で当然に適用しうる制御を行う制御部である。

まず、図２のステップ２０１では、監視カメラ１０１で画像が撮影される。

ステップ２０２では、ステップ２０１で監視カメラ１０１により撮影された監視映像が、人物特徴抽出部１０２に入力される。

このステップ２０２で行われる人物特徴抽出は、以下のステップ２０３、ステップ２０４、ステップ２０５、ステップ２１８の流れで行われる。

ステップ２０３では、まず、動領域抽出部１０３において、フレーム間差分や背景差分などの手法により、人物が存在する場所として動領域を抽出する。

次にステップ２０４では、行動軌跡抽出部１０４において、動領域抽出部１０３で得られた動領域に対して、経過時間や動領域の近さから、同一人物の軌跡として抽出する。

次にステップ２０５では、顔特徴抽出部１０５において、動領域抽出部１０３で得られた動領域に対して、人物の顔領域を探索し、得られた顔領域に対して、顔特徴情報を抽出する。

ステップ２１８では、識別子生成部１１３は、上記ステップ２０２での情報を基に人物と軌跡情報の対応付けや、軌跡間の接続関係や、軌跡が入違う可能性がある場合には、その全ての接続の可能性の接続相手や、軌跡間の接続関係の確からしさを信頼度（識別子）として生成する。

具体的には、上記信頼度は、識別子生成部１１３により生成され、図１６に示すように対応する画像に付される。

図１６は、図５における場合の信頼度の例を示したものである。

例えば、AさんとBさんとが交差した後、画像認識等により人物画像５０５がAさんと認識されると、人物画像５０５は、信頼度高に設定される。

一方、Aさん画像と入れ替わる可能性のある人物画像５０４は、信頼度低に設定される。

ステップ２０６では、図１６に示すような信頼度等の情報が、人物特徴情報として人物情報記憶部１０６に蓄積される。

また、図５に示すような人物画像５０２から人物画像５０５等の人物画像等は、映像記憶部１０７に記憶される。

本実施例では、明示的に人物情報記憶部１０６と映像記憶部１０７というふうに記憶部を分けたが、分けることなく１つの記憶部でも良い。

ステップ２０７では、終了判定が行われ、終了されない場合（S207でYesの場合）、監視映像撮影ステップ（S201）に戻り、その後、上記説明のステップが順次行われる。

これらの処理は、基本的には監視者が終了させない限り継続して行われるが、画像再生機の資源等を考慮して監視カメラから得られる全ての映像に対してこのような処理を施しても良い。

１０２の各ブロックは、本実施例では図１のように示したが本願のブロックに限定されず、本実施例の人物特徴抽出部１０２と同様の動作及び作用、効果が得られる物であれば、当業者が考え得る他の構成であっても良い。

また、識別子生成部１１３により識別子が付される情報は、軌跡情報と、軌跡間の接続関係の確からしさ（信頼度）と、処理精度により軌跡が入替わる可能性のある対象人物情報と、軌跡間の一致・不一致、または、似ている・似ていないなどを計算により算出できる情報が備わっていれば良い。

次に、上記のように撮影された映像に対して、図１の映像再生機が行う人物検索の動作を、図２（b）を用いて以下説明する。

まず、ステップ２０８では、人物検索部１１４中の映像再生部１０８が、映像記憶部１０７に蓄積される監視映像を得る。

ステップ２０９では、表示部１１１は、映像再生部１０８で再生される映像を図３の様に表示する。

ステップ２１０では、入力部１１２を介して、検索対象人物が選択される。

このとき、上述のように図３のポインティングデバイス３０３により検索対象人物が選択される。

ステップ２１１では、ステップ２１０で検索対象人物が選択されると、制御部（図示なし）が、検索対象として選択された時における検索対象人物の画像撮影時刻を中心として、その前後の一定時間分に関して、検索したい人物と入替わる可能性のある人物を人物情報記憶部１０６から見つけ出す。

ここで、検索したい人物と入れ替わる可能性のある人物とは、識別子生成部１１３により信頼度（識別子）が付された人物である。

ステップ２１２では、制御部（図示なし）が図４の様な軌跡修正画面を作成し、表示する。

この軌跡修正画面の作成フローは後程、詳述する。

ステップ２１３では、ユーザーが入力部１１２を介して、図４の人物の一覧４０６から検索対象人物を選択する。

ステップ２１４では、図４中に現れる人物画像の内、１個以上の検索対象画像が人物の一覧４０６の中から選択される。

この人物の一覧４０６は、横軸に並ぶ画像が、画像認識等により、現在同一人物として認識されているものの画像である。

例えば、人物の一覧４０６は、選択された人物４０２と入れ替わる可能性がある人物の画像とが画面下方向に向かい並べられている４つの人物の一覧４０６が存在するが、その各々の人物の一覧４０６の最上段画像がAさん、最上段から２段目の画像がBさんという風に認識されて並べえられている。

ステップ２１７では、図４の再検索ボタン４０７が選択されると（s214でYESの場合）、映像再構築部１０９により、映像の修正が行われる。

この映像の修正に関しては、以下で詳述する。

この場合、図４に示す人物の一覧４０６から検索対象者が選ばれていないと映像再構築判定部１１０により判定されると、再検索する必要がないため再検索は行われない。

その後、映像再構築部１０９において、再度、修正画面が作成され（Ｓ２１２）、表示され、順次、Ｓ２１２、Ｓ２１３、Ｓ２１４、Ｓ２１７のステップを実行されて行く。

このときに、図４に表示される時間範囲を、徐々に広がる様にして、動作させても良い。

その後、ステップ２１６では、図４の人物再生ボタン４０８が選択されると、検索対象人物として、検索されている全軌跡の映像を再生し、処理を終える。

次に、映像再構築部１０９の中で行われる上記ステップ２１７の処理内容について、説明する。

まず、図６は映像の再構築を模式的に表すものである。図６において、Ａさんの軌跡は６０９で示されている。

６０１、６０２は、例えばAさんとBさんとが交差する前のAさん、Bさんのそれぞれの画像を示す。

また、６０３、６０４は、例えばAさんとBさんとが交差した後のAさん、Bさんのそれぞれの画像を示す。

本願発明の画像再生機では、６０９に示すように、例えばAさんとBさんとが交差した後、最もAさんであると認識されるものに対して、識別子生成部１１３は、信頼度（以下、識別子生成部１１３で生成される識別子を信頼度と呼ぶ。）が高に設定された識別子を生成する。

信頼度とは、検索対象人物であるかどうかの確からしさであり、例えば、高（１）と低（０）の２値で表されるようにしたものである。

そのため、Aさんと、例えば交差する可能性がある人物画像（図６については、Bさん画像）についてもなんらかの信頼度が付されることとなる。

図６の場合、例えばAさんとBさんとが交差した後、本願発明の画像再生機は、Bさんの画像６０３をAさん画像と認識する。

そうすると、Bさん画像６０３には、高い信頼度が関連付けられる。

また、例えば、交差した後のAさん画像６０４は、Aさん画像として認識されないが、上記のように何らかの信頼度（例えば、低い信頼度）が付される。

上記、Aさん画像６０３、Bさん画像６０４の内、Aさんを認識するための認識方法としては、顔の特徴部分を抽出して認識する顔認識以外にも、当業者であれば当然に適用する認識方法であれば、どのような方法を用いても良い。

また、上記交差する可能性のある人物に関しては、図示はしていないが、その動きベクトル等からAさんと交差する可能性がある人物を抽出する抽出部や、Aさんを中心とした半径数ｍの範囲にいる人物をAさんと交差する人物として抽出する抽出部が考え得る。

さらに、上記抽出方法を組み合わせ、よりAさんと交差する人物について抽出する抽出部も考え得る。

上記抽出方法でなくとも、この人物抽出方法に関しては、当業者であれば当然に適用する人物抽出方法を実行する抽出部であれば、どのような抽出部を用いても良い。

次に、図７から図１３、図１９、図２０を用い、より具体的に映像再構築部１０９の中で行われる上記ステップ２１７の処理動作について説明する。

なお、図８から図１３までのアルファベット（A、B、C等）で示される人物画像をつなぐ実線は、実線でつながれた人物画像が、その一つ前の人物画像（図６でいうと、画像６０３に対する画像６０１）に対し、最も信頼度が高い画像であることを示し、破線は一つ前の人物画像に対する信頼度が低い画像であることを示す。

また、図８から図１３までの図は、カメラにより撮影された、Aさん、Bさん、Cさんの画像を時系列に並べたもので、この実施例を含む明細書中では、「軌跡」という表現を用いている。

まず、図１９に示される映像再構築部１０９の構成要素について説明する。

画像間接続関係判定部１１９２は、検索対象人物の軌跡の中で、画像間に関連性がないものがあるか否かを判定する。

例えば、図１０において、１００１の上段、Aさん軌跡の真ん中の画像と右端の画像とは、実線、又は、点線で接続されていない。

そのため、画像間接続関係判定部１１９２は、この２つの画像間には何の関係もないと判定する。

上記は、模式的な説明であり、現実的には、画像間接続関係判定部は図１６に示すように記憶されているデータにより隣り合う時系列画像に何らかの関連性があるか否かを判定する。

上記のように判定されていた画像は、実際は、正当画像フラグ生成部１９９１により、正当画像フラグが付され、図２０のように管理される。

この明細書中で「画像を入れ替える」というのは、実際は所定の判断がされた後の画像に、上記正当画像フラグ生成部１９９１がフラグを付すことを意味するが、理解を容易にするために、図面では模式的に画像を入れ替える様子を示す。

例えば、図２０（a）のように、図６のAさん、Bさん軌跡が判断されているとする。

本実施例の画像再生機により、図６に示されるようなAさん軌跡は、Aさん画像６０１とBさん画像６０３とからなる軌跡から、Aさん画像６０１とAさん画像６０４とからなる軌跡へ、入れ替えられる。

このとき図２０（ｂ）に示すように、Aさん軌跡中の画像には、正当画像フラグが付される。図２０（ｂ）では、Aさん画像６０１とAさん画像６０４とに、Aさんの正当画像フラグありとされている。

一方、Bさん画像６０３にはAさんの正当画像フラグはなしとされる。

図２０（ｂ）では、フラグのあり、なししか記載されていないが、実際は、Aさんの正当画像フラグ、Bさんの正当画像フラグとの区別がされている。

次に、映像再構築部１０９の動作を説明する。

検索対象人物であるAさんと交差する可能性がある人物を抽出する抽出部（図示なし）により、図９に示すように、Aさん、Bさん、Cさんの３人の人物が抽出された場合に、ユーザーは、図９の９０１に示す２つの画像をＡさんとして入力部１１２から入力する。

入力された信号は、図１９に示す入力信号記憶部１９９３に記憶される。

上記図９を用いた説明は、模式的な図による説明であり、実際のユーザーインターフェイスについては、図４の様に、各軌跡（信頼度高でつながる軌跡）が代表静止画で表されている。

そのため、図９で９０１に示す２つの軌跡を入力する行為は、人物の一覧４０６の中で正しい検索対象者（図９の場合Aさん）を選択する動作に当たる。

例えば、図９と人物の並び方が違うため適切な例ではないが、図４でいうと、画面に向かって左から2番目の人物の一覧４０６の上段の画像と、４番目の人物の一覧４０６三段目の画像とを選ぶ感じである。

上記のように検索対象者が選択されると、映像再構築判定部１１０により映像の再構築を行うと判定される。

図７のステップ７０１では、図９に示すように選択された画像がＡさんの画像として、Ｃさんの画像とが入れ替えられる。

図９においては、矢印９０２で示されるようにAさんの軌跡を示す上段の右端のCさん画像とCさんの軌跡を示す下段の右端のAさん画像とが入れ替えられる。

ステップ７０２では、再構築された軌跡の時間的前後画像が信頼度で接続されていない、異なる人物の画像と接続されているか否かが画像間接続関係判定部１９９２によって判定される。

上記のように映像再構築部１０９で入れ替えられた結果、図１０に示すようになるが、１００３に示す様に、ＢさんとＣさんの間には、接続関係が存在しない。

ここで接続関係が存在しないというのは、図８の２段目のBさん軌跡においてBさんと認識されたBさん画像（左）とCさん画像（右）との間に、実線又は点線で示すような接続がないことをいう。

つまり、何らかの信頼度による接続がないということは、図８のBさん軌跡中のCさん画像（右）は、並べられているBさん軌跡のBさん画像（左）とは何ら関連性がないことを意味する。

信頼度による接続関係が図１０の上段のAさんの軌跡の中央Cさん画像と右端のAさん画像との間にはないにもかかわらず、同じ人物の軌跡とされてしまい、矛盾が生じている（S７０２でYES）。

また、１００２が示すように、Cさんの軌跡の中央Bさん画像と右端のCさん画像との間にも同様に矛盾が生じてしまっている（S７０２でYES）。

これを解消すべく、ステップ７０３では、図１０の矢印１００４に示す様にAさんの軌跡の中央Ｃさん画像とCさんの軌跡の中央Ｂさん画像とが入れ替えられる。

その結果、図１１の様になるが、１１０３に示す様に、図１１上段に示すAさんの軌跡の左端のＡさん画像と、そのAさんの軌跡の中央のＢさん画像との間には、接続関係が存在しないにも関わらず、同じ人物の軌跡とされてしまい、矛盾が生じている（S７０２でYES）。

同様に１１０２に示す様に図１１の下段に示すCさんの軌跡の左端のＢさん画像と、そのCさんの軌跡の中央のＣさん画像との間にも矛盾が生じてしまっている（S７０２でYES）。

これを解消すべく、ステップ７０３では、１１０４に示す様に図１１の中段に示すBさんの軌跡の左端のCさん画像と下段に示すCさんの軌跡の左端のＢさん画像とが入れ替えられる。

その結果、図１２の様になるが、１２０２に示す様に、図１２の上段のAさんの軌跡の左端のAさん画像と、そのAさん軌跡の中央のＢさん画像との間には、接続関係が存在しないにも関わらず、同じ人物の軌跡とされてしまい、矛盾が生じたままになっている（S７０２でYES）。

これを解消すべく、ステップ７０３では、１２０２に示す様に、図１２の上段のAさんの軌跡の左端のＢさん画像とAさんの軌跡の中央のＡさん画像とが入れ替えられる。

その結果、図１２に示す様に、Aさん、Bさん、Cさん、いずれの軌跡も何かしらの接続関係がある状態に落ち着き、映像再構築部１０９による処理は終了する。

その後、最終的に落ち着いた画像に対して、正当画像フラグ生成部１９９１により、正当画像フラグが付され人物情報記憶部１０６で管理される。

上記構成を有する画像再生機による動作により、視覚的にどのようになるかを示したものが図１７と図１８である。

図１７と図１８とに示す６つの画面は、それぞれの画面の左上に付された番号順に時系列に再生される画像を示している。

それぞれの画面中には、複数の人物が撮影されており、太枠で囲まれている人物が監視対象人物である。

この例では、監視対象人物を太枠で囲んでいるが、これに拘束されることなく、例えば、監視対象人物上部に矢印等の印をつけるなど、他の人物と見分けがつくようにすれば良い。

例えば、図１７におけるAさんをポインティングデバイス等で選択する。

その後、ポインティングデバイス等で選択されたAさんであると画像再生機により認識された人物の映像が再生される。

図１７がそれに当たるが、図１７の画面２でAさんはBさんを途中で追い抜いたところで、画像再生機がBさんをAさんと誤認識しているため、その後の映像は、Bさんの映像となっている。

正しいAさん映像を取得するため、本実施例記載の画像再生機における上述の動作を行う。

これにより、図１８に示すような、正しいAさん映像を再生することができる。

以上のような構成を有する画像再生機により、検索対象となる可能性がある画像に識別子を付して管理することができる。

これにより、顔特徴情報を用いた人物検索において、顔特徴情報の近さの判定を行う際に、顔向きや照明変動の影響を受け、全く違う他人が検索対象人物と判定された場合であっても、上記のように識別子が付された検索対象となる可能性がある画像との入れ替えを行うことができるため、検索対象人物の検索精度の低下を抑えることができ、安定した検索結果を得ることができる。

さらに、上記のように検索対象となる可能性がある画像に識別子を付して管理しているため、顔特徴情報を用いた人物検索において、全く違う他人が検索対象人物と判定された場合であっても、記憶されている全ての画像の検索を要せず、識別子が付されていた検索対象となる可能性がある人物の画像のみを検索すれば良いため、従来よりも検索対象となる画像を減らすことができる。

これにより、画像再生機における計算量を低減することができる。

また、本実施例記載の発明は、画像再生機の計算量を低減できることから、例えば、物理的なメモリ容量が他の機器に比べ制限される、携帯電話、モバイル等の端末に関しては、さらに有効である。

また、上記で説明のように、検索対象者以外の軌跡も修正されるという効果も得られる。

なお、映像再構築部１０９において、正解軌跡情報を人物単位に保持しておき、軌跡修正ステップＳ２１７において、監視対象者の軌跡の接続関係を再計算しても良い。

監視対象者に関する正しい人物特徴情報が複数になるため、精度が向上することになる。また、図４の時間軸４０４で示された、時間範囲以外の接続関係の精度も向上する効果がある。

同様に、検索対象人物として、選択されなかった軌跡情報を、監視対象者の不正解情報として、保持しておいても良い。

これにより、検索対象外の人物を含めた軌跡の接続関係を再計算することができ、精度が向上することになる。

また、本実施例では、信頼度は、高と低としたが、例えば、画像認識により高い認識率を持つものを信頼度高とし、近接フレーム間中の複数の動物体のうちで、交差、接近、隠れなどをして、軌跡が重なったり途切れたりする可能性のあるものを、信頼度中とし、その他を信頼度低にする等も考え得る。

本実施例の信頼度は例示であるため、これに拘束されることなく、画像を識別する識別子であれば、他のものでもよい。

なお、本実施例では、画像再生機について説明したが、本実施例で説明した画像再生機の各構成要素が協働することにより奏される作用、効果を得ることができる映像再生方法についても考え得る。

また、従来の一般的な画像再生機に組み込むことで、本実施例で説明した画像再生機の各構成要素が協働することにより奏される作用、効果を得ることができるプログラムについても考え得る。

また、従来の一般的な画像再生機を制御することで、本実施例で説明した画像再生機の各構成要素が協働することにより奏される作用、効果を得ることができる集積回路についても考え得る。

なお、本実施例では、検索対象人物についての画像再生装置に関して説明したが、人物に限ることなく検索対象が物や他の生物の画像である場合も、本実施例の画像再生装置を用いることができる。

本実施例では、実施例１記載の画像再生機について、対象画像に付される識別子の更新方法について記載する。

実施例１と同様に、画像を再生できる、テレビ、卓上ビデオ、DVD（Digital Versatile Disc）、デジタルカメラ、ビデオカメラ、モバイル機器、携帯電話等の再生機を有するものであれば、本発明を実施することができる。

識別子の更新方法以外は、実施例１と同じであるため、ここでは詳述しない。

本実施例では、特に監視カメラにおいて撮影された画像に関する画像再生機について、図１４、図１５を用いて、以下説明する。

上述の実施例１で説明したように、映像再構築部１０９において、信頼度による接続関係を基に画像の入れ替えを行い、接続関係に矛盾がなくなるまで画像間の入れ替えを行う。図１５の１５０１がそれに当たる。

入れ替えの結果、例えば、１５０１上段のAさん軌跡中の点線で示すような信頼度低の接続により結ばれる画像がAさんの軌跡になっている。

このとき、１５０２に示されるように、Aさんの軌跡とみなされた画像の接続は、図１４に示す識別子入替部１４１５により信頼度高の接続（実線）に更新され、その他の画像の接続は、信頼度中の接続（点線）に更新される。

実際は、図１６に示されるようなデータが更新される。

これにより、次に同一対象物に関する時系列画像を検索する場合、計算量、計算時間を削減することができる。

なお、本実施例では、画像再生機について説明したが、本実施例で説明した画像再生機の各構成要素が協働することにより奏される作用、効果を得ることができる映像再生方法についても考え得る。

また、従来の一般的な画像再生機に組み込むことで、本実施例で説明した画像再生機の各構成要素が協働することにより奏される作用、効果を得ることができるプログラムについても考え得る。

また、従来の一般的な画像再生機を制御することで、本実施例で説明した画像再生機の各構成要素が協働することにより奏される作用、効果を得ることができる集積回路についても考え得る。

なお、上記実施例１又は実施例２に示す本願発明の画像再生機の構成は、一例であるため、本発明はかかる上記実施例に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

本発明によって、映像再構築に際し、検索対象となる画像を減らすことができる画像再生機を提供することができる。

本実施例１記載の画像再生機の構成図 （a）本実施例１記載の画像再生機の映像撮影動作フロー図（ｂ）本実施例１記載の画像再生機の映像再構築動作フロー図 本実施例１記載の画像再生機のユーザーインターフェイス図（１） 本実施例１記載の画像再生機のユーザーインターフェイス図（２） （a）本実施例１記載の検索対象人物入れ替わり前の模式図（ｂ）本実施例１記載の検索対象人物入れ替わり後の模式図 本実施例１記載の人物軌跡の図（１） 本実施例１記載の映像再構築の動作図 本実施例１記載の人物軌跡の図（２） 本実施例１記載の人物軌跡の入替図（１） 本実施例１記載の人物軌跡の入替図（２） 本実施例１記載の人物軌跡の入替図（３） 本実施例１記載の人物軌跡の入替図（４） 本実施例１記載の人物軌跡の入替図（５） 本実施例２記載の画像再生機の構成図 本実施例２記載の人物軌跡の信頼度更新図（１） 本実施例１記載の画像と信頼度との対応図 本実施例１記載の画像再生機による、映像再構築前の再生映像図 本実施例１記載の画像再生機による、映像再構築後の再生映像図 本実施例１記載の画像再生機における映像再構築部の構成図 （a）本実施例１記載の画像と信頼度との対応図（b）本実施例１記載の画像と正当画像フラグとの対応図

符号の説明

１０１ 監視カメラ
１０２ 人物特徴抽出部
１０３ 動領域抽出部
１０４ 行動軌跡抽出部
１０５ 顔特徴抽出部
１０６ 人物情報記憶部
１０７ 映像記憶部
１０８ 映像再生部
１０９ 映像再構築部
１１０ 映像再構築判定部
１１１ 表示部
１１２ 入力部
１１３ 識別子生成部
１１４ 人物検索部

Claims (11)

1. ピクチャ内の所定画像を抽出する所定画像抽出部と、
   前記所定画像抽出部により抽出される第１のピクチャ内の第１の所定画像との関係において所定条件を満たす画像である、前記所定画像抽出部により抽出される第２のピクチャ内の所定画像に対して付する所定識別子を生成する識別子生成部と、
   前記所定識別子に従って、前記第1のピクチャ内の第１の所定画像と前記第2のピクチャ内の所定画像の１つの画像とに付する所定フラグを生成する正当画像フラグ生成部と、
   を備える、画像再生機。
2. 前記正当画像フラグ生成部は、前記第２のピクチャ内の所定画像の中で前記所定識別子によって示される値が一番大きい前記所定識別子が付された画像に対して前記所定フラグを付す、請求項１記載の画像再生機。
3. さらに、前記第２のピクチャ内の所定画像の中で前記所定フラグが付された画像である第１のフラグ画像が第１の所定条件を満たすか否かを判定する映像再構築判定部を備え、
   前記第1のフラグ画像が前記第１の所定条件を満たさないと前記映像再構築判定部により判定されるとき、
   前記正当画像フラグ生成部は、前記第1のフラグ画像に替え、前記第１の所定条件を満たす画像であり、前記第2のピクチャ内の所定画像の１つの画像である第２のフラグ画像に付する所定フラグを生成する、請求項１又は２記載の画像再生機。
4. さらに、前記第１のフラグ画像に付される第１の識別子で示される値と前記第2のフラグ画像に付される第２の識別子で示される値とを入れ替える識別子入替部を備える、請求項３記載の画像再生機。
5. 前記第１の所定条件は、前記第１のピクチャ内の第１のフラグ画像と前記第２のピクチャ内の１つの画像である第２のフラグ画像とが同一対象物画像であると認識されるという条件である、請求項３又は請求項４記載の画像再生機。
6. さらに、前記第１の所定条件が入力される入力部を備える、請求項３から請求項５までのいずれかに記載の画像再生機。
7. さらに、前記第２のピクチャ内の画像に前記所定識別子が付されているか否かを判定する画像間接続関係判定部を備え、
   前記所定フラグが付された前記第２のピクチャ内の画像である第３のフラグ画像に、前記所定識別子が付されていないと前記画像間接続関係判定部により判定されるとき、
   前記正当画像フラグ生成部は、前記第３のフラグ画像に変え、前記識別子生成部により生成される第２の所定識別子が付された画像である前記第２のピクチャ内の第４のフラグ画像に対して付す所定フラグを生成する、請求項１記載の画像再生機。
8. さらに、前記第２のピクチャは、前記第１のピクチャよりも後の時刻に表示される、請求項１から請求項７までのいずれかに記載の画像再生機。
9. 前記第２のピクチャが表示される場合において、
   前記第２のピクチャ内の所定画像は、前記第１のピクチャ内の第１の所定画像である第１の対象物画像の近辺に位置する対象物画像である、請求項１から請求項８までのいずれかに記載の画像再生機。
10. ピクチャ内の所定画像を抽出する所定画像抽出ステップと、
    前記所定画像抽出部により抽出される第１のピクチャ内の第１の所定画像との関係において所定条件を満たす所定画像である、前記所定画像抽出部により抽出される第２のピクチャ内の所定画像に対して付する所定識別子を生成する識別子生成ステップと、
    前記所定識別子に従って、前記第1のピクチャ内の第１の所定画像と前記第2のピクチャ内の所定画像の１つの画像とに所定フラグを付する正当画像フラグ生成ステップと、
    からなる画像再生方法。
11. ピクチャ内の所定画像を抽出する所定画像抽出ステップと、
    前記所定画像抽出部により抽出される第１のピクチャ内の第１の所定画像との関係において所定条件を満たす所定画像である、前記所定画像抽出部により抽出される第２のピクチャ内の所定画像に対して付する所定識別子を生成する識別子生成ステップと、
    前記所定識別子に従って、前記第1のピクチャ内の第１の所定画像と前記第2のピクチャ内の所定画像の１つの画像とに所定フラグを付する正当画像フラグ生成ステップと、
    を実行させるプログラム。

Images