JP2018005555A - 画像処理装置、情報処理装置、および方法、並びにプログラム - Google Patents

画像処理装置、情報処理装置、および方法、並びにプログラム Download PDF

Info

Publication number
JP2018005555A
JP2018005555A JP2016131656A JP2016131656A JP2018005555A JP 2018005555 A JP2018005555 A JP 2018005555A JP 2016131656 A JP2016131656 A JP 2016131656A JP 2016131656 A JP2016131656 A JP 2016131656A JP 2018005555 A JP2018005555 A JP 2018005555A
Authority
JP
Japan
Prior art keywords
moving object
feature amount
unit
attribute
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2016131656A
Other languages
English (en)
Other versions
JP2018005555A5 (ja
Inventor
典子 石川
Noriko Ishikawa
典子 石川
正和 海老原
Masakazu Ebihara
正和 海老原
和博 嶋内
Kazuhiro Shimauchi
和博 嶋内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2016131656A priority Critical patent/JP2018005555A/ja
Priority to EP17736774.5A priority patent/EP3479290A1/en
Priority to PCT/JP2017/022464 priority patent/WO2018003561A1/en
Priority to US16/094,692 priority patent/US20190122064A1/en
Publication of JP2018005555A publication Critical patent/JP2018005555A/ja
Publication of JP2018005555A5 publication Critical patent/JP2018005555A5/ja
Abandoned legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】オブジェクトの属性に応じた特徴量抽出処理により、オブジェクト属性に応じた高精度かつ効率的な検索を実現する。【解決手段】画像から検出された動体オブジェクトの動体属性を判定し、動体属性に応じて動体枠を分割し、特徴量抽出対象とする分割領域を決定する。決定した分割領域から特徴量を抽出してメタデータを生成する。動体属性が人であるか車であるか、さらに車種、車の方向、さらに動体枠のサイズ、カメラの俯角等に基づいて動体枠の分割態様、特徴量抽出領域を決定し、特徴量情報を記録したメタデータを生成する。オブジェクト検索においては、このメタデータを適用した検索処理を実行することで、オブジェクト属性に応じた最適な検索が実現される。【選択図】図19

Description

本開示は、画像処理装置、情報処理装置、および方法、並びにプログラムに関する。さらに詳細には、画像から人、車等のオブジェクト検出処理を実行する画像処理装置、情報処理装置、および方法、並びにプログラムに関する。
近年、駅、ビル、公道、その他の様々な場所に監視カメラ(セキュリティカメラ)が設置されている。これら監視カメラの撮影画像は、例えばネットワークを介してサーバに送信され、データベース等の記憶手段に記憶され、サーバ、あるいはネットワーク接続された検索装置(情報処理装置)を適用した様々なデータ処理に利用される。
サーバや検索装置(情報処理装置)が実行するデータ処理は、例えば、特定人物や特定車両等のオブジェクト検索、追跡処理等である。
このような監視カメラを用いた監視システムでは、撮影画像データから特定オブジェクトを検出するために、動体検出や、顔検出、あるいは人検出等、様々な種類の検出処理を組み合わせて実行する。
カメラ撮影画像からのオブジェクト検出、追跡処理は、例えば、様々な事件の不審者や犯人捜査に活用されている。
このような監視カメラ(セキュリティカメラ)の設置数は、近年、爆発的に伸びており、年間に記録される映像はすでに1兆時間を超えていると言われている。この流れは今後も加速する傾向にあり、数年後には現在の数倍の記録時間に達すると予測されている。しかし、このような現状であるにも関わらず、事件発生等の有事の際は、今でもオペレータが大量に記録された映像を一つ一つ再生して確認すると言った、目視による検索をしている事例が多く、年々オペレータの人件費が増加しているという問題が生じている。
上記のようなデータ処理量の増大を解決するための構成について様々な提案がなされている。
例えば、特許文献1(特開2013−186546号公報)は、画像処理装置において、人物の衣服の特徴(色など)を抽出し、抽出特徴量を用いた画像解析処理を行なうことで、複数カメラの膨大な撮影画像データから同一人物と推定される人物を効率的に抽出する構成を開示している。
このような特徴量を用いた画像解析処理により、オペレータの作業負荷の軽減が実現される。
しかし、上記のような画像特徴量を用いた解析処理を利用した場合でもまだ多くの問題がある。
例えば、上記の特許文献1に記載の構成は、検索対象を人物に限定し、人物の衣服の色等の特徴を画像から取得するアルゴリズムを実行するものである。
この特徴量取得アルゴリズムは、画像内の人領域や顔領域を判別し、衣服部分を推定してその色情報等を取得する特徴量取得アルゴリズムであり、特徴量取得対象は人物に限定されている。
従って、追跡または検索対象が人物以外のオブジェクト、例えば車両の追跡が必要である場合、上記特許文献1に開示された人物を対象とした特徴量取得アルゴリズムを実行しても、正しい車両情報、例えば車の正しい色情報取得処理ができないという問題がある。
特開2013−186546号公報
本開示は、例えば、上述の問題点に鑑みてなされたものであり、検索や追跡対象となる様々な種類のオブジェクトに応じた最適な画像解析を実行して、オブジェクト種類に応じた検索や追跡処理を効率的にかつ高精度に実行可能とする画像処理装置、情報処理装置、および方法、並びにプログラムを提供する。
本開示の一実施例においては、例えば、検索処理や追跡処理対象とするオブジェクトの属性(例えば人、車種等)に応じて異なるオブジェクト分割を行い、オブジェクト種類に応じた分割領域単位で色情報等の特徴量を抽出し、解析する。このような処理により、オブジェクト種類に応じた検索や追跡処理を効率的にかつ高精度に実行可能とする画像処理装置、情報処理装置、および方法、並びにプログラムを提供する。
本開示の第1の側面は、
画像から検出するオブジェクトに対応するメタデータを生成するメタデータ生成部を有し、
前記メタデータ生成部は、
画像から検出された動体オブジェクトに対する動体枠を設定する動体枠設定部と、
動体枠の設定された動体の属性を判定する動体属性判定部と、
動体属性に応じて、動体枠を分割する動体枠領域分割部と、
動体属性に応じて、特徴量抽出対象とする分割領域を決定する特徴量抽出分割領域決定部と、
前記特徴量抽出分割領域決定部の決定した分割領域から特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部の抽出した特徴量を記録したメタデータを生成するメタデータ記録部を有する画像処理装置にある。
さらに、本開示の第2の側面は、
画像からのオブジェクト検索を実行するデータ処理部を有し、
前記データ処理部は、
検索対象オブジェクトの属性に応じて決定される特徴量抽出領域の特徴量に基づくオブジェクト検索を実行する情報処理装置にある。
さらに、本開示の第3の側面は、
画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、画像から検出するオブジェクトに対応するメタデータを生成するメタデータ生成部を有し、
前記メタデータ生成部が、
画像から検出された動体オブジェクトに対する動体枠を設定する動体枠設定処理と、
動体枠の設定された動体の属性を判定する動体属性判定処理と、
動体属性に応じて、動体枠を分割する動体枠領域分割処理部と、
動体属性に応じて、特徴量抽出対象とする分割領域を決定する特徴量抽出分割領域決定処理と、
前記特徴量抽出分割領域決定処理において決定した分割領域から特徴量を抽出する特徴量抽出処理と、
前記特徴量抽出処理において抽出した特徴量を記録したメタデータを生成する処理を実行する画像処理方法にある。
さらに、本開示の第4の側面は、
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
画像からのオブジェクト検索を実行するデータ処理部を有し、
前記データ処理部が、
検索対象オブジェクトの属性に応じて決定される特徴量抽出領域の特徴量に基づくオブジェクト検索を実行する情報処理方法にある。
さらに、本開示の第5の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、画像から検出するオブジェクトに対応するメタデータを生成するメタデータ生成部を有し、
前記プログラムは、前記メタデータ生成部に、
画像から検出された動体オブジェクトに対する動体枠を設定する動体枠設定処理と、
動体枠の設定された動体の属性を判定する動体属性判定処理と、
動体属性に応じて、動体枠を分割する動体枠領域分割処理部と、
動体属性に応じて、特徴量抽出対象とする分割領域を決定する特徴量抽出分割領域決定処理と、
前記特徴量抽出分割領域決定処理において決定した分割領域から特徴量を抽出する特徴量抽出処理と、
前記特徴量抽出処理において抽出した特徴量を記録したメタデータを生成する処理を実行させるプログラムにある。
さらに、本開示の第6の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
画像からのオブジェクト検索を実行するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
検索対象オブジェクトの属性に応じて決定される特徴量抽出領域の特徴量に基づくオブジェクト検索を実行させるプログラムにある。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、オブジェクトの属性に応じた特徴量抽出処理により、オブジェクト属性に応じた高精度かつ効率的な検索が実現される。
具体的には、画像から検出された動体オブジェクトの動体属性を判定し、動体属性に応じて動体枠を分割し、特徴量抽出対象とする分割領域を決定する。決定した分割領域から特徴量を抽出してメタデータを生成する。動体属性が人であるか車であるか、さらに車種、車の方向、さらに動体枠のサイズ、カメラの俯角等に基づいて動体枠の分割態様、特徴量抽出領域を決定し、特徴量情報を記録したメタデータを生成する。オブジェクト検索においては、このメタデータを適用した検索処理を実行することで、オブジェクト属性に応じた最適な検索が実現される。
本構成により、オブジェクトの属性に応じた特徴量抽出処理により、オブジェクト属性に応じた高精度かつ効率的な検索が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
本開示の処理が適用可能な情報処理システムの一例について説明する図である。 オブジェクト検索、追跡処理シーケンスについて説明するフローチャートを示す図である。 オブジェクト検索、追跡処理実行時の検索装置の表示データ(UI:ユーザインタフェース)の一例について説明する図である。 オブジェクト検索、追跡処理実行時の検索装置の表示データ(UI:ユーザインタフェース)の一例について説明する図である。 オブジェクト検索、追跡処理実行時の検索装置の表示データ(UI:ユーザインタフェース)の一例について説明する図である。 オブジェクト検索、追跡処理実行時の検索装置の表示データ(UI:ユーザインタフェース)の一例について説明する図である。 候補オブジェクトの優先度算出処理例について説明するフローチャートを示す図である。 情報処理システムを構成する装置の構成と通信データの例について説明する図である。 カメラ(画像処理装置)のメタデータ生成部の詳細構成と処理について説明する図である。 カメラ(画像処理装置)のメタデータ生成部の詳細構成と処理について説明する図である。 カメラ(画像処理装置)のメタデータ生成部の詳細構成と処理について説明する図である。 カメラ(画像処理装置)の実行するメタデータ生成処理に適用する属性対応動体枠分割情報登録テーブルの具体例について説明する図である。 カメラ(画像処理装置)の実行するメタデータ生成処理に適用する属性対応動体枠分割情報登録テーブルの具体例について説明する図である。 カメラ(画像処理装置)の実行するメタデータ生成処理に適用する属性対応動体枠分割情報登録テーブルの具体例について説明する図である。 カメラ(画像処理装置)の実行するメタデータ生成処理に適用する特徴量抽出分割領域情報登録テーブルの具体例について説明する図である。 カメラ(画像処理装置)の実行するメタデータ生成処理に適用する特徴量抽出分割領域情報登録テーブルの具体例について説明する図である。 カメラ(画像処理装置)の実行するメタデータ生成処理に適用する特徴量抽出分割領域情報登録テーブルの具体例について説明する図である。 異なるカメラ俯角に応じて異なる分割領域の設定態様、および特徴量抽出領域の設定態様の具体例について説明する図である。 カメラ(画像処理装置)の実行するメタデータ生成処理のショウサイシーケンスを説明するフローチャートを示す図である。 オブジェクト検索を実行する検索装置の表示データ(UI:ユーザインタフェース)の例について説明する図である。 オブジェクト検索を実行する検索装置の表示データ(UI:ユーザインタフェース)の例について説明する図である。 オブジェクト検索を実行する検索装置の表示データ(UI:ユーザインタフェース)の例について説明する図である。 オブジェクト検索を実行する検索装置の表示データ(UI:ユーザインタフェース)の例について説明する図である。 オブジェクト検索を実行する検索装置の表示データ(UI:ユーザインタフェース)の例について説明する図である。 オブジェクト検索を実行する検索装置において、新たな動体枠を指定した処理要求を実行した場合の処理例について説明する図である。 オブジェクト検索を実行する検索装置の表示データ(UI:ユーザインタフェース)の例について説明する図である。 カメラ(画像処理装置)のハードウェア構成例について説明する図である。 記憶装置(サーバ)、および検索装置(情報処理装置)のハードウェア構成例について説明する図である。
以下、図面を参照しながら本開示の画像処理装置、情報処理装置、および方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
1.本開示の処理を適用可能な情報処理システムの構成例について
2.特定オブジェクトの検索、追跡処理のシーケンス例について
3.特徴情報に基づく候補オブジェクトの抽出と、優先度の設定例
4.オブジェクト属性に対応した特徴量抽出領域設定を行う構成と処理について
5.カメラ(画像処理装置)のメタデータ生成部の実行するメタデータ生成シーケンスについて
6.検索装置(情報処理装置)によるオブジェクト検索、追跡処理について
7.情報処理システムを構成するカメラ、およびその他の装置のハードウェア構成例について
8.本開示の構成のまとめ
[1.本開示の処理を適用可能な情報処理システムの構成例について]
まず、本開示の処理を適用可能な情報処理システムの構成例について説明する。
図1は本開示の処理の適用可能な情報処理システムの一構成例を示す図である。
図1に示す情報処理システムは、少なくとも1台以上のカメラ(画像処理装置)10−1〜nと記憶装置(サーバ)20、検索装置(情報処理装置)30がネットワーク40を介して接続されている。
各カメラ(画像処理装置)10−1〜nは、映像の撮影・記録・解析を行い、ネットワーク40を介して、映像データと映像の解析結果として得られる情報(メタデータ)を生成して出力する。
記憶装置(サーバ)20は、ネットワーク40を介して、各カメラ10から撮影画像(映像)と、画像対応メタデータを受信し、記憶部(データベース)に蓄積するとともに、検索装置(情報処理装置)30からの検索要求等のユーザ指示を、入力し、データ処理を行なう。
記憶装置(サーバ)20は、例えば、検索装置(情報処理装置)30から入力するユーザ指示に応じて、各カメラ10−1〜nから受信した撮影画像とメタデータを用いて、画像内の特定のオブジェクト、例えば特定の人物の検索処理や、追跡処理等のデータ処理を実行する。
検索装置(情報処理装置)30は、ユーザからの指示、例えば特定人物の検索要求等の指示情報を入力し、入力した指示情報を、ネットワーク40を介して記憶装置(サーバ)20へ送信する。また、記憶装置(サーバ)20からの検索結果や追跡結果としての画像や検索・追跡結果情報等を受信し、ディスプレイへ出力する処理などを実行する。
なお、図1では、記憶装置20と、検索装置30を個別の構成とした例を示しているが、検索装置30と記憶装置20の機能を持つ1つの情報処理装置を設定した構成としてもよい。
また、図1では、記憶装置20、検索装置30を各々1台のみ示しているが、これらの機器を、複数、ネットワーク40に接続し、各サーバ、各検索装置において、様々な情報処理を実行し、処理結果を相互に送受信する構成とするなど、様々な構成が可能である。
[2.特定オブジェクトの検索、追跡処理のシーケンス例について]
次に、図1に示す情報処理システムを利用した特定オブジェクトの検索、追跡処理のシーケンス例について、図2に示すフローチャートを参照して説明する。
図2に示すフローは、図1に示す検索装置30を利用するユーザが、検索、追跡対象オブジェクトを指定して、特定オブジェクトの検索や追跡処理を実行する際の一般的な処理フローである。
図2に示すフローチャートの各ステップの処理について、順次、説明する。
(ステップS101)
まず、ステップS101において、検索装置(情報処理装置)30を利用するユーザが、検索、追跡対象オブジェクトの特徴情報を検索装置30に入力する。
この処理に際して、検索装置30の表示部(ディスプレイ)に表示されるデータ(ユーザ・インタフェース)の例を図3に示す。
図3に示すユーザ・インタフェースは、検索処理の開始時点において、検索装置30の表示部(ディスプレイ)に表示されるユーザ・インタフェースの一例である。
特徴情報指定領域51は、検索、追跡対象オブジェクトの特徴情報を入力する領域である。
検索装置30の操作ユーザは、この特徴情報指定領域51に、検索、追跡対象オブジェクトの特徴情報を入力することができる。
図に示す例では、、検索、追跡対象オブジェクトの特徴情報として、属性、色指定を行った例であり、
属性=人、
色=赤
このような指定情報が入力されている。
これは、例えば赤い服を着た人を検索することの指定情報である。
撮影画像52は、ネットワーク接続されたカメラ10−1〜nが撮影中の画像、あるいはカメラ10−1〜nが過去に撮影し、記憶装置(サーバ)20の記憶部に格納された画像である。
ステップS101では、例えばに図3に示すユーザ・インタフェースを利用して、検索、追跡対象オブジェクトの特徴情報を検索装置30に入力する。
(ステップS102)
次に、ステップS102において、検索装置30は、ステップS101において指定された検索対象オブジェクトの特徴情報に一致または類似する候補オブジェクトをカメラ撮影画像から検索する処理を実行する。
なお、検索処理は、検索装置30が実行してもよいし、検索装置30が記憶装置(サーバ)20に検索コマンドを送信して、記憶装置(サーバ)20側において実行する構成としてもよい。
(ステップS103〜S105)
次に、ステップS103において、検索装置30は、ステップS102における検索結果として、ステップS101でユーザが指定した特徴情報と一致または類似する候補オブジェクトの一覧を候補オブジェクトリストとして表示部に表示する。
この表示データの一例を図4に示す。
図4に示すユーザ・インタフェースには、先に図3を参照して説明した特徴情報指定領域51に併せて、候補オブジェクトリスト53が表示されている。
候補オブジェクトリスト53には、ユーザが検索対象オブジェクトの特徴情報として指定した情報、例えば、属性=人、色=赤に一致または類似する複数のオブジェクトが、例えば類似度の高い順(優先度順)、かつ撮影時間順に表示される。
なお、カメラが現在、撮影中の画像を利用したリアルタイム検索処理の場合は、リスト画像を、新たな撮影画像に順次置き換える表示更新処理を逐次、実行する。
また、過去の撮影画像、すなわち記憶装置(サーバ)20の記憶部に格納済みの画像を適用した検索処理の場合は、リスト画像の更新を行うことなく固定的な画像リストの表示がなされる。
検索装置30のユーザは、表示部に表示された候補オブジェクトリスト53から、検索対象とするオブジェクトを見つけると、例えば、図4に示すように、カーソル54の指定による検索対象オブジェクト選択を行う。
この処理は、図2に示すステップS104の判定がYesと判定され、ステップS105の処理を実行する場合の処理に対応する。
表示部に表示された候補オブジェクトリスト53に、検索対象とする目的オブジェクトが見つからない場合は、ステップS101に戻り、検索対象オブジェクトの特徴情報の変更処理等を実行して、ステップS101以下の処理を繰り返す。
この処理は、図2に示すステップS104の判定がNoと判定され、ステップS101に戻る処理に対応する。
(ステップS106〜S107)
ステップS105において、候補オブジェクトからの検索対象オブジェクトの指定が行われると、ステップS106において、選択指定された検索対象オブジェクトの画像からの検索、追跡処理が開始される。
さらに、ステップS107において、検索、追跡結果が検索装置30の表示部に表示される。
これらの処理の実行時における表示画像、すなわち検索結果の表示態様としては、様々な表示例がある。複数の表示例について、図5、図6を参照して説明する。
図5に示す検索結果表示例は、各カメラの撮影画像52から検索された検索結果オブジェクト画像56と、検索結果オブジェクト拡大画像57を、検索結果として表示した例である。
さらに、図6に示す検索結果表示例は、オブジェクト追跡マップ58と、マップ連動画像59を並列に表示した例である。
オブジェクト追跡マップ58は、様々な位置に設置されたカメラ位置情報に基づいて、検索対象オブジェクトの移動ルートを矢印として示したマップである。
現在の追跡オブジェクト位置識別子60をマップ上に表示している。
マップ連動画像は、現在の追跡オブジェクト位置識別子60のオブジェクトを撮影しているカメラの撮影画像を表示している。
なお、図5、図6に示す表示データ例は、検索結果の表示データの一例であり、この他にも、様々な表示態様が可能である。
(ステップS108)
最後に、オブジェクトの検索、追跡処理を終了するか否かを判定する。この判定処理は、ユーザからの入力に基づいて実行される。
ユーザが処理終了を示す入力を行った場合は、ステップS108の判定がYesとなり、処理を終了する。
ユーザが処理終了を示す入力を行わない場合は、ステップS108の判定がNoとなり、ステップS106における検索対象オブジェクトの検索、追跡処理を継続する。
以上、図1に示すネットワークにより接続された情報処理システムを適用したオブジェクト検索処理シーケンスの一例について説明した。
なお、図5〜図6を参照して説明した処理シーケンス、およびユーザ・インタフェースは、一般的に多く行なわれるオブジェクト検索処理処理の一例であり、この他にも様々な異なるシーケンスに従った処理や、異なる表示データからなるユーザ・インタフェースを利用した処理が可能である。
[3.特徴情報に基づく候補オブジェクトの抽出と、優先度の設定例]
図2を参照して説明したフロー中、ステップS102〜S103において、検索装置30は、ユーザが指定したオブジェクトの特徴情報、例えば属性=人、色=赤等の特徴情報に基づいて、画像から候補オブジェクトの抽出処理を実行し、抽出した候補オブジェクトに対して優先度を設定し、優先度順にリスト化して表示する処理を行なう。すなわち、図4に示す候補オブジェクトリスト53の生成と表示処理を実行する。
図4に示す候補オブジェクトリスト53は、ユーザが検索対象とするオブジェクトに近いと判定されるものから順に表示することが好ましく、この処理のために、各候補オブジェクト対応の優先度を算出し、算出した優先度順に表示することが好ましい。
この優先度算出シーケンスの一例について、図7に示すフローチャートを参照して説明する。
なお、優先度算出態様には、様々な手法があり、状況に応じて異なる優先度の算出処理が実行される。
図7に示すフローは、例えば、ある事件を起こした犯人を検索対象オブジェクととした例であり、事件の発生位置、発生時間、事件発生時の犯人の服装(服の色)に関する情報が得られている場合の優先度算出処理例である。
カメラの撮影画像に含まれる多くの人物画像から、複数の候補オブジェクトを抽出して、これらの複数の候補オブジェクトに対して、犯人である確率の高い候補オブジェクトに高い優先度を設定する。
具体的には、画像から検出された候補オブジェクト各々についての位置、時間、服の色の3つのデータを、優先度算出用パラメータとして優先度を算出する。
なお、図7に示すフローは、ユーザの指定した特徴情報に類似する複数の候補オブジェクトが抽出済みであり、抽出された各候補オブジェクトの撮影位置、撮影時間、服の色の候補オブジェクト対応データが取得済みであることを条件として実行される。
以下、図7に示すフローチャートの各ステップの処理につて、順次、説明する。
(ステップS201)
まず、ステップS201において、画像から抽出した各候補オブジェクトの撮影位置情報を適用して、各候補オブジェクトに対応する予測移動位置重みW1を算出する。
この予測移動位置重みW1の算出処理は、例えば、以下のように行う。
検索対象とする検索オブジェクト(犯人)の事件発生時に撮影された犯人の画像に基づいて、予測移動方向を割り出す。例えば犯人の走って逃げる画像等から移動方向を推定し、各画像に撮影された候補オブジェクトの撮影位置が、推定移動方向に適応する位置であるほど、予測移動位置重みW1を高くする設定とする。
具体的には、例えば、事件発生時に撮影された画像から特定される犯人の位置と、候補オブジェクトの撮影画像から特定される候補オブジェクトの位置との距離Dと角度θの乗算値D×θを予測移動位置重みW1として算出する。あるいは、予め規定した関数f1を適用して、W1=f1(D×θ)を予測移動位置重みW1として算出する。
(ステップS202)
次に、ステップS202において、画像から抽出した各候補オブジェクトの撮影時間情報を適用して、各候補オブジェクトに対応する予測移動時間重みW2を算出する。
この予測移動時間重みW2の算出処理は、例えば、以下のように行う。
検索対象とする検索オブジェクト(犯人)の事件発生時に撮影された犯人の画像の撮影時間からの経過時間に基づいて、各画像に撮影された候補オブジェクトの撮影時間が、各画像から算出される移動距離に相当する時間差であると判断される時間であるほど、予測移動時間重みW2を高くする設定とする。
具体的には、例えば、事件発生時の撮影画像から特定される犯人の移動方向と速度から犯人の移動ベクトルVと、事件発生時の撮影画像から特定される犯人の位置と、候補オブジェクトの撮影画像から特定される候補オブジェクトの位置との距離Dとの演算値D/Vを予測移動時間重みW2として算出する。あるいは、予め規定した関数f2を適用して、W2=f2(D/V)を予測移動時間重みW2として算出する。
(ステップS203)
次に、ステップS203において、画像から抽出した各候補オブジェクトの服装、具体的には服の色情報を適用して、各候補オブジェクトに対応する色類似性重みW3を算出する。
この色類似性重みW3の算出処理は、例えば、以下のように行う。
検索対象とする検索オブジェクト(犯人)の事件発生時に撮影された犯人の画像から特定される服の色と、候補オブジェクトの服の色が類似すると判断されるほど、色類似性重みW3を高くする設定とする。
具体的には、例えば、H(色相),S(彩度),V(輝度)等を用いて類似性おもみ算出を行う。
事件発生時に撮影された犯人の画像から特定される服の色のH(色相),S(彩度),V(輝度)を、Ih,Is,Ivとする。
また、候補オブジェクトの服の色のH(色相),S(彩度),V(輝度)を、Th,T,Tとする。
これらの各値を適用して、色類似性重みW3を以下の式に従って算出する。
W3=(Ih−Th)+(Is−Ts)+(Iv−Tv)
上記式に従って、色類似性重みW3を算出する。
あるいは、予め規定した関数f3を適用して、
W3=f3((Ih−Th)+(Is−Ts)+(Iv−Tv)
上記式に従って、色類似性重みW3を算出する。
(ステップS204)
最後に、ステップS204において、ステップS201〜S203で算出した以下の3種類の重み情報、すなわち、
予測移動位置重みW1
予測移動時間重みW2
色類似性重みW3、
これらの各重みに基づいて、総合的な優先度Wを以下に示す式に従って算出する。
W=W1×W2×W3
なお、各重みに予め規定した係数を設定した以下のような算出処理を実行してもよい。
W=αW1×βW2×γW3
このように、各候補オブジェクトについて、優先度の算出処理を実行し、算出した優先度が高いほど、図4に示す候補オブジェクトリスト53の先頭に近い位置に表示する。
この優先度設定順の候補ブジェクト表示処理により、ユーザは、いち早く、目的とする検索、追跡対象オブジェクトをリストから発見することが可能となる。
なお、前述したように、優先度の設定態様には、様々な手法があり、状況に応じて異なる優先度の算出処理が実行される。
なお、図2〜図7を参照して説明したオブジェクト検索処理は、一般的に実行されるオブジェクトの特徴量に基づく検索処理の一例を説明したものである。
本開示のオブジェクト検索処理においては、図1に示すと同様の情報処理システムを適用し、オブジェクトの属性、例えば、検索対象オブジェクトが、人であるか、車であるか等、オブジェクト属性に応じて異なる特徴量抽出処理を実行する。
この本開示の独自の処理によって、より確実で効率的なオブジェクトの検索、追跡処理が実現される。
以下の項目において、本開示の処理の詳細について説明する。
すなわち、オブジェクト属性に応じて異なる特徴量抽出を実行し、抽出したオブジェクト属性対応の特徴量に基づいて、オブジェクトの検索、追跡を行う装置の構成と処理の詳細について説明する。
[4.オブジェクト属性に対応した特徴量抽出領域設定を行う構成と処理について]
以下、オブジェクト属性に対応した特徴量抽出領域設定を行う本開示のオブジェクト検索処理構成と処理について説明する。
以下に説明する本開示の情報処理システムは、先に図1を参照して説明したシステムと同様のシステムである。すなわち、図1に示すように、カメラ(画像処理装置)10と、記憶装置(サーバ)20と、検索装置(情報処理装置)30がネットワーク40によって接続された構成である。
ただし、オブジェクト属性に応じた特徴量抽出領域を設定した処理を実行するための独自の構成を有する。
図8は、カメラ(画像処理装置)10と、記憶装置(サーバ)20と、検索装置(情報処理装置)30の構成と処理を説明する図である。
カメラ10は、メタデータ生成部111と、画像処理部112を有する。
メタデータ生成部111は、カメラ10の撮影する画像フレーム各々に対応するメタデータを生成する。
メタデータの具体例については、後段で説明するが、例えば、撮影画像に含まれるオブジェクト属性(人、車等)対応の特徴量情報等によって構成されるメタデータを生成する。
カメラ10のメタデータ生成部111は、撮影画像から検出されるオブジェクトの属性、例えば、オブジェクトが、人であるか、車であるか等、オブジェクト属性に応じて異なる特徴量の抽出処理を実行する。この本開示の独自の処理によって、より確実で効率的なオブジェクトの検索、追跡処理が実現される。
カメラ10のメタデータ生成部111は、カメラ10の撮影する画像から動体オブジェクトを検出し、検出した動体オブジェクトの属性(人、車等)を判定し、さらに、判定した属性に基づいて動体領域(オブジェクト)の分割態様を決定する。さらに、特徴量を抽出するための分割領域を決定し、決定した分割領域からその動体の特徴量、例えば色情報等を抽出する処理を実行する。
なお、メタデータ生成部111の詳細構成と詳細処理については、後段で説明する。
画像処理部112は、カメラ10の撮影する画像の画像処理を実行する。具体的には、例えば、カメラ10の撮像部(イメージセンサ)から出力される画像データ(RAW画像)を入力し、入力したRAW画像に含まれるノイズを低減するノイズ低減処理などを実行する。さらに、RAW画像の各画素位置にRGBの全色に対応する画素値を設定するデモザイク処理や、ホワイトバランス(WB)調整、ガンマ補正等、一般的なカメラにおける信号処理を実行する。さらに、画像送信処理のための画像の符号化、圧縮処理等を実行する。
カメラ10の撮影画像と各撮影画像に対応して生成されたメタデータは、ネットワークを介して記憶装置(サーバ)20に送信される。
記憶装置(サーバ)20は、メタデータ記憶部121、画像記憶部122を有する。
メタデータ記憶部121は、カメラ10のメタデータ生成部111が生成した各画像対応のメタデータを格納する記憶部である。
画像記憶部122は、カメラ10が撮影し、画像処理部123の生成した画像データを格納する記憶部である。
なお、メタデータ記憶部121には、上述したカメラ10のメタデータ生成部111の生成したメタデータ、すなわち、オブジェクトの属性(人、車等)に応じて決定される特徴量抽出領域から得られる特徴量、例えば色情報等の特徴量が、その特徴量を抽出した領域情報に対応付けて記録される。
メタデータ記憶部121に格納される具体的な特徴量の記憶データ構成例については、後述する。
検索装置(情報処理装置)30は、入力部131、データ処理部132、出力部133を有する。
入力部131は、例えばキーボード、マウス、タッチパネル型入力部等によって構成され、ユーザからの様々な処理要求、例えばオブジェクト検索要求、オブジェクト追跡要求、画像表示要求等の入力処理に利用される。
データ処理部132は、入力部131から入力された処理要求に応じたデータ処理を実行する。具体的には、例えば、上述したメタデータ記憶部121に格納されたメタデータ、すなわち、オブジェクトの属性(人、車等)に応じて決定される特徴量抽出領域から得られる特徴量、例えば色情報等の特徴量と、特徴量抽出領域情報を用いたオブジェクト検索や追跡処理を実行する。
出力部133は、表示部(ディスプレイ)やスピーカ等によって構成され、カメラ10の撮影画像や、検索、追跡結果等のデータ出力を実行する。
また、出力部133は、ユーザ・インタフェース出力にも利用され、入力部131としても機能する。
次に、図9を参照して、カメラ(画像処理装置)10のメタデータ生成部111の詳細構成と処理について説明する。
前述したように、カメラ10のメタデータ生成部111は、カメラ10の撮影する画像から動体オブジェクトを検出し、検出した動体オブジェクトの属性(人、車等)を判定し、さらに、判定した属性に基づいて、動体領域(オブジェクト)の分割態様を決定する。さらに、特徴量を抽出するための分割領域を決定し、決定した分割領域からその動体の特徴量、例えば色情報等を抽出する処理を実行する。
図9に示すように、メタデータ生成部111は、動体オブジェクト検出部201、動体枠設定部202、動体属性判定部203、動体枠領域分割部204、徳地陽両抽出分割領域決定部205、分割領域特徴量抽出部206、メタデータ記録、出力部207を有する。
動体オブジェクト検出部201は、カメラ10の撮影画像200を入力する。なお、撮影画像200は、例えば動画像であり、動体オブジェクト検出部201は、カメラ10の撮影する動画像を構成する画像フレームを順次、入力する。
動体オブジェクト検出部201は、撮影画像200から動体オブジェクトを検出する。この動体オブジェクト検出処理は、たとえば連続撮影画像の画素値差分に基づく動体検出処理等、既存の動体検出方法を適用して実行される。
動体枠設定部202は、動体オブジェクト検出部201の検出した動体領域に枠を設定する。例えば動体領域を囲む矩形枠を設定する。
動体枠設定部202による動体枠設定処理の具体例を図10に示す。
図10〜図11には、図9に示すメタデータ生成部111の動体枠設定部202〜メタデータ記録、出力部207が実行する処理の具体例を示している。
なお、図10〜図11には、具体例として、以下の2つの処理例を並べて示している。
(1)処理例1=動体が人である場合の処理例、
(2)処理例2=動体がバスである場合の処理例、
図10に示す動体枠設定部202の処理例1は、動体が人である場合の動体枠251の設定例を示している。
動体枠251は、動体領域である人画像領域全体を囲む枠として設定される。
また、図10に示す動体枠設定部202の処理例2は、動体がバスである場合の動体枠271の設定例を示している。
動体枠271は、動体領域であるバス画像領域全体を囲む枠として設定される。
次の動体属性判定部203は、動体枠設定部202の設定した動体枠内の動体の属性、具体的には、人、車、さらに車の種類、例えば、乗用車、バス、トラック等の属性判定を行なう。
また、車の場合には、正面向きの車であるか、横向きの車であるかについても判定する。
この属性判定は、例えば、予めカメラ10の記憶部(データベース)に登録された人や、乗用車、バス等の様々な動体の形状の特徴情報を記録した辞書データとの照合処理によって行うことができる。
なお、属性の種類は、人、車の車種の他、利用する辞書データに応じて、様々な属性判定が可能である。
例えば、電車、動物、例えば犬、ねこ等について、これら各動体の特徴情報が辞書データとして記憶部に登録されている場合には、この辞書データとの照合処理を行なうことで、これらの属性についても判定可能である。
図10に示す動体属性判定部203の処理例1は、動体が人である場合の動体属性判定処理例である。
動体属性判定部203は、動体枠251内の動体形状と、様々な動体の特徴情報を登録した辞書データとの照合処理を実行し、動体枠251内の動体が人であると判定する。動体属性判定部203は、この判定結果に基づいて、動体属性=人とした動体属性情報をカメラ10の記憶部に記録する。
一方、図10に示す動体属性判定部203の処理例2は、動体がバスである場合の動体属性判定処理例である。
動体属性判定部203は、動体枠271内の動体形状と、様々な動体の特徴情報を登録した辞書データとの照合処理を実行し、動体枠271内の動体がバスであり、かつ横から見たバスであると判定する。動体属性判定部203は、この判定結果に基づいて、動体属性=バス(横)とした動体属性情報をカメラ10の記憶部に記録する。
次の動体枠領域分割部204は、動体枠設定部202の設定した動体枠を、動体属性判定部203の判定した動体属性に応じて分割する処理を行なう。
なお、分割処理は、動体枠設定部202の設定した動体枠のサイズや、図9に示すカメラの設置状況パラメータ210、具体的にはカメラの撮影角度である俯角も考慮して行われる。
俯角は、カメラの撮影方向を示す角度であり、水平方向を0°として、水平面から下向きに見下ろす角度に相当する。
図10に示す動体枠領域分割部204の処理例1は、動体が人である場合の動体枠領域分割処理例である。
動体枠領域分割部204は、動体枠設定部202の設定した動体枠を、動体枠のサイズと、動体属性判定部203の判定した動体属性=人、さらにカメラ撮影角度(俯角)に応じて分割する処理を行なう。
なお、動体枠サイズや動体属性等に応じて実行すべき領域分割情報は、予め記憶部に格納されたテーブル(属性対応動体枠分割情報登録テーブル)に登録されている。
動体枠領域分割部204は、このテーブルを参照して、動体属性が「人」である場合に実行すべき分割領域設定情報を取得し、この取得情報に従って動体枠を分割する。
カメラ10の記憶部に格納された「属性対応動体枠分割情報登録テーブル」の具体例を図12〜図14に示す。
図12〜図14は、動体属性が以下の各属性の場合について実行すべき動体枠分割数を規定した「属性対応動体枠分割情報登録テーブル」である。
(1)人
(2)乗用車(正面向き)
(3)乗用車(横向き)
(4)ボックスカー(正面向き)
(5)ボックスカー(横向き)
(6)バス(正面向き)
(7)バス(横向き)
(8)トラック(正面向き)
(9)トラック(横向き)
(10)バイク(正面向き)
(11)バイク(横向き)
(12)その他
これらの12種類の属性に応じて、かつ、動体枠サイズと、カメラ俯角に応じて動体枠の領域分割数が規定されている。
動体枠サイズは、動体枠の縦方向の画素サイズとして以下の5種類に区分されている。
(1)30画素(pixel)以下
(2)30〜60画素(pixel)
(3)60〜90画素(pixel)
(4)90〜120画素(pixel)
(5)120画素(pixel)以上
また、カメラ俯角は、以下の2種類に区分されている。
(1)0〜30°
(2)31°以上
このように、動体枠の分割態様は、以下の3つの条件に基づいて決定される。
(A)動体枠内の動体の属性、
(B)動体枠サイズ
(C)カメラ俯角
動体枠領域分割部204は、これら(A),(B),(C)3種類の情報を取得し、取得したこれらの3情報に基づいて、図12〜図14に示す「属性対応動体枠分割情報登録テーブル」から該当するエントリを選択して、動体枠の領域分割態様を決定する。
なお、(A)動体枠内の動体の属性については、動体属性判定部203の判定情報から取得する。
(B)動体枠サイズは、動体枠設定部202の動体枠設定情報から取得する。
(C)カメラ俯角は、図9に示すカメラ設置状況パラメータ210、すなわち、カメラ10の記憶部に格納されたカメラ設置状況パラメータ210から取得する。
例えば、図10の処理例1の場合、動体枠領域分割部204が、
(A)動体枠内の動体の属性=人、
(B)動体枠サイズ=150画素(縦(y)方向の長さ)
(C)カメラ俯角=5度
これらのデータを取得しているものとする。
動体枠領域分割部204は、これらの取得情報に従って、図12〜図14に示す「属性対応動体枠分割情報登録テーブル」から該当するエントリを選択する。
図12に示す処理例1対応エントリが選択される。
図12に示す処理例1対応エントリには領域分割数=6が設定されている。
動体枠領域分割部204は、図12に示す処理例1対応エントリの記録データに従い、動体枠を6分割する領域分割処理を実行する。
図10に示す動体領域分割部204の処理例1に示すように、動体枠251を縦方向に6分割して、領域1〜領域6を設定する。
また、図10に示す処理例2の場合、動体枠領域分割部204は、
(A)動体枠内の動体の属性=バス(横)、
(B)動体枠サイズ=100画素(縦(y)方向の長さ)
(C)カメラ俯角=5度
これらのデータを取得しているものとする。
動体枠領域分割部204は、これらの取得情報に従って、図12〜図14に示す「属性対応動体枠分割情報登録テーブル」から該当するエントリを選択する。
図13に示す処理例2対応エントリが選択される。
図13に示す処理例2対応エントリには領域分割数=4が設定されている。
動体枠領域分割部204は、図13に示す処理例2対応エントリの記録データに従い、動体枠を4分割する領域分割処理を実行する。
図10に示す動体領域分割部204の処理例2に示すように、動体枠271を縦方向に4分割して、領域1〜領域4を設定する。
このように、動体枠領域分割部204は、動体枠設定部202の設定した動体枠を、動体属性判定部203の判定した動体属性、動体枠サイズ、カメラの俯角に応じて分割する処理を行なう。
次の特徴量抽出分割領域決定部205の実行する処理について、図11を参照して説明する。
特徴量抽出分割領域決定部205は、動体枠領域分割部204が設定した動体枠内に設定された1以上の分割領域中、特徴量を抽出すべき分割領域を決定する処理を行なう。特徴量とは、例えば色情報である。
特徴量抽出分割領域決定部205は、動体枠領域分割部204における領域分割処理と同様、動体枠設定部202の設定した動体枠のサイズや、図9に示すカメラの設置状況パラメータ210、具体的にはカメラの撮影角度である俯角を考慮して特徴量を抽出すべき分割領域を決定する。
なお、特徴量抽出すべき分割領域については、予め記憶部に格納されたテーブル(特徴量抽出分割領域情報登録テーブル)に登録されている。
特徴量抽出分割領域決定部205は、このテーブルを参照して、特徴量を抽出すべき分割領域を決定する処理を行なう。
カメラ10の記憶部に格納された「特徴量抽出分割領域情報登録テーブル」の具体例を図15〜図17に示す。
図15〜図17は、動体属性が以下の各属性の場合について、特徴量を抽出すべき領域識別子を規定した「特徴量抽出分割領域情報登録テーブル」である。
(1)人
(2)乗用車(正面向き)
(3)乗用車(横向き)
(4)ボックスカー(正面向き)
(5)ボックスカー(横向き)
(6)バス(正面向き)
(7)バス(横向き)
(8)トラック(正面向き)
(9)トラック(横向き)
(10)バイク(正面向き)
(11)バイク(横向き)
(12)その他
これらの12種類の属性に応じて、かつ、動体枠サイズと、カメラ俯角に応じて、特徴量の抽出対象となる領域の領域識別子が規定されている。
動体枠サイズは、動体枠の縦方向の画素サイズとして以下の5種類に区分されている。
(1)30画素(pixel)以下
(2)30〜60画素(pixel)
(3)60〜90画素(pixel)
(4)90〜120画素(pixel)
(5)120画素(pixel)以上
また、カメラ俯角は、以下の2種類に区分されている。
(1)0〜30°
(2)31°以上
このように、特徴量の抽出対象とする領域は、以下の3つの条件に基づいて決定される。
(A)動体枠内の動体の属性、
(B)動体枠サイズ
(C)カメラ俯角
特徴量抽出分割領域決定部205は、これら(A),(B),(C)3種類の情報を取得し、取得したこれらの3情報に基づいて、図15〜図17に示す「特徴量抽出分割領域情報登録テーブル」から該当するエントリを選択して、特徴量抽出対象とする分割領域を決定する。
なお、(A)動体枠内の動体の属性については、動体属性判定部203の判定情報から取得する。
(B)動体枠サイズは、動体枠設定部202の動体枠設定情報から取得する。
(C)カメラ俯角は、図9に示すカメラ設置状況パラメータ210、すなわち、カメラ10の記憶部に格納されたカメラ設置状況パラメータ210から取得する。
例えば、図11に示す処理例1の場合、特徴量抽出分割領域決定部205が、
(A)動体枠内の動体の属性=人、
(B)動体枠サイズ=150画素(縦(y)方向の長さ)
(C)カメラ俯角=5度
これらのデータを取得しているものとする。
特徴量抽出分割領域決定部205は、これらの取得情報に従って、図15〜図17に示す「特徴量抽出分割領域情報登録テーブル」から該当するエントリを選択する。
図15に示す処理例1対応エントリが選択される。
図15に示す処理例1対応エントリには分割領域識別子=3,5が設定されている。
特徴量抽出分割領域決定部205は、図15に示す処理例1対応エントリの記録データに従い、分割領域3,5を、特徴量を抽出する分割領域に決定する。
図11に示す特徴量抽出分割領域決定部205の処理例1に示すように、動体枠251に設定された分割領域1〜領域6の領域3,5を特徴量抽出領域に決定する。
また、図11に示す処理例2の場合、特徴量抽出分割領域決定部205は、
(A)動体枠内の動体の属性=バス(横)、
(B)動体枠サイズ=100画素(縦(y)方向の長さ)
(C)カメラ俯角=5度
これらのデータを取得しているものとする。
特徴量抽出分割領域決定部205は、これらの取得情報に従って、図15〜図17に示す「特徴量抽出分割領域情報登録テーブル」から該当するエントリを選択する。
図16に示す処理例2対応エントリが選択される。
図16に示す処理例2対応エントリには分割領域識別子=3,4が設定されている。
特徴量抽出分割領域決定部205は、図16に示す処理例2対応エントリの記録データに従い、分割領域3,4を、特徴量を抽出する分割領域に決定する。
図11に示す特徴量抽出分割領域決定部205の処理例2に示すように、動体枠271に設定された分割領域1〜領域4の領域3,4を特徴量抽出領域に決定する。
このように、特徴量抽出分割領域決定部205は、動体枠領域分割部204によって設定された動体枠内の分割領域から、特徴量を抽出する分割領域を決定する処理を行なう。
この決定処理は、動体属性判定部203の判定した動体属性、動体枠サイズ、カメラの俯角に応じて実行する。
次の分割領域特徴量抽出部206は、特徴量抽出分割領域決定部205が決定した特徴量抽出対象領域から特徴量を抽出する処理を実行する。
図11を参照して、分割領域特徴量抽出部206の実行する具体的処理例について説明する。
なお、この実施例では、取得する特徴量は色情報である。
例えば、図11に示す処理例1は、動体枠251内の動体が動体属性=人であり、特徴量抽出分割領域決定部205が、動体枠251の分割領域1〜領域6から、領域3,5を特徴量抽出領域として決定した場合の処理例である。
この処理例1では、分割領域特徴量抽出部206は、分割領域3,5から特徴量として動体の色情報を取得する。
図11の分割領域特徴量抽出部206の処理例1として示すように、以下のように領域3,5の特徴量を取得する。
分割領域特徴量抽出部206は、領域3の特徴量として、動体枠251の分割領域3の色情報=「赤」を取得する。さらに、領域5の特徴量として、動体枠251の分割領域5の色情報=「黒」を取得する。
これらの取得情報は記憶部に格納される。
なお、図11に示す処理例1は、1つの領域から1つの色情報のみを取得する構成例であるが、例えば衣服が複数の異なる色からなる模様を有する場合など、1つの領域に複数の色が含まれる場合がある。このような場合は、1つの領域から、その領域に含まれる複数の色情報を取得し、領域対応の色情報として複数の色情報を記憶部に格納する。
また、図11に示す処理例2は、動体枠271内の動体が動体属性=バス(横)であり、特徴量抽出分割領域決定部205が、動体枠271の分割領域1〜領域4から、領域3,4を特徴量抽出領域として決定した場合の処理例である。
この処理例2では、分割領域特徴量抽出部206は、分割領域3,4から特徴量として動体の色情報を取得する。
図11の分割領域特徴量抽出部206の処理例2として示すように、以下のように領域3,4の特徴量を取得する。
分割領域特徴量抽出部206は、領域3の特徴量として、動体枠271の分割領域3の色情報=「白」を取得する。さらに、領域4の特徴量として、動体枠271の分割領域4の色情報=「緑」を取得する。
これらの取得情報は記憶部に格納される。
なお、図11に示す処理例2も、処理例1と同様、1つの領域から1つの色情報のみを取得する構成例であるが、1つの領域に複数の色が含まれる場合は、その領域に含まれる複数の色情報を取得し、領域対応の色情報として複数の色情報を記憶部に格納する。
図9に示す次のメタデータ記録、出力部207は、動体枠の設定された動体オブジェクトに関するメタデータ220を生成して出力する。メタデータ220の出力先は、図8に示す記憶装置(サーバ)20であり、メタデータ220は、図8に示す記憶装置(サーバ)220のメタデータ記憶部121に格納される。
図11を参照して、メタデータ記録、出力部207の生成するメタデータの具体例について説明する。
図11に示す処理例1は、動体枠251内の動体が動体属性=人であり、動体枠251の領域分割数が6であり、分割領域3,5から特徴量として動体の色情報を取得した例である。
この処理例1において、メタデータ記録、出力部207は、図11に示すように、以下の様な記録データを有するオブジェクト1対応メタデータを生成する。
(1)属性=人
(2)領域分割態様=縦方向に6分割
(3)特徴量取得領域識別子=3,5
(4)分轄領域特徴量=(領域3=赤、領域5=黒)
(5)動体オブジェクト検出画像フレーム情報
メタデータ記録、出力部207は、上記(1)〜(5)の情報を含むメタデータを、動体オブジェクト1対応のメタデータとして生成し、記憶装置(サーバ)20に格納する。なお、動体オブジェクト検出画像フレーム情報は、このメタデータが生成された画像フレーム、すなわち動体検出が実行された画像フレームの識別情報である。具体的には、画像を撮影したカメラのカメラ識別情報や撮影日時情報等が記録される。
メタデータは、動体オブジェクト1が検出された画像フレームの対応データとしてサーバに格納される。
また、図11に示す処理例2は、動体枠271内の動体が動体属性=バス(横)であり、動体枠271の領域分割数が4であり、分割領域3,4から特徴量として動体の色情報を取得した例である。
この処理例2において、メタデータ記録、出力部207は、図11に示すように、以下の様な記録データを有するオブジェクト2対応メタデータを生成する。
(1)属性=バス(横)
(2)領域分割態様=縦方向に4分割
(3)特徴量取得領域識別子=3,4
(4)分轄領域特徴量=(領域3=白、領域4=緑)
(5)動体オブジェクト検出画像フレーム情報
メタデータ記録、出力部207は、上記(1)〜(5)の情報を含むメタデータを、動体オブジェクト2対応のメタデータとして生成し、記憶装置(サーバ)20に格納する。なお、動体オブジェクト検出画像フレーム情報は、このメタデータが生成された画像フレーム、すなわち動体検出が実行された画像フレームの識別情報である。具体的には、画像を撮影したカメラのカメラ識別情報や撮影日時情報等が記録される。
メタデータは、動体オブジェクト2が検出された画像フレームの対応データとしてサーバに格納される。
このように、図8に示すカメラ10のメタデータ生成部111は、カメラの撮影画像に含まれる動体オブジェクト各々についてのメタデータを生成して記憶装置(サーバ)20に送信し、メタデータは、記憶装置(サーバ)20のメタデータ記憶部121に格納される。
図12〜図17を参照して説明したように、カメラ10のメタデータ生成部111は、動体枠の分割態様、および特徴量抽出対象領域を、以下の3つの条件に基づいて決定する。
(A)動体枠内の動体の属性、
(B)動体枠サイズ
(C)カメラ俯角
上記条件中のカメラ俯角について、図18を参照して説明する。
先に説明したように、カメラ俯角は、カメラの撮影方向を示す角度であり、水平方向を0°として、水平面から下向きに見下ろす角度に相当する。
図18には、2つの異なるカメラ俯角の設定による撮影態様と、撮影された画像から切り出した動体枠の分割態様、および特徴量抽出領域の設定例を示している。
図18(1)に示す例は、カメラ俯角=5°の設定による撮影態様と、動体枠分割態様、および特徴量抽出領域の設定例である。
この例は、図9〜図17を参照して説明した処理例1に対応する例であり、図12に示す「属性対応動体枠分割情報登録テーブル」中の処理例1対応エントリに従って、動体枠の分割数を6として、図15に示す「特徴量抽出分割領域情報登録テーブル」中の処理例1対応エントリに従って、特徴量抽出領域を領域3と領域5に設定した例である。
このような分割設定と、特徴量抽出領域設定により、人物の上半身の服の色と、下半身の服の色の各々を個別に判別した情報を取得することが可能となる。
一方、図18(2)に示す例は、カメラ俯角=70°の設定による撮影態様と、動体枠分割態様、および特徴量抽出領域の設定例である。
この例は、図12に示す「属性対応動体枠分割情報登録テーブル」中の処理例1対応エントリの右隣りのエントリに相当する。このエントリの登録データである分割数=4に従って、動体枠の分割数を4とする。
さらに、図15に示す「特徴量抽出分割領域情報登録テーブル」中の、
属性=人
領域分割数=4
カメラ俯角=31°〜
これらの設定のエントリの登録データ=2,3に従って、特徴量抽出領域を領域2と領域3に設定した例である。
このような分割設定と、特徴量抽出領域設定により、人物の上半身の服の色と、下半身の服の色の各々を個別に判別した情報を取得することが可能となる。
このように、動体枠の分割設定態様、および特徴量抽出領域を、カメラの設定状況としてのカメラ俯角に従って変更することで、動体の特徴をより把握可能な構成としている。
なお、上述した実施例では、動体枠の分割態様を決定するためのテーブル、すなわち、図12〜図14に示す「属性対応動体枠分割情報登録テーブル」と、特徴量を抽出する分割領域を決定するために用いるテーブル、すなわち、図15〜図17に示す「特徴量抽出分割領域情報登録テーブル」、これら2種類の個別のテーブルを適用した実施例として説明した。これら2つのテーブルは1つのテーブルにまとめることも可能であり、1つのテーブルを利用して、動体枠の分割態様決定処理と、特徴量抽出分割領域の決定処理を行なう構成としてもよい。
また、図12〜図17に示すテーブルでは、動体枠のサイズとして、高さ情報のみを用いて処理を分類しているが、動体枠の幅や、面積を考慮した構成としてもよい。
車種についても、図12〜図17のテーブルに示す以外の車種を設定してもよい。また、車の場合に正面と横のみを区分してデータを設定しているが、背面や斜め方向の場合についても設定データを設ける構成としてもよい。
また、カメラ俯角については、30°までと30°以上の2つの分類としているが、さらに、細かい分類を行う構成としてもよい。
[5.カメラ(画像処理装置)のメタデータ生成部の実行するメタデータ生成シーケンスについて]
次に、図19に示すフローチャートを参照して、カメラ(画像処理装置)10のメタデータ生成部111の実行する処理シーケンスについて説明する。
なお、図19に示すフローに従った処理は、例えばカメラの記憶部に格納されたプログラムに従い、プログラム実行機能を有するCPU等を備えたデータ処理部であるメタデータ生成部において実行される。
以下、図19に示すフローチャートの各ステップの処理について、順次、説明する。
(ステップS301)
まず、カメラのメタデータ生成部は、ステップS301において、カメラの撮影画像から動体オブジェクトを検出する。
この処理は、図9に示す動体オブジェクト検出部201の実行する処理である。この動体オブジェクト検出処理は、たとえば連続撮影画像の画素値差分等からの動体検出等、既存の動体検出方法を適用して実行される。
(ステップS302)
次に、ステップS302において、ステップS301で検出した動体オブジェクトに対して動体枠を設定する。
この処理は、図9に示す動体枠設定部202の実行する処理である。
図10を参照して説明したように、動体全体を囲む矩形枠を動体枠として設定する。
(ステップS303〜S308)
次の、ステップS303〜S308は、図9に示す動体属性判定部203の実行する処理である。
動体属性判定部203は、まず、ステップS303で、動体属性を判定しようとする動体に設定された動体枠のサイズを取得し、ステップS304において、動体枠が、許容最低サイズ以上あるか否かを判定する。
先に説明したように、動体属性判定部203は、動体枠設定部202の設定した動体枠内の動体の属性、具体的には、人、車、さらに車の種類、例えば、乗用車、バス、トラック等の属性判定を行なう。また、車の場合には、正面向きの車であるか、横向きの車であるかについても判定する。
この属性判定は、例えば、予めカメラ10の記憶部(データベース)に登録された人や、乗用車、バス等の様々な動体の形状の特徴情報を記録した辞書データとの照合処理によって行う。
しかし、動体枠サイズが小さすぎると、正確な属性判定が困難となる。ステップS303〜S304は、動体枠が、属性を正しく判定するための許容最低サイズ以上であるか否かを判定し、許容サイズ未満である場合(ステップS304の判定=No)は、属性判定処理を行なうことなく、ステップS309に進む。
なお、動体枠サイズが小さく許容最低サイズ未満である場合、図12〜図17のテーブルを用いた処理において、属性=その他として処理が実行される。
一方、ステップS302で設定した動体枠が、属性を正しく判定するための許容最低サイズ以上であると判定すると、ステップS305に進み、動体枠内の動体の上位属性の判定処理を実行する。
ステップS305〜S307において、動体の上位属性をまず判定する。
上位属性とは、動体が人であるか人でないかの判別処理である。
動体が人であると判定した場合(S306=Yes)は、ステップS309に進む。
一方、動体が人でないと判定した場合(S306=No)は、ステップS307に進む。
動体が人でないと判定した場合(S306=No)は、ステップS307において、さらに、動体が車であるか否かを判別する。
動体が車であると判定した場合(S307=Yes)は、ステップS308に進む。
一方、動体が車でないと判定した場合(S307=No)は、ステップS309に進む。
動体が車であると判定した場合(S307=Yes)は、ステップS308に進み、さらに、動体属性(下位属性)として、動体枠内の動体である車の種類と向きを判定する。
具体的には、例えば、乗用車(正面向き)、乗用車(横向き)、ボックスカー(正面向き)、ボックスカー(横向き)、バス(正面向き)、バス(横向き)、トラック(正面向き)、トラック(横向き)、バイク(正面向き)、バイク(横向き)、例えばこれらのどれに該当するかを判定する。
(ステップS309)
次のステップS309の処理は、図9に示す動体枠領域分割部204の実行する処理である。
ステップS309の処理は、以下のいずれかの場合に開始される。
(a)ステップS304において、動体枠が許容最低サイズ未満であると判定した場合、
(b)ステップS306〜S307において、動体属性が、人でも車でもないと判定した場合、
(c)ステップS306において、動体属性が人であると判定した場合、
(d)ステップS308の処理が完了し、車の種類と向きの属性判定が完了した場合、
上記(a)〜(d)の処理のいずれかが実行されると、ステップS309の処理、すなわち、図9に示す動体枠領域分割部204が、動体枠設定部202の設定した動体枠を、動体属性等に応じて分割する処理を行なう。
なお、動体枠分割処理は、動体枠設定部202の設定した動体枠のサイズや、図9に示すカメラの設置状況パラメータ210、具体的にはカメラの撮影角度である俯角も考慮して行われる。
具体的には、図12〜図14を参照して説明した「属性対応動体枠分割情報登録テーブル」を参照して、動体枠の分割処理を実行する。
動体枠領域分割部204は、動体属性、動体枠サイズ、カメラ撮影方向の俯角、これらに基づいて、図12〜図14を参照して説明した「属性対応動体枠分割情報登録テーブル」から該当エントリを抽出して、分割態様を決定する。
先に図12〜図14を参照して説明したように、動体枠の分割態様は、以下の3つの条件に基づいて決定される。
(A)動体枠内の動体の属性、
(B)動体枠サイズ
(C)カメラ俯角
動体枠領域分割部204は、これら(A),(B),(C)3種類の情報を取得し、取得したこれらの3情報に基づいて、図12〜図14に示す「属性対応動体枠分割情報登録テーブル」から該当するエントリを選択して、動体枠の領域分割態様を決定する。
(ステップS310)
次のステップS310の処理は、図9に示す分割特徴量抽出分割領域決定部205の実行する処理である。
特徴量抽出分割領域決定部205は、動体枠領域分割部204が設定した動体枠内に設定された1以上の分割領域中、特徴量を抽出すべき分割領域を決定する処理を行なう。特徴量とは、例えば色情報である。
特徴量抽出分割領域決定部205は、動体枠領域分割部204における領域分割処理と同様、動体枠設定部202の設定した動体枠のサイズや、図9に示すカメラの設置状況パラメータ210、具体的にはカメラの撮影角度である俯角を考慮して特徴量を抽出すべき分割領域を決定する。
具体的には、先に図15〜図17を参照して説明した「特徴量抽出分割領域情報登録テーブル」を参照して、特徴量を抽出すべき分割領域を決定する処理を行なう。
特徴量抽出分割領域決定部205は、動体属性、動体枠サイズ、カメラ撮影方向の俯角、これらに基づいて、図15〜図17を参照して説明した「特徴量抽出分割領域情報登録テーブル」から該当エントリを抽出して、特徴量を抽出すべき分割領域を決定する。
先に図15〜図17を参照して説明したように、特徴量を抽出すべき分割領域は、以下の3つの条件に基づいて決定される。
(A)動体枠内の動体の属性、
(B)動体枠サイズ
(C)カメラ俯角
動体枠領域分割部204は、これら(A),(B),(C)3種類の情報を取得し、取得したこれらの3情報に基づいて、図15〜図17に示す「特徴量抽出分割領域情報登録テーブル」から該当するエントリを選択して、特徴量を抽出すべき分割領域を決定する。
(ステップS311)
最後のステップS311の処理は、図9に示す分割領域特徴量抽出部206とメタデータ記録、出力部207の実行する処理である。
分割領域特徴量抽出部206は、特徴量抽出分割領域決定部205が決定した特徴量抽出対象領域から特徴量を抽出する処理を実行する。
先に図11を参照して説明したように、特徴量抽出分割領域決定部205が動体枠内の動体属性等に応じて決定した特徴量抽出分割領域から特徴量、例えば動体の色情報を取得する。
メタデータ記録、出力部207は、先に図11を参照して説明したように、以下の様な記録データを有するオブジェクト対応メタデータを生成する。
(1)属性
(2)領域分割態様
(3)特徴量取得領域識別子
(4)分轄領域特徴量
(5)動体オブジェクト検出画像フレーム情報
メタデータ記録、出力部207は、上記(1)〜(5)の情報を含むメタデータを、動体オブジェクト対応のメタデータとして生成し、記憶装置(サーバ)20に格納する。なお、動体オブジェクト検出画像フレーム情報は、このメタデータが生成された画像フレーム、すなわち動体検出が実行された画像フレームの識別情報である。具体的には、画像を撮影したカメラのカメラ識別情報や撮影日時情報等が記録される。
メタデータは、動体オブジェクト1が検出された画像フレームの対応データとしてサーバに格納される。
[6.検索装置(情報処理装置)によるオブジェクト検索、追跡処理について]
次に、図1に示す検索装置(情報処理装置)30を利用して特定の人物等の検索や追跡等を実行する処理、および、この処理に際して、検索装置(情報処理装置)30の表示部に表示される表示データ(ユーザ・インタフェース)の例について、図20以下を参照して説明する。
先に説明したように、カメラ10のメタデータ生成部111は、画像から検出された動体オブジェクトの動体属性を判定し、動体属性や、動体枠サイズ、カメラ俯角等に応じて動体枠を分割し、また特徴量抽出対象とする分割領域を決定して、決定した分割領域から特徴量を抽出してメタデータを生成する。
図1に示す検索装置(情報処理装置)30は、このメタデータを適用した検索処理を実行することで、オブジェクト属性に応じた最適な検索が実現される。
すなわち、図8に示す検索装置(情報処理装置)30のデータ処理部132は、検索対象オブジェクトの属性に応じて決定される特徴量抽出領域の特徴量に基づくオブジェクト検索を実行する。
例えば、データ処理部132は、検索対象オブジェクトの属性が人であるか車であるかに応じて決定される特徴量抽出領域の特徴量に基づくオブジェクト検索を実行する。また、検索対象オブジェクトの属性が車である場合、車の車種や方向に応じて決定される特徴量抽出領域の特徴量に基づくオブジェクト検索を実行する。
また、データ処理部132は、検索対象画像内の動体オブジェクトのサイズ、またはカメラの撮影角度情報の少なくともいずれかの情報に応じて決定される特徴量抽出領域の特徴量に基づくオブジェクト検索を実行する。
図20以下を参照して、検索装置(情報処理装置)30がオブジェクト検索を実行する際に、検索装置(情報処理装置)30の表示部に表示されるデータについて説明する。
図20は、図1に示すシステムを構成する検索装置(情報処理装置)30の表示部に表示されるデータの一例を示す図である。
特徴情報指定部301は、検索装置(情報処理装置)30を用いた検索や追跡処理を行なうユーザが検索追跡対象オブジェクトの特徴情報を入力するための領域である。
図20に示す特徴情報指定部302は、検索対象オブジェクトの属性と、領域単位の特徴を指定することが可能な構成を持つ。
指定画像表示部302は、過去の撮影画像に基づいて実行された検索処理や、ユーザによる検索処理によって抽出された検索対象オブジェクトが含まれる画像の表示領域であり、検索対象オブジェクトが含まれる画像と、その画像から抽出した検索対象オブジェクトの拡大画像等が表示される。
検索履歴情報表示部303には、過去の検索処理において抽出した画像データ等、過去の検索履歴情報が表示される。
なお、図20に示す表示データの例は一例であり、この他にも様々なデータ表示態様が可能である。
図20に示す特徴情報指定部301に対する検索対象オブジェクトの属性と、領域単位の特徴の指定処理を行なう場合、例えば、特徴情報指定部301の属性・領域単位の特徴のボックスにチェックを入力すると、図21に示す特徴情報指定パレット304が表示され、このパレットを利用して、属性や、領域単位の特徴(色等)を指定することができる。
図21に示すように、特徴情報指定パレット304には、
(a)属性選択部
(b)領域、色選択部
(c)色指定部
これらの各情報入力部が設けられている。
(a)属性選択部は、検索対象とするオブジェクトの属性を指定する領域である。具体的には、図に示すように検索対象オブジェクトが人であるか、乗用車であるか、バスであるか等の検索対象オブジェクトの属性情報を指定する。
図に示す例では、人にチェック入力がなされており、検索対象オブジェクトを人に設定した例を示している。
(b)領域、色選択部は、検索対象オブジェクトの特徴情報として、検索対象オブシェクトの領域単位の色を指定する領域である。例えば検索対象オブジェクトが人である場合、上半身の色と下半身の色を個別に設定できる構成としている。
本開示のオブジェクト検索では、前述したように動体枠の分割領域単位の特徴量(色等)を取得する構成であり、この処理に対応する指定処理を行なうことを可能としている。
(c)色指定部は、領域、色選択部における領域単位の色指定処理に適用する色情報の設定を行うための領域である。赤、黄、緑等の色指定を行った後、その明度をさらに指定することを可能とした構成を持つ。(b)領域、色選択部のいずれかの項目にチェックを入力すると(c)色指定部が表示され、チェック項目に対する色指定が可能となる。
例えば、「赤いTシャツで黒いズボンの人」を検索したいとすると、まず、(b)領域、色選択部において、検索したいオブジェクトの属性として「人」を選択する。次に、検索したいオブジェクトの領域とその色を指定する。「上半身」にチェックを入れると、(c)色指定部欄において、色を指定することができる。
検索対象となる人は、「赤いTシャツ」なので赤色を選択し、決定すると「上半身」の右側に赤色が表示される。「黒いズボン」についても同様に「下半身」を選択し、黒を指定する。
なお、図21に示す(b)領域、色選択部の例では、各領域についてそれぞれ一色のみ指定しているが、複数色を指定することも可能である。例えば、赤いTシャツに白い羽織をしていれば、「上半身」に白を追加する。そうすると、「上半身」の右側の赤色の横に白色も表示される。特徴情報指定パレット304を利用して指定した属性と領域単位の特徴(色)は、特徴情報指定部301に反映され、指定情報が各欄に表示される。
図22は、検索処理の結果表示例の一例を示す図である。
ユーザによる設定が可能な時間指定用スライダ311と、時間指定用スライダ311によってユーザが指定した時間近傍のカメラ撮影画像から検索された候補オブジェクトリスト312が表示される。
候補オブジェクトリスト312は、ユーザ指定の特徴情報と類似するオブジェクトのサムネイル画像の一覧リストである。
なお、候補オブジェクトリスト312には、各撮影時間単位で複数の候補オブジェクトが表示されるが、この表示順は、例えば、ユーザ指定の特徴情報との類似性等を考慮して算出した優先度に従って行われる。
優先度の算出は、例えば、先に図7に示すフローチャートを参照して説明した処理に従って実行することが可能である。
候補オブジェクトリスト312の左には、現在検索対象としている検索対象オブジェクト313の画像が表示される。この検索対象オブジェクト313と類似すると判定される候補オブジェクトが、所定の時間間隔の撮影画像中から検索されてリスト化されサムネイル画像(縮小画像)として表示される。
ユーザは、候補オブジェクトリスト312から、検索対象オブジェクトであると判定したサムネイル画像を、カーソル314を利用して選択することが可能であり、この選択画像が、時間指定用スライダ311の上部に各時間対応選択オブジェクト315として表示される。
なお、候補オブジェクトリスト312として表示する画像の時間間隔は、表示画像時間間隔指定部316を利用した指定処理により、自由に設定することができる。
候補オブジェクトリスト312には、ユーザの指定時間に対応する撮影時間の候補オブジェクトが最も多く表示される。それ以外の時間は、少なく表示される。このような表示制御により、各時間から検索対象オブジェクトを取りこぼしなく発見することができる。
図23は、図22に示す候補オブジェクトリスト312からの選択情報に基づいて表示される検索結果データのもう1つの表示例を示す図である。
この図23に示す検索結果表示例は、特定の人物を検索対象オブジェクトとして、その移動経路をマップ(地図)として表示した例である。
図に示すように、オブジェクト追跡マップ321が表示され、マップ内に検索、追跡対象オブジェクトの移動経路が矢印として示される。
さらに、現在の検索追跡対象オブジェクトの位置を示す追跡オブジェクト位置識別子322がマップ内に表示される。
このマップ上の移動経路は、図22を参照して説明した候補オブジェクトリスト312からユーザが選択したオブジェクトの位置情報に基づいて生成される。
オブジェクト追跡マップ321には、ユーザによる選択オブジェクトを撮影したカメラ位置にカメラアイコン323が表示され、カメラの方向と視野角も表示される。
なお、図には示していないが、カメラアイコンに併せて、検索オブジェクトが、各カメラ位置を通過した時間情報や、撮影画像のサムネイルを表示することが可能である。ユーザがカメラアイコンに併せて表示された撮影画像であるサムネイル画像をカーソル等で選択指定すると、オブジェクト追跡マップ321の隣接領域に、そのサムネイル画像の前後の時間に撮影された再生画像324が表示される。
再生画像324は、再生画像操作部325の操作により、通常再生の他、逆再生や早送り、早戻し、スライダの操作による再生位置の選択等の様々な処理が可能となる。
また、再生画像324中に検索対象オブジェクトが表示された場合、そのオブジェクトを囲む枠が表示される。
また、オブジェクト動線表示指示部326にチェックを入れると、その検索対象者の画像上の軌跡を、複数のオブジェクト枠として表示することができる。
例えば、図24に示すように、再生画像324中に検索対象オブジェクトの移動経路に従ってオブジェクト識別枠328に囲まれたオブジェクトを表示する処理を行なうことができる。
また、このオブジェクト識別枠328のいずれかを選択して枠をクリックすると、その枠にオブジェクトがいた時点の画像にジャンプして再生処理を行なうことができる。
また、オブジェクト識別枠328のいずれかを選択して枠を右クリックすると、複数のデータ処理の選択リストが提示され、提示リストからのユーザ選択により、様々な新たな処理を開始させることができる。
具体的には、例えば、
(A)このオブジェクトの検索を追加、
(B)このオブジェクトで検索をやり直す、
このような処理を新たに開始させることが可能となる。
これらの新たな処理をユーザが指定して開始させた場合の処理について、図25を参照して説明する。
図25には、オブジェクト識別枠328のいずれかを選択して、
(A)このオブジェクトの検索を追加、
(B)このオブジェクトで検索をやり直す、
上記、(A),(B)のいずれかの処理をユーザが指定した場合に行われる以下の(1)〜(4)の処理態様を示した図である。
(1)現検索オブジェクト
(2)検索履歴
(3)検索オブジェクト移動状態表示情報
(4)検索オブジェクト検索結果表示情報
例えば、ユーザが、図24に示すオブジェクト識別枠328のいずれかを選択して、
(A)このオブジェクトの検索を追加、
この処理(A)を指定した場合、
(1)現検索オブジェクトは、ユーザの選択したオブジェクト識別枠内のオブジェクトに変更される。
(2)検索履歴として、ユーザによるオブジェクト識別枠の選択前に実行されていた検索情報が検索履歴として記憶部に格納される。
(3)検索オブジェクト移動状態表示情報は、情報がそのまま表示される。
(4)検索オブジェクト検索結果表示情報についてはクリアされる。
また、ユーザがオブジェクト識別枠328のいずれかを選択して、
(B)このオブジェクトで検索をやり直す、
この処理(B)を指定した場合、
(1)現検索オブジェクトは、ユーザの選択したオブジェクト識別枠内のオブジェクトに変更される。
(2)検索履歴として、ユーザによるオブジェクト識別枠の選択前に実行されていた検索情報は検索履歴として記憶部に格納されることなく、クリアされる。
(3)検索オブジェクト移動状態表示情報についてはクリアされる。
(4)検索オブジェクト検索結果表示情報についてはクリアされる。
図23、図24に示す例は、検索対象オブジェクトの移動経路をマップとして表示した例であるが、マップの代わりにタイムライン表示を行うことも可能である。
図26は、検索結果をタイムライン表示によって表示した例を示す。
図26に示すタイムライン表示データ231は、図22を参照して説明した候補オブジェクトリスト312からユーザが選択したオブジェクトの撮影画像を時間軸に沿って、順次表示したデータである。ユーザ操作可能な時間指定用スライダ332をユーザが操作することで、その指定時間に対応する検索対象オブジェクト撮影画像を拡大表示し、その前後の検索対象オブジェクト撮影画像も併せて観察することができる。
ユーザは検索対象オブジェクトの撮影画像を時系列に見ることによりオブジェクトの移動の妥当性等を確認することができる。
[7.情報処理システムを構成するカメラ、およびその他の装置のハードウェア構成例について]
次に、図1に示す情報処理システムを構成するカメラ10、およびその他の装置である記憶装置(サーバ)20、検索装置(情報処理装置)30のハードウェア構成例について説明する。
まず、カメラ10のハードウェア構成例について、図27を参照して説明する。
図27は、本開示のカメラ(画像処理装置)10の一構成例を示すブロック図である。図1に示すカメラ10に相当する。
図27に示すように、カメラ10は、レンズ501、イメージセンサ502、画像処理部503、センサ504、メモリ505、通信部506、駆動部507、CPU508、GPU509、DSP110を有する。
撮影画像は、レンズ501を介してイメージセンサ502に撮り込まれる。
イメージセンサ502は、例えばCCD(Charge Coupled Devices)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどである。
画像処理部503は、イメージセンサ502から出力される画像データ(RAW画像)を入力し、入力したRAW画像に含まれるノイズを低減するノイズ低減処理の他、RAW画像の各画素位置にRGBの全色に対応する画素値を設定するデモザイク処理や、ホワイトバランス(WB)調整、ガンマ補正等、一般的なカメラにおける信号処理を実行する。
センサ504は、画像撮影を最適な設定で行うためのセンサ、例えば輝度センサ等であり、センサ504の検出情報に応じて画像撮影の撮影態様が制御される。
メモリ506は、撮影画像の格納、カメラ10において実行する処理プログラム、各種パラメータ等の格納領域として利用されるRAM,ROM等によって構成されるメモリである。
通信部506は、図1に示す記憶装置(サーバ)20や、検索装置(情報処理装置)30とのネットワーク40を介した通信処理に利用する通信部である。
駆動部507は、画像撮影のためのレンズ駆動、絞り制御等、画像撮影に必要となる様々な駆動処理を行なう。この駆動処理は、例えばセンサ504の検出情報を用いて、CPU508の制御の下に実行される。
CPU508は、カメラ10の実行する画像撮影、画像解析、メタデータ生成、通信処理等の様々な処理の制御を実行する。メモリ505に格納されたデータ処理プログラムに従って様々な処理を実行するデータ処理部として機能する。
GPU(グラフィックプロセッサユニツト)509、および、DSP(デジタルシグナルプロセッサ)510は、例えば撮影画像に対する画像処理等を実行するプロセッサであり、撮影画像の解析処理等に利用される。CPU508と同様、メモリ505に格納されたデータ処理プログラムに従って様々な画像処理を実行するデータ処理部として機能する。
なお、本開示のカメラ10は、撮影画像からの動体検出処理やオブジェクト識別処理、特徴量抽出処理等を行なう。
これらのデータ処理は、データ処理部として機能する画像処理部503、CPU508、GPU509、DSP510等を適用して実行される。このデータ処理に適用する処理プログラムはメモリ505に格納される。
なお、例えば、画像処理部503内に専用のハードウェア回路を実装し、専用ハードウェアを適用して動体検出やオブジェクト識別処理、特徴量抽出処理を実行する構成としてもよい。
さらに、専用ハードウェアによる処理とプログラムに従ったソフトウェア適用処理を適宜、組み合わせて処理を実行する構成としてもよい。
次に、図1に示すシステムを構成する記憶装置(サーバ)20や、検索装置(情報処理装置)30として適用可能な情報処理装置のハードウェア構成例について、図28を参照して説明する。
CPU(Central Processing Unit)601は、ROM(Read Only Memory)602、または記憶部608に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)603には、CPU601が実行するプログラムやデータなどが記憶される。これらのCPU601、ROM602、およびRAM603は、バス604により相互に接続されている。
CPU601はバス604を介して入出力インタフェース605に接続され、入出力インタフェース605には、各種スイッチ、キーボード、マウス、マイクロホンなどよりなる入力部606、ディスプレイ、スピーカなどよりなる出力部607が接続されている。CPU601は、入力部606から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部607に出力する。
入出力インタフェース605に接続されている記憶部608は、例えばハードディスク等からなり、CPU601が実行するプログラムや各種のデータを記憶する。通信部609は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
入出力インタフェース605に接続されているドライブ610は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア611を駆動し、データの記録あるいは読み取りを実行する。
[8.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) 画像から検出するオブジェクトに対応するメタデータを生成するメタデータ生成部を有し、
前記メタデータ生成部は、
画像から検出された動体オブジェクトに対する動体枠を設定する動体枠設定部と、
動体枠の設定された動体の属性を判定する動体属性判定部と、
動体属性に応じて、動体枠を分割する動体枠領域分割部と、
動体属性に応じて、特徴量抽出対象とする分割領域を決定する特徴量抽出分割領域決定部と、
前記特徴量抽出分割領域決定部の決定した分割領域から特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部の抽出した特徴量を記録したメタデータを生成するメタデータ記録部を有する画像処理装置。
(2) 前記動体枠領域分割部は、
動体属性が人であるか車であるかを判別し、判別結果に応じて動体枠の領域分割態様を決定する(1)に記載の画像処理装置。
(3) 前記動体枠領域分割部は、
動体属性が車である場合、車の車種を判別し、車の車種に応じて動体枠の領域分割態様を決定する(1)または(2)に記載の画像処理装置。
(4) 前記動体枠領域分割部は、
動体属性が車である場合、車の方向を判別し、車の方向に応じて動体枠の領域分割態様を決定する(1)〜(3)いずれかに記載の画像処理装置。
(5) 前記動体枠領域分割部は、
動体枠のサイズ、またはカメラの撮影角度情報の少なくともいずれかの情報を取得し、取得情報に応じて動体枠の領域分割態様を決定する(1)〜(4)いずれかに記載の画像処理装置。
(6) 前記特徴量抽出分割領域決定部は、
動体属性が人であるか車であるかを判別し、判別結果に応じて特徴量を抽出する分割領域を決定する(1)〜(5)いずれかに記載の画像処理装置。
(7) 前記特徴量抽出分割領域決定部は、
動体属性が車である場合、車の車種を判別し、車の車種に応じて特徴量を抽出する分割領域を決定する(1)〜(6)いずれかに記載の画像処理装置。
(8) 前記特徴量抽出分割領域決定部は、
動体属性が車である場合、車の方向を判別し、車の方向に応じて特徴量を抽出する分割領域を決定する(1)〜(7)いずれかに記載の画像処理装置。
(9) 前記特徴量抽出分割領域決定部は、
動体枠のサイズ、またはカメラの撮影角度情報の少なくともいずれかの情報を取得し、取得情報に応じて特徴量を抽出する分割領域を決定する(1)〜(8)いずれかに記載の画像処理装置。
(10) 前記画像処理装置は、さらに、
撮像部を有し、
前記メタデータ生成部は、
前記撮像部の撮影画像を入力して、撮影画像から検出するオブジェクトに対応するメタデータを生成する(1)〜(9)いずれかに記載の画像処理装置。
(11) 画像からのオブジェクト検索を実行するデータ処理部を有し、
前記データ処理部は、
検索対象オブジェクトの属性に応じて決定される特徴量抽出領域の特徴量に基づくオブジェクト検索を実行する情報処理装置。
(12) 前記データ処理部は、
検索対象オブジェクトの属性が人であるか車であるかに応じて決定される特徴量抽出領域の特徴量に基づくオブジェクト検索を実行する(11)に記載の情報処理装置。
(13) 前記データ処理部は、
検索対象オブジェクトの属性が車である場合、車の車種に応じて決定される特徴量抽出領域の特徴量に基づくオブジェクト検索を実行する(11)または(12)に記載の情報処理装置。
(14) 前記データ処理部は、
検索対象オブジェクトの属性が車である場合、車の方向に応じて決定される特徴量抽出領域の特徴量に基づくオブジェクト検索を実行する(11)〜(13)いずれかに記載の情報処理装置。
(15) 前記データ処理部は、
検索対象画像内の動体オブジェクトのサイズ、またはカメラの撮影角度情報の少なくともいずれかの情報に応じて決定される特徴量抽出領域の特徴量に基づくオブジェクト検索を実行する(11)〜(14)いずれかに記載の情報処理装置。
(16) 画像処理装置において実行する画像処理方法であり、
前記画像処理装置は、画像から検出するオブジェクトに対応するメタデータを生成するメタデータ生成部を有し、
前記メタデータ生成部が、
画像から検出された動体オブジェクトに対する動体枠を設定する動体枠設定処理と、
動体枠の設定された動体の属性を判定する動体属性判定処理と、
動体属性に応じて、動体枠を分割する動体枠領域分割処理部と、
動体属性に応じて、特徴量抽出対象とする分割領域を決定する特徴量抽出分割領域決定処理と、
前記特徴量抽出分割領域決定処理において決定した分割領域から特徴量を抽出する特徴量抽出処理と、
前記特徴量抽出処理において抽出した特徴量を記録したメタデータを生成する処理を実行する画像処理方法。
(17) 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、
画像からのオブジェクト検索を実行するデータ処理部を有し、
前記データ処理部が、
検索対象オブジェクトの属性に応じて決定される特徴量抽出領域の特徴量に基づくオブジェクト検索を実行する情報処理方法。
(18) 画像処理装置において画像処理を実行させるプログラムであり、
前記画像処理装置は、画像から検出するオブジェクトに対応するメタデータを生成するメタデータ生成部を有し、
前記プログラムは、前記メタデータ生成部に、
画像から検出された動体オブジェクトに対する動体枠を設定する動体枠設定処理と、
動体枠の設定された動体の属性を判定する動体属性判定処理と、
動体属性に応じて、動体枠を分割する動体枠領域分割処理部と、
動体属性に応じて、特徴量抽出対象とする分割領域を決定する特徴量抽出分割領域決定処理と、
前記特徴量抽出分割領域決定処理において決定した分割領域から特徴量を抽出する特徴量抽出処理と、
前記特徴量抽出処理において抽出した特徴量を記録したメタデータを生成する処理を実行させるプログラム。
(19) 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、
画像からのオブジェクト検索を実行するデータ処理部を有し、
前記プログラムは、前記データ処理部に、
検索対象オブジェクトの属性に応じて決定される特徴量抽出領域の特徴量に基づくオブジェクト検索を実行させるプログラム。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、オブジェクトの属性に応じた特徴量抽出処理により、オブジェクト属性に応じた高精度かつ効率的な検索が実現される。
具体的には、画像から検出された動体オブジェクトの動体属性を判定し、動体属性に応じて動体枠を分割し、特徴量抽出対象とする分割領域を決定する。決定した分割領域から特徴量を抽出してメタデータを生成する。動体属性が人であるか車であるか、さらに車種、車の方向、さらに動体枠のサイズ、カメラの俯角等に基づいて動体枠の分割態様、特徴量抽出領域を決定し、特徴量情報を記録したメタデータを生成する。オブジェクト検索においては、このメタデータを適用した検索処理を実行することで、オブジェクト属性に応じた最適な検索が実現される。
本構成により、オブジェクトの属性に応じた特徴量抽出処理により、オブジェクト属性に応じた高精度かつ効率的な検索が実現される。
10 カメラ(画像処理装置)
20 記憶装置(サーバ)
30 検索装置(情報処理装置)
40 ネットワーク
111 メタデータ生成部
112 画像処理部
121 メタデータ記憶部
122 画像記憶部
131 入力部
132 データ処理部
133 出力部
200 撮影画像
201 動体オブジェクト検出部
202 動体枠設定部
203 動体属性判定部
204 動体枠領域分割部
205 特徴量抽出分割領域決定部
206 分割領域特徴量抽出部
207 メタデータ記録、出力部
210 カメラ設置状況パラメータ
220 メタデータ
501 レンズ
502 イメージセンサ
503 画像処理部
504 センサ
505 メモリ
506 通信部
507 駆動部
508 CPU
509 GPU
510 DSP
601 CPU
602 ROM
603 RAM
604 バス
605 入出力インタフェース
606 入力部
607 出力部
608 記憶部
609 通信部
610 ドライブ
611 リムーバブルメディア

Claims (19)

  1. 画像から検出するオブジェクトに対応するメタデータを生成するメタデータ生成部を有し、
    前記メタデータ生成部は、
    画像から検出された動体オブジェクトに対する動体枠を設定する動体枠設定部と、
    動体枠の設定された動体の属性を判定する動体属性判定部と、
    動体属性に応じて、動体枠を分割する動体枠領域分割部と、
    動体属性に応じて、特徴量抽出対象とする分割領域を決定する特徴量抽出分割領域決定部と、
    前記特徴量抽出分割領域決定部の決定した分割領域から特徴量を抽出する特徴量抽出部と、
    前記特徴量抽出部の抽出した特徴量を記録したメタデータを生成するメタデータ記録部を有する画像処理装置。
  2. 前記動体枠領域分割部は、
    動体属性が人であるか車であるかを判別し、判別結果に応じて動体枠の領域分割態様を決定する請求項1に記載の画像処理装置。
  3. 前記動体枠領域分割部は、
    動体属性が車である場合、車の車種を判別し、車の車種に応じて動体枠の領域分割態様を決定する請求項1に記載の画像処理装置。
  4. 前記動体枠領域分割部は、
    動体属性が車である場合、車の方向を判別し、車の方向に応じて動体枠の領域分割態様を決定する請求項1に記載の画像処理装置。
  5. 前記動体枠領域分割部は、
    動体枠のサイズ、またはカメラの撮影角度情報の少なくともいずれかの情報を取得し、取得情報に応じて動体枠の領域分割態様を決定する請求項1に記載の画像処理装置。
  6. 前記特徴量抽出分割領域決定部は、
    動体属性が人であるか車であるかを判別し、判別結果に応じて特徴量を抽出する分割領域を決定する請求項1に記載の画像処理装置。
  7. 前記特徴量抽出分割領域決定部は、
    動体属性が車である場合、車の車種を判別し、車の車種に応じて特徴量を抽出する分割領域を決定する請求項1に記載の画像処理装置。
  8. 前記特徴量抽出分割領域決定部は、
    動体属性が車である場合、車の方向を判別し、車の方向に応じて特徴量を抽出する分割領域を決定する請求項1に記載の画像処理装置。
  9. 前記特徴量抽出分割領域決定部は、
    動体枠のサイズ、またはカメラの撮影角度情報の少なくともいずれかの情報を取得し、取得情報に応じて特徴量を抽出する分割領域を決定する請求項1に記載の画像処理装置。
  10. 前記画像処理装置は、さらに、
    撮像部を有し、
    前記メタデータ生成部は、
    前記撮像部の撮影画像を入力して、撮影画像から検出するオブジェクトに対応するメタデータを生成する請求項1に記載の画像処理装置。
  11. 画像からのオブジェクト検索を実行するデータ処理部を有し、
    前記データ処理部は、
    検索対象オブジェクトの属性に応じて決定される特徴量抽出領域の特徴量に基づくオブジェクト検索を実行する情報処理装置。
  12. 前記データ処理部は、
    検索対象オブジェクトの属性が人であるか車であるかに応じて決定される特徴量抽出領域の特徴量に基づくオブジェクト検索を実行する請求項11に記載の情報処理装置。
  13. 前記データ処理部は、
    検索対象オブジェクトの属性が車である場合、車の車種に応じて決定される特徴量抽出領域の特徴量に基づくオブジェクト検索を実行する請求項11に記載の情報処理装置。
  14. 前記データ処理部は、
    検索対象オブジェクトの属性が車である場合、車の方向に応じて決定される特徴量抽出領域の特徴量に基づくオブジェクト検索を実行する請求項11に記載の情報処理装置。
  15. 前記データ処理部は、
    検索対象画像内の動体オブジェクトのサイズ、またはカメラの撮影角度情報の少なくともいずれかの情報に応じて決定される特徴量抽出領域の特徴量に基づくオブジェクト検索を実行する請求項11に記載の情報処理装置。
  16. 画像処理装置において実行する画像処理方法であり、
    前記画像処理装置は、画像から検出するオブジェクトに対応するメタデータを生成するメタデータ生成部を有し、
    前記メタデータ生成部が、
    画像から検出された動体オブジェクトに対する動体枠を設定する動体枠設定処理と、
    動体枠の設定された動体の属性を判定する動体属性判定処理と、
    動体属性に応じて、動体枠を分割する動体枠領域分割処理部と、
    動体属性に応じて、特徴量抽出対象とする分割領域を決定する特徴量抽出分割領域決定処理と、
    前記特徴量抽出分割領域決定処理において決定した分割領域から特徴量を抽出する特徴量抽出処理と、
    前記特徴量抽出処理において抽出した特徴量を記録したメタデータを生成する処理を実行する画像処理方法。
  17. 情報処理装置において実行する情報処理方法であり、
    前記情報処理装置は、
    画像からのオブジェクト検索を実行するデータ処理部を有し、
    前記データ処理部が、
    検索対象オブジェクトの属性に応じて決定される特徴量抽出領域の特徴量に基づくオブジェクト検索を実行する情報処理方法。
  18. 画像処理装置において画像処理を実行させるプログラムであり、
    前記画像処理装置は、画像から検出するオブジェクトに対応するメタデータを生成するメタデータ生成部を有し、
    前記プログラムは、前記メタデータ生成部に、
    画像から検出された動体オブジェクトに対する動体枠を設定する動体枠設定処理と、
    動体枠の設定された動体の属性を判定する動体属性判定処理と、
    動体属性に応じて、動体枠を分割する動体枠領域分割処理部と、
    動体属性に応じて、特徴量抽出対象とする分割領域を決定する特徴量抽出分割領域決定処理と、
    前記特徴量抽出分割領域決定処理において決定した分割領域から特徴量を抽出する特徴量抽出処理と、
    前記特徴量抽出処理において抽出した特徴量を記録したメタデータを生成する処理を実行させるプログラム。
  19. 情報処理装置において情報処理を実行させるプログラムであり、
    前記情報処理装置は、
    画像からのオブジェクト検索を実行するデータ処理部を有し、
    前記プログラムは、前記データ処理部に、
    検索対象オブジェクトの属性に応じて決定される特徴量抽出領域の特徴量に基づくオブジェクト検索を実行させるプログラム。
JP2016131656A 2016-07-01 2016-07-01 画像処理装置、情報処理装置、および方法、並びにプログラム Abandoned JP2018005555A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016131656A JP2018005555A (ja) 2016-07-01 2016-07-01 画像処理装置、情報処理装置、および方法、並びにプログラム
EP17736774.5A EP3479290A1 (en) 2016-07-01 2017-06-19 Image processing apparatus, information processing apparatus, image processing method, information processing method, image processing program, and information processing program
PCT/JP2017/022464 WO2018003561A1 (en) 2016-07-01 2017-06-19 Image processing apparatus, information processing apparatus, image processing method, information processing method, image processing program, and information processing program
US16/094,692 US20190122064A1 (en) 2016-07-01 2017-06-19 Image processing apparatus, information processing apparatus, image processing method, information processing method, image processing program, and information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016131656A JP2018005555A (ja) 2016-07-01 2016-07-01 画像処理装置、情報処理装置、および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2018005555A true JP2018005555A (ja) 2018-01-11
JP2018005555A5 JP2018005555A5 (ja) 2019-06-13

Family

ID=59295250

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016131656A Abandoned JP2018005555A (ja) 2016-07-01 2016-07-01 画像処理装置、情報処理装置、および方法、並びにプログラム

Country Status (4)

Country Link
US (1) US20190122064A1 (ja)
EP (1) EP3479290A1 (ja)
JP (1) JP2018005555A (ja)
WO (1) WO2018003561A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019142523A1 (ja) * 2018-01-19 2019-07-25 コベルコ建機株式会社 先端アタッチメント判別装置
JP2019169843A (ja) * 2018-03-23 2019-10-03 キヤノン株式会社 映像記録装置、映像記録方法およびプログラム
JP2021040248A (ja) * 2019-09-03 2021-03-11 パナソニックi−PROセンシングソリューションズ株式会社 捜査支援システム、捜査支援方法およびコンピュータプログラム
JP2021100201A (ja) * 2019-12-23 2021-07-01 横河電機株式会社 装置、システム、方法およびプログラム
WO2022190652A1 (ja) * 2021-03-09 2022-09-15 ソニーセミコンダクタソリューションズ株式会社 撮像装置、追跡システム、および撮像方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7122556B2 (ja) * 2017-10-27 2022-08-22 パナソニックIpマネジメント株式会社 撮影装置および撮影方法
FR3074594B1 (fr) * 2017-12-05 2021-01-29 Bull Sas Extraction automatique d'attributs d'un objet au sein d'un ensemble d'images numeriques
TWI779029B (zh) * 2018-05-04 2022-10-01 大猩猩科技股份有限公司 一種分佈式的物件追蹤系統
WO2021152837A1 (ja) * 2020-01-31 2021-08-05 日本電気株式会社 情報処理装置、情報処理方法及び記録媒体
JP7417455B2 (ja) * 2020-03-27 2024-01-18 キヤノン株式会社 電子機器及びその制御方法、プログラム
EP3968635A1 (en) * 2020-09-11 2022-03-16 Axis AB A method for providing prunable video
CN114697525B (zh) * 2020-12-29 2023-06-06 华为技术有限公司 一种确定跟踪目标的方法及电子设备
CN114241730B (zh) * 2021-12-13 2024-04-09 任晓龙 一种基于数据采集的变电设备监测预警系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5959093B2 (ja) 2012-03-06 2016-08-02 学校法人東京電機大学 人物検索システム
US9721166B2 (en) * 2013-05-05 2017-08-01 Qognify Ltd. System and method for identifying a particular human in images using an artificial image composite or avatar
WO2015064292A1 (ja) * 2013-10-30 2015-05-07 日本電気株式会社 画像の特徴量に関する処理システム、処理方法及びプログラム
AU2014240213B2 (en) * 2014-09-30 2016-12-08 Canon Kabushiki Kaisha System and Method for object re-identification
US11068741B2 (en) * 2017-12-28 2021-07-20 Qualcomm Incorporated Multi-resolution feature description for object recognition

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019142523A1 (ja) * 2018-01-19 2019-07-25 コベルコ建機株式会社 先端アタッチメント判別装置
JP2019125314A (ja) * 2018-01-19 2019-07-25 コベルコ建機株式会社 先端アタッチメント判別装置
JP7114907B2 (ja) 2018-01-19 2022-08-09 コベルコ建機株式会社 先端アタッチメント判別装置
JP2019169843A (ja) * 2018-03-23 2019-10-03 キヤノン株式会社 映像記録装置、映像記録方法およびプログラム
JP7118679B2 (ja) 2018-03-23 2022-08-16 キヤノン株式会社 映像記録装置、映像記録方法およびプログラム
JP2021040248A (ja) * 2019-09-03 2021-03-11 パナソニックi−PROセンシングソリューションズ株式会社 捜査支援システム、捜査支援方法およびコンピュータプログラム
US11417103B2 (en) 2019-09-03 2022-08-16 Panasonic I-Pro Sensing Solutions Co., Ltd. Investigation assist system and investigation assist method
US11790658B2 (en) 2019-09-03 2023-10-17 i-PRO Co., Ltd. Investigation assist system and investigation assist method
JP2021100201A (ja) * 2019-12-23 2021-07-01 横河電機株式会社 装置、システム、方法およびプログラム
JP7205457B2 (ja) 2019-12-23 2023-01-17 横河電機株式会社 装置、システム、方法およびプログラム
WO2022190652A1 (ja) * 2021-03-09 2022-09-15 ソニーセミコンダクタソリューションズ株式会社 撮像装置、追跡システム、および撮像方法

Also Published As

Publication number Publication date
WO2018003561A1 (en) 2018-01-04
US20190122064A1 (en) 2019-04-25
EP3479290A1 (en) 2019-05-08

Similar Documents

Publication Publication Date Title
JP2018005555A (ja) 画像処理装置、情報処理装置、および方法、並びにプログラム
US8306281B2 (en) Human image retrieval system
JP6674584B2 (ja) 映像監視システム
US8064656B2 (en) Image processing apparatus, imaging apparatus, image processing method, and computer program
US9589595B2 (en) Selection and tracking of objects for display partitioning and clustering of video frames
CN105100894B (zh) 面部自动标注方法及系统
JP6555906B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20020175997A1 (en) Surveillance recording device and method
US10037467B2 (en) Information processing system
KR20180003304A (ko) 영상 축약 시스템 및 방법
WO2007105768A1 (ja) 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体
US20160162497A1 (en) Video recording apparatus supporting smart search and smart search method performed using video recording apparatus
JP2011248548A (ja) コンテンツ決定プログラムおよびコンテンツ決定装置
KR20180003309A (ko) 영상 축약 시스템 및 방법
JP5360979B2 (ja) 重要情報抽出方法および装置
JP2014016968A (ja) 人物検索装置及びデータ収集装置
US20220004748A1 (en) Video display method, device and system, and video camera
JP6171651B2 (ja) 画像処理プログラム及び画像処理装置
CN103608813A (zh) 通过对象位置进行视频导航
KR101513414B1 (ko) 감시 영상 분석 방법 및 시스템
JP5776471B2 (ja) 画像表示システム
JP2006217046A (ja) 映像インデックス画像生成装置及び映像のインデックス画像を生成するプログラム
US9286707B1 (en) Removing transient objects to synthesize an unobstructed image
KR101904425B1 (ko) 대량의 cctv 영상 분석을 위한 객체 데이터 조회 방법
WO2015005102A1 (ja) 画像処理装置、画像処理方法、および画像処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190508

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190508

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20200518