JP2019197950A - 情報処理装置、属性付与方法、コンピュータプログラム、及び記憶媒体 - Google Patents

Abstract

【課題】事象に関する属性を、映像に効率的に付与することができる情報処理装置を提供する。【解決手段】情報処理装置である属性付与装置３０は、撮影装置１０が撮影した映像を含む撮影情報を取得する撮影情報取得部３２と、映像に含まれる事象についての文書情報を取得する事象情報取得部３３と、文書情報に基づいて事象の属性を生成する属性生成部３５と、属性を映像の事象に付与する属性付与部３７と、を備える。【選択図】図２

Description

本発明は、例えば映像を機械学習に用いためるに、映像に属性を効率よく付与する技術に関する。

近年、映像を用いた行動認識や物体認識などの様々な映像認識技術が発達している。特に、機械学習を用いた映像認識技術は、認識精度の向上がめざましい。機械学習を用いた映像認識技術は、自動車の車載カメラや店舗の監視システムなどの様々な用途で広く用いられている。機械学習を用いた映像認識技術では、複数の映像で構成される学習データに基づいた学習が行われる。学習データを構成する複数の映像は、それぞれ、対応した属性が付与される必要がある。属性は、認識対象や認識手法により異なる。例えば、行動認識の場合、「歩行」や「走行」といった行動の種類が属性となる。属性は、各映像の、全体に対応する場合と、時間的もしくは空間的な部分に対応する場合とがある。

映像は、機械学習を行う情報処理装置に取得された時点では属性が付与されていない場合がある。このような場合、情報処理装置は、映像に属性を付与する必要がある。機械学習に用いる学習データは大量の映像を含む場合がある。このような場合、属性を付与する作業に多大な労力を要する。そのために、映像への属性付与を効率的に行うことは有効である。

特許文献１は、監視カメラで撮影された映像を解析して特定のカテゴリ（属性）に属する事象を検出し、検出した事象を含む映像にカテゴリを設定するユーザインタフェース（ＵＩ）を表示する技術を開示する。オペレータは、ＵＩにより映像にカテゴリを付与することができる。カテゴリを属性として用いることで、監視システムは、実運用中に学習データを蓄積することができる。非特許文献１は、対象のカメラの映像に関するキーワードを含むソーシャルネットワークサービス（ＳＮＳ）上のコメント数を集計し、カメラの映像から検出された人数とコメント数に基づいて、将来の人数及びコメント数を予測する技術を開示する。

国際公開ＷＯ２０１４／２０８５７５号公報

Masaki Onishi, ShinnosukeNakashima, "Mutual Interaction Model between the Number of People in RealSpace and Tweets in Virtual Space, "Meeting on Image Recognition and Understanding (MIRU2015), OS3-1, July 2015.

上記の通り特許文献１の技術は、監視カメラの映像内で検出された事象について、オペレータがカテゴリを設定するためのＵＩを提供する。しかしながら、オペレータがカテゴリを設定するための作業工数が発生する。そのために事象の検出数が多い場合に作業工数が増大する。非特許文献１の技術は、対象のカメラの映像に関するＳＮＳ上のコメント数を集計する。しかしながら、コメントが指し示す内容が対象のカメラ映像に含まれるかどうかを判定する構成は含まれない。そのために、カメラの映像との関連性が低いコメントが集計されてしまうことがある。

本発明は、このような従来の問題を解決するため、事象に関する属性を、映像に効率的に付与することができる情報処理装置を提供することを主たる目的とする。

本発明の情報処理装置は、撮影装置が撮影した映像を含む撮影情報を取得する第１取得手段と、前記映像に含まれる事象についての非映像情報を取得する第２取得手段と、前記非映像情報に基づいて前記事象の属性を生成する属性生成手段と、前記属性を前記映像の前記事象に付与する付与手段と、を備えることを特徴とする。

本発明によれば、映像に対して事象に関する属性を効率的に付与することが可能となる。

報告文書の例示図。 属性付与システムの構成例示図。 報告文書作成用ＵＩの例示図 装置情報設定ＵＩの例示図。 属性条件設定ＵＩの例示図。 属性条件設定ＵＩの例示図。 属性表示・修正ＵＩの例示図。 属性付与結果を表示及び修正するＵＩの例示図。 属性付与処理を表すフローチャート。 属性付与システムの構成例示図。 属性付与システムの構成例示図。

以下、図面を参照して、実施形態を詳細に説明する。

（第１実施形態）
本実施形態では、事象について記述された報告文書に基づいて、映像に属性を付与する属性付与システム１００を例に説明する。なお、本明細書中の「映像」は、動画のみを意味する概念ではなく、静止画も含む。「報告文書」は、所定の事象が発生したときに、該事象の目撃者や当事者、報告担当者などの報告文書の作成者が、該事象について記述した文書である。報告文書は、紙などの物理的な媒体に記述されたものや、電子データである。例えば、報告文書は、警備員が業務報告として作成する警備日報や電子メール、工場の作業員が作業ミスや事故について作成した書類である。図１は、報告文書の例示図である。この報告文書は、警備日報である。図１の報告文書は、「高齢者が線路に転落した」という事象が「2017/6/23(金)13:54」に「X駅Y番ホーム」で発生したことが記述されている。

図２は、本実施形態の属性付与システム１００の構成例示図である。属性付与システム１００は、端末装置１、撮影装置１０、文書作成装置２０、文書読込装置２５、及び属性付与装置３０を有する。属性付与装置３０に、端末装置１、撮影装置１０、文書作成装置２０、及び文書読込装置２５が接続される。文書作成装置２０と文書読込装置２５とは接続される。なお、これらの装置間は、ネットワークを介して接続されていてもよい。ネットワークは、例えば固定電話回線網、携帯電話回線網、インターネットなどが適用可能である。また、属性付与システム１００は、少なくとも２つの装置が一体に構成されていてもよい。

端末装置１は、属性付与システム１００の使用者が利用するユーザインタフェース装置である。端末装置１は、表示部及び操作検出部を備えている。端末装置１は、例えばパーソナルコンピュータ、タブレット端末、スマートフォン、フィーチャーフォンなどが適用可能である。表示部は、液晶パネルや有機ＥＬ（Electro-Luminescence）パネルなどの画像表示パネルにより構成される出力インタフェースである。表示部は、属性付与装置３０から取得する情報を表示する。表示される内容は、例えば撮影装置１０によって撮影された映像や、属性付与装置３０が提供する各種のグラフィカルユーザインタフェース（ＧＵＩ）コンポーネントなどである。操作検出部は、コントローラ、キーボード、及びマウスなどの入力デバイスにより構成される入力インタフェースである。操作検出部は、属性付与システム１００の使用者により操作され、その操作内容を示す操作情報を属性付与装置３０へ送信する。なお、操作検出の入力デバイスは、表示部の画像表示パネルに設けられるタッチセンサであってもよい。

撮影装置１０は、設置された環境の映像を撮影し、後述する撮影情報を属性付与装置３０へ送信する。「撮影情報」は、映像や撮影時の撮影装置１０の状態（撮影状況）などを含む情報である。撮影装置１０は、複数設置されてもよい。この場合、各撮影装置１０は、それぞれ固有の識別情報を有する。撮影装置１０は、撮影方法を定義した撮影パラメータに応じて撮影を行う。撮影パラメータには、例えば撮影のフレームレート、明るさ、拡大率、撮影方向、補助照明の点灯有無などが含まれる。撮影情報は、識別情報、撮影場所、撮影日時、撮影パラメータなどを含む。撮影装置１０は、例えばネットワークカメラ、ウェブカメラ、ビデオカメラなどが適用可能である。

文書作成装置２０は、報告文書を作成して文書読込装置２５へ送信する。報告文書は、例えば報告文書の作成者が端末装置１を操作することで作成される。この場合、文書作成装置２０は、端末装置１の表示部に報告文書作成用のＵＩを表示する。例えば報告文書の作成者は、端末装置１の操作検出部により報告文書作成用ＵＩの入力項目に必要事項を入力する。文書作成装置２０は、端末装置１から取得する報告文書作成用ＵＩの各入力項目への入力内容に応じて、報告文書を作成する。また、報告文書は、例えば報告文書の作成者が所定の入力形式の記入用紙に記入した結果を文書作成装置２０が読み取ることで作成されてもよい。文書作成装置２０は、記入用紙の記入結果をスキャナなどで読み取り、読取結果をテキストデータに変換するなどして、電子データである報告文書を作成する。

図３は、報告文書作成時に端末装置１の表示部に表示される報告文書作成用ＵＩの例示図である。報告文書作成ＵＩは、入力項目として日時入力部３０１、場所入力部３０２、事象種類入力部３０３、備考入力部３０４、及びステータスバー３０５を備える。日時入力部３０１、場所入力部３０２、事象種類入力部３０３、及び備考入力部３０４は、項目を選択するためのプルダウンメニューもしくはテキストフィールドなどの入力コンポーネントを備える。日時入力部３０１、場所入力部３０２、事象種類入力部３０３、備考入力部３０４に入力されることで、報告文書が作成される。ステータスバー３０５は、テキストやアイコンなどにより、報告文書の作成者に情報を通知する。報告文書作成用ＵＩは、例えば未入力の項目が存在する場合に、該当する入力部を強調表示するなどの方法で報告文書の作成者に入力を促すことができる。また、報告文書作成用ＵＩは、未来の日時が入力されている場合などの不適切な入力がある場合に、修正もしくは追記するべき情報をステータスバー３０５に表示して、報告文書の作成者に修正・追記を促すことができる。ここで示した報告文書作成ＵＩは一例であって、報告文書作成ＵＩの構成を制限するものではない。

文書読込装置２５は、文書作成装置２０から取得した報告文書から情報を取得し、属性付与装置３０へ送信する。ここで、文書読込装置２５が報告文書から取得する情報を「文書情報」と呼ぶ。文書情報は、テキストや選択項目の選択結果などの複数の情報を含む。また文書情報は、報告文書を表す画像やＰＤＦデータ、報告文書に添付された画像などのデータ、報告文書が作成された日時などの情報を含んでいてもよい。

属性付与装置３０は、撮影装置１０から取得する撮影情報に含まれる映像に対して、文書読込装置２５から取得する文書情報に基づいて属性を付与する情報処理装置である。属性付与装置３０は、撮影装置設定部３１、撮影情報取得部３２、事象情報取得部３３、属性条件設定部３４、属性生成部３５、事象範囲特定部３６、属性付与部３７、及び撮影情報記憶部３８を備える。属性付与装置３０のこれらの構成は、ハードウェアとして備えられてもよいが、所定のコンピュータプログラムを実行することで実現されてもよい。即ち、属性付与装置３０は、ＣＰＵ（Central Processing Unit）によりコンピュータプログラムを実行することで、各構成の機能を実現してもよい。

撮影装置設定部３１は、撮影装置１０の静的な情報である装置情報を設定するＵＩ（装置情報設定ＵＩ）を端末装置１に提供し、端末装置１により設定された装置情報を撮影情報取得部３２へ送信する。「装置情報」は、例えば撮影装置１０の識別情報、設置場所、機種、解像度などの情報などが含まれる。設置場所の情報としては、例えば設置場所の名称、座標、屋内や屋外といった環境の情報などが含まれる。装置情報は、装置情報設定ＵＩにより設定可能な情報と、撮影装置１０毎に固定されている情報が混在していてもよい。なお、撮影装置１０が複数存在する場合、装置情報は個別に設定される。設定内容が共通する設定項目は、複数の撮影装置１０の装置情報が同時に設定されてもよい。

図４は、装置情報を設定するために端末装置１の表示部に表示される装置情報設定ＵＩの例示図である。装置情報設定ＵＩは、機種入力部４０１、場所入力部４０２、ＩＰアドレス入力部４０３、及び映像表示部４０４の各入力項目を備える。装置情報設定ＵＩは、各入力項目を選択するプルダウンメニューもしくはテキストフィールドなどの入力コンポーネントを備え、各項目に入力されることで装置情報が設定可能である。ＩＰアドレス入力部４０３に入力されるＩＰアドレスは、撮影装置１０の識別情報に対応する。ＩＰアドレスが設定されることで、設定対象の撮影装置１０が特定される。ＩＰアドレス入力部４０３は、複数のＩＰアドレスが列挙して入力されることで、複数の撮影装置１０に対してＩＰアドレスを設定可能である。映像表示部４０４は、ＩＰアドレスによって指定された撮影装置１０が撮影している映像を表示する。ユーザは、映像表示部４０４に表示される映像を確認しながら装置情報を設定することが可能である。設定対象の撮影装置１０が複数存在する場合、映像表示部４０４は、複数の映像を並べて表示してもよく、映像を自動もしくは手動で切り替えることで複数の映像を表示してもよい。なお、装置情報設定ＵＩは、以上の構成に限定されるものではない。例えば、装置情報設定ＵＩは、撮影装置１０の画角を設定する項目や、屋内や屋外といった設置環境の種類を設定する項目を備えていてもよい。

撮影情報取得部３２は、撮影装置１０から撮影情報を取得し、撮影情報記憶部３８に記憶させる。撮影情報取得部３２は、撮影情報を撮影装置１０から直接取得してもよく、録画装置や記憶媒体を介して取得してもよい。撮影情報取得部３２は、撮影装置設定部３１から装置情報を取得して、撮影情報と装置情報とを対応付けて撮影情報記憶部３８に記憶させる。撮影情報記憶部３８に記憶された撮影情報は、事象範囲特定部３６及び属性付与部３７により読み出される。撮影情報記憶部３８は、撮影日時に基づいて設定された日時よりも古い撮影情報を破棄する機能を備えていてもよい。

事象情報取得部３３は、文書読込装置２５から文書情報を取得して、後述する事象情報を属性生成部３５及び事象範囲特定部３６へ送信する。「事象情報」は、事象について記述したテキストである事象テキスト及び事象についてのテキスト以外の情報である事象メタ情報を含む情報である。「事象テキスト」は、単なる文字列や、項目と値の組などで構造化されたデータである。「事象メタ情報」は、例えば事象情報の取得日時や画像などの文書情報が生成された状況を表す情報である。事象情報取得部３３は、文書読込装置２５から取得した文書情報に基づいて、事象情報を抽出する。例えば、文書情報が画像である場合、事象情報取得部３３は、光学文字認識（ＯＣＲ）などの文字認識技術に基づいて、事象テキストを抽出する。事象メタ情報は文書情報自体を含んでもよい。

属性条件設定部３４は、後述する属性条件を設定する属性条件設定ＵＩを端末装置１に提供し、端末装置１により設定された属性条件を属性生成部３５へ送信する。「属性条件」は後述する属性候補及び属性ルールを含む情報である。「属性候補」は、本実施形態の属性付与システム１００が付与する設定可能な属性の候補を示す情報である。属性候補は、例えば、「正常」もしくは「異常」など一以上の属性の集合や、「0.0〜1.0までの実数」などの連続的もしくは離散的な値で表現される属性の範囲である。「属性ルール」は、属性を決定するためのルールを示す情報である。属性ルールは、例えば、属性毎に独立して定義されるものや、複数の属性に対応して、各属性への適合度合いを判定するものである。属性ルールは、条件式や認識手法を用いて表されてもよい。例えば、属性ルールは、「事象テキスト中に『危険』という単語を１回以上含めば異常属性」といった条件式に基づくものである。また、属性ルールは、例えば、Bag-of-WordsやDeep
Learningなどの認識手法を用いて「属性候補の中で、認識スコアが最大となる属性」などとしてもよい。なお、事象テキスト中の単語の有無を用いる場合、「転倒」と「転ぶ」など類似する単語は同一としてみなされてもよい。属性ルールは複数のルールの組み合わせによって表現されていてもよい。

属性条件設定ＵＩは、属性条件の一部もしくは全体を、予め定義された一以上の属性条件テンプレートから選択可能なＵＩ或いは直接定義可能なＵＩである。属性条件テンプレートは、少なくとも一部が修正可能であってもよい。属性条件設定部３４は、属性条件設定ＵＩにより指定された事象情報及び設定可能な属性を含む学習データにより、属性ルールを学習してもよい。図５、図６は、端末装置１の表示部に表示される属性条件設定ＵＩの例示図である。属性条件設定ＵＩは、図５に示す属性候補設定ＵＩと、図６に示す属性ルール設定ＵＩとを備える。

属性候補設定ＵＩは、属性候補を設定するためのＵＩであり、属性候補リスト５０１、属性候補追加ボタン５０２、及び属性ルール編集ボタン５０３を備える。属性候補リスト５０１は、属性候補を一覧にしたテーブルコンポーネントである。属性候補リスト５０１の各項目は、属性候補に含まれる属性の名前を示す。属性候補リスト５０１の各項目は、クリックなどによって選択状態にすることが可能である。選択状態でテキスト入力することで、属性候補リスト５０１の各項目は、対応する属性の名称が変更可能である。属性候補追加ボタン５０２は、ボタンコンポーネントであり、クリックもしくはタップなどによって属性候補に新たな属性を追加することができる。属性ルール編集ボタン５０３は、ボタンコンポーネントであり、クリックもしくはタップなどによって、属性ルール設定ＵＩを開き、選択されている属性について属性ルールを設定することができる。図５に示す属性候補設定ＵＩは、一例であり、これに限定するものではない。例えば、属性の候補リストは値の範囲を設定することができるものであってもよい。

属性ルール設定ＵＩは、属性候補設定ＵＩで選択された属性の候補について、ルールを設定するためのＵＩである。属性ルール設定ＵＩは、ルール入力部６０１、追加条件選択部６０２、ルール追加ボタン６０３、ルール一覧６０４、ルール編集ボタン６０５、及びルール削除ボタン６０６を備える。ルール入力部６０１は、プルダウンメニューやテキストフィールドなどで構成され、ルールの内容を入力することができる。なお、ルール入力部６０１の構成は動的に変化してもよい。例えば、ルール入力部６０１は、事象テキスト中の単語有無に関する項目が選択されている状態で、単語や出現回数などに対応した入力コンポーネントを表示する。ルール入力部６０１は、認識手法を用いる項目が選択されている状態で、各種のパラメータや検出スコアの閾値などに対応した入力コンポーネントを表示する。追加条件選択部６０２は、現在入力されているルールが他のルールに対して論理和か或いは論理積かを選択するためのラジオボタンなどのコンポーネントを備える。ルール追加ボタン６０３は、ボタンコンポーネントであり、クリックもしくはタップされることで現在入力されているルールを追加条件選択部６０２の選択内容に応じて追加する。ルール一覧６０４は、選択された属性の候補に対して設定されているルールの一覧であり、各ルールがクリックもしくはタップされることで選択される。ルール編集ボタン６０５は、選択されたルールの内容を、ルール入力部６０１に代入し、編集可能な状態にするボタンコンポーネントである。ルール削除ボタン６０６は、選択されたルールを削除するボタンコンポーネントである。図６に示す属性ルール設定ＵＩは、一例であり、これに限定するものではない。例えば属性ルール設定ＵＩは、事象情報と属性のペアが入力可能であればよい。この場合、属性条件設定部３４は、事象情報と属性のペアにより自動的にルールを学習する。

属性生成部３５は、事象情報取得部３３から取得する事象情報と属性条件設定部３４から取得する属性条件とに基づいて属性を生成する。属性生成部３５は、生成した属性を事象範囲特定部３６及び属性付与部３７へ送信する。属性生成部３５は、属性条件に応じて事象情報に対応する属性を生成する。生成される属性は、単一或いは複数の属性の組み合わせである。属性生成部３５は、生成した属性の信頼度を生成してもよい。生成された属性は、属性を表示及び修正する属性表示・修正ＵＩにより属性付与システム１００の使用者に提示され、修正されてもよい。また、属性は、属性の信頼度に応じて使用者への提示が決定されてもよい。即ち属性表示・修正ＵＩは、属性の信頼度が所定値より高い場合は提示されず、低い場合にのみ提示されてもよい。

属性の信頼度は、例えば属性ルールが「事象テキスト中に「危険」という単語を１回以上含む」であった場合、「危険」という単語が出現するほど高くなる。また、属性の信頼度は、条件を満たしている属性ルールの数が多いほど属性の信頼度を高くしてもよい。その他、属性ルールになんらかの認識手法を用いている場合、属性の信頼度は、認識手法が生成する認識スコアの高さに基づいて生成されてもよい。

図７は、端末装置１の表示部に表示される属性表示・修正ＵＩの例示図である。属性表示・修正ＵＩは、属性表示・修正部７０１及び事象情報表示部７０２を備える。属性表示・修正部７０１は、属性生成部３５が生成した属性を表示するとともに、属性の候補を選択するプルダウンメニューを備える。ここで選択された属性が属性生成部３５の出力となる。事象情報表示部７０２は、属性生成部３５の入力である事象情報を表示する。事象情報は、例えば、事象テキストや事象メタ情報に含まれる報告文書の画像により表示してもよい。また、事象情報に対応した音声が再生されてもよい。

事象範囲特定部３６は、事象情報取得部３３から事象情報を取得し、撮影情報記憶部３８から一以上の撮影情報を取得し、属性生成部３５から属性を取得する。事象範囲特定部３６は、これら取得した事象情報、撮影情報、及び属性に基づいて、事象情報に記述された事象が含まれている映像及び映像中の時間的・空間的範囲である事象範囲を特定する。事象範囲特定部３６は、特定した映像及び事象範囲を属性付与部３７へ送信する。事象範囲特定部３６は、特定した事象範囲の信頼度を生成して、属性付与部３７へ生成した事象範囲の信頼度を送信してもよい。

事象範囲を特定する方法を、事象テキストの内容が図１の報告文書の内容である「2017/6/23(金)
13:54 X駅Y番ホームで高齢者が線路に転落した」であった場合について説明する。この場合、事象は「高齢者が線路に転落した」ことである。時間情報は「2017/6/23(金)
13:54」である。場所情報は「X駅Y番ホーム」である。このとき、事象範囲特定部３６は、X駅Y番ホームで2017/6/23(金)13:54近傍に撮影された撮影情報を抽出する。

ただし、事象情報中の時間情報と場所情報だけでは、映像に事象が含まれているかどうかを正確に判定することができない場合がある。これは、事象が発生した日時や時間の長さの情報が必ずしも正確ではない場合がある他、場所情報が共通であっても実際に事象が発生した場所が撮影装置１０の撮影範囲には含まれていない場合があるためである。
このような場合、事象範囲特定部３６は、抽出した撮影情報の映像からさらに事象の発生を検出することで、より正確に事象範囲を特定する。具体的には、事象範囲特定部３６は、物体や行動を検出する映像認識手法などによって事象を構成する各要素を検出する。映像認識手法は、例えば「Ren, Shaoqing, et al. "Faster R-CNN: Towards real-time object detection with region proposal networks." Advances in neural information processing systems. 2015.」や「Simonyan, Karen, and Andrew Zisserman. "Two-stream convolutional networks for action recognition in videos." Advances in neural information processing systems. 2014.」に開示される。例えば、事象範囲特定部３６は、事象を示す要素である「高齢者」や「線路」などの物体、及び「転落」などの行動を検出することで、事象に対応した時間的・空間的な範囲を特定する。

しかしながら、事象に直接対応した映像認識手法は、必ずしも存在するとは限らない。一般的に映像認識手法は、「転倒」などの認識対象の学習データを必要とする。そのために、学習データの入手が困難な認識対象については、映像認識手法を適用できない場合がある。このような場合、事象範囲特定部３６は、映像から、事象そのものではなく、事象との共起確率が高い別の事象である共起事象を検出する。例えば、高齢者が線路に転落した場合、救助のために駅員や警備員などが現れる可能性が高い。映像に音声が含まれる場合、転落時の悲鳴などが含まれている可能性が高い。「駅員」や「警備員」など、比較的映像の入手が容易な認識対象であれば、「Ren, Shaoqing, et al. "Faster R-CNN: Towards real-time object detection with region proposal networks." Advances in neural information processing systems. 2015.」に開示される物体検出手法を学習することが可能な場合がある。また、悲鳴なども音量に基づく音声認識手法などで検出可能な場合がある。このように認識が困難な事象については、認識することが比較的容易な共起事象を認識することで、事象範囲を特定することができる。事象に対応する共起事象は、予め定義されたものであってもよく、ＵＩを介して設定されるものであってもよい。また、属性に対応する共起事象を利用してもよい。

事象範囲の信頼度は、例えば、「高齢者」や「転落」などの事象の要素を検出した際の検出スコアに応じて高くなる。また、事象範囲の信頼度は、事象に対する共起事象毎に関連度を定義して、関連度の高い共起事象が検出されるほど高くなるようにしてもよい。

属性付与部３７は、撮影情報記憶部３８から取得する撮影情報、属性生成部３５から取得する属性、及び事象範囲特定部３６から取得する事象範囲に基づいて、属性に対応する映像の時間的・空間的範囲に対して属性の情報を付与する。ここでは、属性付与部３７によって属性を付与された映像及び映像の時間的・空間的範囲を属性付与結果と呼ぶ。属性付与結果は、本実施形態における属性付与システム１００の出力となる。
属性付与部３７は、属性付与結果を、端末装置１の表示部に表示してもよく、所定の記憶装置に記憶してもよい。属性付与部３７は、属性付与結果を表示及び修正するＵＩを端末装置１により提示してもよい。属性付与部３７は、事象範囲特定部３６から事象範囲の信頼度を取得する場合、事象範囲の信頼度が所定値よりも高い場合に属性付与結果を表示及び修正するＵＩを端末装置１により提示し、信頼度が所定値よりも低い場合にはＵＩを提示しない構成であってもよい。

図８は、端末装置１の表示部に表示される、属性付与結果を表示及び修正するＵＩの例示図である。このＵＩは、属性表示・修正部８０１、事象情報表示部８０２、映像表示部８０３、時間範囲表示・修正部８０４、及び撮影装置表示・修正部８０５を備える。属性表示・修正部８０１及び事象情報表示部８０２は、図７の属性表示・修正部７０１及び事象情報表示部７０２と同様のＵＩコンポーネントである。映像表示部８０３は、属性の付与対象となった映像が表示・再生される。また、映像表示部８０３は、再生中の映像の撮影時刻が重畳表示される。時間範囲表示・修正部８０４は、映像中の属性付与対象となっている時間的範囲を表示し、シークバーの操作に応じて時間的範囲の修正を行う。時間的範囲が修正された場合、映像表示部８０３に表示される映像は、対応する時間的範囲の映像に変化する。撮影装置表示・修正部８０５は、撮影装置１０のＩＰアドレスなどの識別情報を表示及び修正を行う。識別情報が修正された場合、属性付与の対象となる映像が識別情報に応じて変化し、映像表示部８０３に表示される映像が変化する。図８に示したＵＩは一例であり、これに限定するものではない。たとえば、ＵＩは、映像中の矩形範囲を表示及び変更する方法を備え、属性が付与される映像の空間的範囲を表示及び修正してもよい。

図９は、以上のような構成の属性付与システム１００による属性付与処理を表すフローチャートである。本実施形態の属性付与処理は、撮影装置１０の設定、属性条件の設定、事象の撮影、撮影情報の取得、報告文書作成、報告文書の読み込み、属性の生成、事象範囲の特定、属性の付与という流れで行われる。

撮影装置設定部３１は、図４に例示する装置情報設定ＵＩにより、各撮影装置１０の装置情報を設定する（Ｓ１０１）。属性条件設定部３４は、図５、図６に例示する属性条件設定ＵＩにより、属性条件が設定される（Ｓ１０２）。各撮影装置１０は、設置環境の映像を撮影する（Ｓ１０３）。撮影情報取得部３２は、各撮影装置１０から撮影情報を取得し、撮影装置設定部３１から対応する装置情報を取得する（Ｓ１０４）。撮影情報取得部３２は、取得した撮影情報及び装置情報を撮影情報記憶部３８に記憶する。

文書作成装置２０は、報告文書を作成する（Ｓ１０５）。属性付与装置３０は、文書読込装置２５により報告文書から生成された文書情報を読み込む（Ｓ１０６）。事象情報取得部３３は、文書情報から事象情報を抽出する（Ｓ１０７）。

属性生成部３５は、事象情報及び属性条件に基づいて、属性及び属性の信頼度を生成する（Ｓ１０８）。生成した属性の信頼度が所定値よりも低い場合（Ｓ１０９：Y）、属性生成部３５は、図７に例示する属性表示・修正ＵＩを端末装置１に表示させる（Ｓ１１０）。これにより属性付与システム１００の使用者が属性の修正を行うことができる。信頼度が所定値よりも高い場合（Ｓ１０９：N）、或いは属性表示・修正ＵＩの表示後に、事象範囲特定部３６は、事象範囲を特定し、該事象範囲の信頼度を生成する（Ｓ１１１）。事象範囲特定部３６は、事象情報、撮影情報、及び属性に基づいて、事象情報が示す事象及び属性に対応した映像と映像の時間的・空間的範囲である事象範囲を特定して、信頼度を生成する。

属性付与部３７は、撮影情報、属性、及び事象範囲に基づいて、映像の時間的・空間的範囲に属性を付与する（Ｓ１１２）。事象範囲の信頼度が所定値よりも高い場合（Ｓ１１３：N）、属性付与システム１００は処理を終了する。事象範囲の信頼度が所定値よりも低い場合（Ｓ１１３：Y）、属性付与部３７は、図８に例示する属性付与結果を表示及び修正するＵＩを端末装置１に表示させる（Ｓ１１４）。これにより属性付与部３７は、属性付与システム１００の使用者による属性の付与結果の修正を受け付けることができる。使用者が属性付与結果を表示及び修正するＵＩを閉じることで、属性付与システム１００は処理を終了する。

以上のように本実施形態の属性付与システム１００は、事象の目撃者や当事者、報告担当者などの作成者が作成した報告文書に基づいて、自動的に映像内の事象範囲に属性を付与することができる。これにより、属性付与システム１００の使用者は少ない作業量で映像に属性を付与することができる。属性付与システム１００は、撮影情報から観測される事象もしくは共起事象と事象情報に基づいて事象範囲を特定することができる。これにより属性付与システム１００は、精度良く事象範囲を特定することができる。属性付与システム１００は、属性や事象範囲の信頼度に基づいて、属性付与システム１００の使用者に確認と修正を行うＵＩを提示する。これにより属性付与システム１００は、属性付与システム１００の使用者の負担を軽減しつつ、誤った属性の付与を抑制することができる。

（第２実施形態）
第２実施形態では、事象に応じて発生した音声を用いて映像に属性を付与する場合を例に説明する。事象に応じて音声が発生する状況は複数考えられる。例えば、監視室のモニタを監視している警備員が映像を介して異常な事象を目撃した場合、現場付近の警備員に無線による通話などで連絡することが考えられる。他にも、事象が発生している現場において目撃者が「火事だ！」などと叫んだり、悲鳴を上げたりする場合が考えられる。また、事象自体が爆発音や衝突音などの音を発する場合も考えられる。本実施形態における属性付与システムは、このような音声を利用することで、属性を生成付与する。

図１０は、本実施形態の属性付与システムの構成例示図である。属性付与システム１０１は、図２に示す第１実施形態の属性付与システム１００と同じ構成には、同じ符号が付してある。属性付与システム１０１は、第１実施形態の属性付与システム１００の文書作成装置２０及び文書読込装置２５に代えて、音声入力装置４０を備える。属性付与装置３００は、第１実施形態の属性付与装置３０と同じ構成を含むが、事象情報取得部３３１及び事象範囲特定部３６１の機能が異なる。属性付与システム１０１による属性付与処理は、図９に示す第１実施形態の属性付与処理と同様の処理である。

音声入力装置４０は、撮影装置１０の撮影範囲周辺の音声を取得して該音声に基づく音声情報を生成する。音声入力装置４０は、生成した音声情報を属性付与装置３００へ送信する。音声入力装置４０は、例えばマイクロフォンなどが適用できる。音声入力装置４０は、トランシーバーなどの無線装置、端末装置１、撮影装置１０などに接続もしくは内包されていてもよい。音声情報は、音声信号や音声を取得した日時の情報などを含む。音声入力装置４０は、音声取得方法に関する情報を音声情報に含めてもよい。音声取得方法に関する情報は、例えば無線通話やカメラ付属のマイクなどを示す情報である。

属性付与装置３００は、第１実施形態の属性付与装置３０と同様に、属性を生成し、映像に属性を付与する情報処理装置である。属性付与装置３００は、文書情報ではなく音声情報に基づいて属性を生成付与する。第１実施形態の属性付与装置３０とは異なる構成（事象情報取得部３３１、事象範囲特定部３６１）について説明する。

事象情報取得部３３１は、音声入力装置４０から音声情報を取得し、取得した音声情報から抽出した事象情報を属性生成部３５及び事象範囲特定部３６１へ送信する。事象情報取得部３３１は、事象テキストを、音声情報中の音声信号に対して音声認識を行うことで抽出する。音声認識は、例えばＭＦＣＣ（Mel-Frequency Cepstral Coefficients）特徴量を抽出し、Hidden Markov Modelを用いる方法などで行われる。事象情報取得部３３１は、音声情報を取得した時点の日時を取得して、音声取得日時を含む事象メタ情報を生成する。なお、叫び声などの音声情報が言語的な情報を含まないような場合には、事象情報は事象テキストを含まなくともよい。

事象範囲特定部３６１は、第１実施形態の事象範囲特定部３６と同様に、事象情報、一以上の撮影情報、及び属性に基づいて、事象情報に記述された事象が含まれている映像及び映像中の時間的・空間的範囲である事象範囲を特定する。事象範囲特定部３６１は、特定した事象範囲を属性付与部３７へ送信する。事象範囲特定部３６１は、事象情報を事象情報取得部３３１から取得し、一以上の撮影情報を撮影情報記憶部３８から取得し、属性を属性生成部３５から取得する。また、事象範囲特定部３６１は、第１実施形態の事象範囲特定部３６と同様に、事象範囲の信頼度を生成して属性付与部３７へ送信してもよい。

事象情報は、事象テキストに時間情報が含まれていない場合や、事象テキスト自体が存在しない場合がある。このような場合、事象範囲特定部３６１は、事象メタ情報に含まれる音声情報を取得した日時に基づいて事象の時間情報を推定する。音声情報は、事象を目撃した時点でのリアクションとして取得される場合がある。このような場合、音声情報の取得日時と事象の発生日時は近くなる。事象範囲特定部３６１は、時間情報の推定を、音声情報の取得日時を推定時間情報として用いる方法や、音声情報の取得日時よりも所定の時間早くした日時を推定時間情報として用いる方法で行ってもよい。また、事象範囲特定部３６１は、時間情報の推定を学習によって行ってもよい。さらに事象範囲特定部３６１は、音声の取得方法のカテゴリによって、時間情報の推定方法を変化させてもよい。音声情報の取得日時よりも所定の時間早くする場合、事象範囲特定部３６１は、該所定の時間を変化させてもよい。例えば、音声が現場カメラのマイクで取得される場合、音声の取得日時と事象の発生日時はほぼ同時である。そのために、事象範囲特定部３６１は、時間情報が音声の取得日時により近づくように所定の時間を決定する。

以上のように本実施形態の属性付与システム１０１は、音声に基づいて属性を生成し、事象範囲を特定する。これにより、報告文書が作成されない場合であっても効率的に映像に属性を付与することが可能となる。さらに、属性付与システム１０１は、音声の取得日時に基づいて事象の発生日時を推定する。これにより、事象の発生日時が音声によって明言されない場合であっても、事象の推定発生日時を取得することができる。

（第３実施形態）
第３実施形態では、事象の目撃者もしくは当事者が生成した情報の信頼度に基づいて、属性の生成方法を変更する場合について説明する。本実施形態では、事象の目撃者や当事者などの事象を観測した観測者が、観測した結果に基づいて直接的もしくは間接的に生成した情報を観測情報と呼ぶ。観測情報は特定の形式に限定されない。また、観測情報は異なる複数の形式が混在してもよい。例えば、観測情報は、警備員が作成した警備日報であってもよいし、ＳＮＳ上の特定キーワードを含むコメントであってもよい。また観測情報は音声などであってもよい。

図１１は、本実施形態の属性付与システムの構成例示図である。属性付与システム１０２は、図２に示す第１実施形態の属性付与システム１００と同じ構成には、同じ符号が付してある。属性付与システム１０２は、第１実施形態の属性付与システム１００の文書作成装置２０及び文書読込装置２５に代えて、観測情報入力装置５０を備える。属性付与装置３１０は、第１実施形態の属性付与装置３０と同じ構成を含むが、事象情報取得部３３２及び属性生成部３５２の機能が第１実施形態とは異なる。属性付与システム１０２による属性付与処理は、図９に示す第１実施形態の属性付与処理と同様の処理である。

観測情報入力装置５０は、端末装置１により事象の目撃者もしくは当事者から観測情報を取得し、属性付与装置３１０へ送信する。観測情報は、観測情報入力装置５０によって取得される事象についての情報である。観測情報入力装置５０の観測情報の取得方法は特定の方式に限定されず、また複数の方式が混在していてもよい。例えば、観測情報入力装置５０は、文書作成装置２０及び文書読込装置２５、音声入力装置４０の少なくとも一つを含んで構成されてもよい。また、観測情報入力装置５０は、ＳＮＳなどから観測情報を取得してもよい。

属性付与装置３１０は、第１実施形態の属性付与装置３０と同様に、属性を生成し、映像に属性を付与する情報処理装置である。属性付与装置３１０は、観測情報及び観測情報の信頼度（観測信頼度）を生成し、観測信頼度に基づいて属性を生成付与する。第１実施形態の属性付与装置３０とは異なる構成（事象情報取得部３３２、属性生成部３５２）について説明する。

事象情報取得部３３２は、観測情報入力装置５０から観測情報を取得し、取得した観測情報から抽出した事象情報を属性生成部３５２及び事象範囲特定部３６へ送信する。事象情報取得部３３２は、観測信頼度を生成して事象情報の事象メタ情報に追加する。観測情報毎に情報の正確さは一定ではない。例えば、監視室の警備員からの報告に基づく観測情報と比較して、ＳＮＳ上のコメントに基づく観測情報は不正確であると考えられる。また、同一の事象に関する観測情報であっても、互いに矛盾するような複数の観測情報である場合も考えられる。このような場合、事象情報取得部３３２は、観測信頼度に基づいて観測情報を利用することで、不正確な観測情報に基づく属性の付与を抑制する。

事象情報取得部３３２は、観測情報の形式や内容に対応した方法で、事象情報を抽出する。例えば、事象情報取得部３３２は、観測情報が文書画像である場合に文字認識により、音声である場合に音声認識により、事象テキストを抽出する。観測信頼度は特定の方法に限定せずに生成される。例えば、事象情報取得部３３２は、観測情報の入力もしくは情報源が「警備員からの報告」であった場合に観測信頼度を相対的に高く生成し、「ＳＮＳ上のコメント」であった場合に観測信頼度を相対的に低く生成する。また、事象情報取得部３３２は、抽出した事象テキストに基づいて、「危険」や「転落」などの事象に関連する語句が多く含まれていれば観測信頼度を高く生成し、「暇」や「遊びたい」など無関係な語句が多く含まれていれば観測信頼度を低く生成する。事象情報取得部３３２は、同一の事象についての複数の観測情報を統合してもよい。このとき、統合された観測情報の数が多ければ多いほど、観測信頼度が高く生成される。

属性生成部３５２は、第１実施形態の属性生成部３５と同様に、事象情報に基づいて属性を生成して事象範囲特定部３６及び属性付与部３７へ送信する。属性生成部３５２は、事象情報の事象メタ情報に含まれる観測信頼度に基づいて属性を生成する。属性生成部３５２は、例えば、事象情報の観測信頼度が所定値以下であった場合に、属性の生成自体を行わなくてもよい。また、属性生成部３５２は、観測信頼度に基づいて属性の信頼度を生成してもよい。さらに、属性生成部３５２は、観測信頼度を属性が持つ情報の一部として追加してもよい。例えば、属性が０．０〜１．０の範囲で変化する実数である場合、属性生成部３５２は、観測信頼度が所定値よりも高ければ０．５や０．９などの特定の値を生成し、観測信頼度が所定値よりも低い場合は０．４±０．１など値の範囲を生成してもよい。

属性生成部３５２は、事象範囲特定部３６が特定する事象範囲と、撮影情報記憶部３８に記憶された撮影情報とに基づいて、観測信頼度を再生成してもよい。属性生成部３５２は、再生成した観測信頼度に基づいて生成された属性を属性付与部３７及び属性付与部３７へ送信する。事象情報のみに基づいて生成された属性は、撮影情報に整合しない場合がある。例えば、「地点Aに不審者を確認したため、至急現場に向かわれたし」などの警備員の音声による観測情報から、「異常」属性が生成されたとする。しかしながら、映像上ではそもそも人物が存在していなかったり、現場に向かった警備員が特になんの対応もすることなく戻った場合、撮影情報と「異常」属性が整合していない可能性がある。このような場合、属性生成部３５２は、観測信頼度を下方修正した後で、再度、属性を生成する。逆に、属性への整合性が高い場合にも、属性生成部３５２は、観測信頼度を情報修正した後で、属性を再生成する。

以上のように本実施形態の属性付与システム１０２は、観測情報の信頼度に基づいて属性を生成する。そのために属性付与システム１０２は、信頼性の異なる複数の観測情報がある場合にも、精度よく属性付与を行うことが可能となる。さらに、属性付与システム１０２は、映像と属性との整合性に基づいて属性を生成しなおすことができる。そのために属性付与システム１０２は、観測情報と映像とが食い違う場合でも、精度よく属性付与を行うことができる。

以上説明したように第１〜第３実施形態の属性付与システム１００、１１２、１０２は、撮影装置１０が撮影した映像についての撮影情報に、観測された事象に関する属性を、効率的に付与することが可能となる。属性は、文書情報、音声情報、観測情報などの非映像情報に基づいて生成される。このような属性付与システム１００、１１２、１０２は、監視システム分野や工場の生産効率化分野などの映像と属性との組を含むデータを用いる分野に利用することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (20)

1. 撮影装置が撮影した映像を含む撮影情報を取得する第１取得手段と、
   前記映像に含まれる事象についての非映像情報を取得する第２取得手段と、
   前記非映像情報に基づいて前記事象の属性を生成する属性生成手段と、
   前記属性を前記映像の前記事象に付与する付与手段と、を備えることを特徴とする、
   情報処理装置。
2. 前記第２取得手段は、前記事象について記述された文書に基づいて前記非映像情報を取得することを特徴とする、
   請求項１記載の情報処理装置。
3. 前記第２取得手段は、前記事象に応じて発せられた音声に基づいて前記非映像情報を取得することを特徴とする、
   請求項１記載の情報処理装置。
4. 前記第２取得手段は、異なる複数の方法で前記非映像情報を取得することを特徴とする、
   請求項１〜３のいずれか１項記載の情報処理装置。
5. 前記第２取得手段は、前記非映像情報とともに前記非映像情報が生成された状況を表す情報を取得し、
   前記属性生成手段は、前記非映像情報が生成された状況を表す前記情報及び前記非映像情報に基づいて前記事象の属性を生成することを特徴とする、
   請求項１〜４のいずれか１項記載の情報処理装置。
6. 前記第２取得手段は、前記非映像情報の信頼度を生成し、
   前記属性生成手段は、前記非映像情報及び前記信頼度に基づいて前記事象の属性を生成することを特徴とする、
   請求項１〜５のいずれか１項記載の情報処理装置。
7. 前記属性の候補及び前記属性を決定するためのルールを含む属性条件を設定する属性条件設定手段をさらに備え、
   前記属性生成手段は、前記非映像情報及び前記属性条件に基づいて前記事象の属性を生成することを特徴とする、
   請求項１〜６のいずれか１項記載の情報処理装置。
8. 前記属性条件設定手段は、前記非映像情報及び設定可能な属性を含む学習データに基づいて前記属性条件を設定することを特徴とする、
   請求項７記載の情報処理装置。
9. 前記付与手段は、付与した前記属性を表示手段に表示して、該属性の付与結果の修正を受け付け可能であることを特徴とする、
   請求項１〜８のいずれか１項記載の情報処理装置。
10. 前記属性生成手段は、生成した前記属性の信頼度を生成し、
    前記付与手段は、前記信頼度に基づいて該属性を前記表示手段に表示するか否かを決定することを特徴とする、
    請求項９記載の情報処理装置。
11. 前記非映像情報及び前記属性に基づいて、前記事象を含む映像及び該映像中の時間的・空間的範囲である事象範囲を特定する特定手段をさらに備え、
    前記付与手段は、前記事象範囲に基づいて、前記属性を前記映像の前記事象に付与することを特徴とする、
    請求項１〜１０のいずれか１項記載の情報処理装置。
12. 前記特定手段は、前記映像から検出する前記事象を構成する要素に基づいて前記事象範囲を特定することを特徴とする、
    請求項１１記載の情報処理装置。
13. 前記特定手段は、前記事象とともに発生する別の事象である共起事象を前記映像から検出し、前記共起事象に基づいて前記事象範囲を特定することを特徴とする、
    請求項１１又は１２記載の情報処理装置。
14. 前記付与手段は、前記事象範囲を表示手段に表示して、該事象範囲の修正を受け付け可能であることを特徴とする、
    請求項１１〜１３のいずれか１項記載の情報処理装置。
15. 前記特定手段は、前記事象範囲の信頼度を生成し、
    前記付与手段は、前記信頼度に基づいて該事象範囲を前記表示手段に表示するか否かを決定することを特徴とする、
    請求項１４記載の情報処理装置。
16. 前記第１取得手段は、前記映像及び該映像の撮影時の撮影状況を含む前記撮影情報を取得し、
    前記特定手段は、前記非映像情報、前記属性、及び前記撮影状況に基づいて前記事象範囲を特定することを特徴とする、
    請求項１１〜１５のいずれか１項記載の情報処理装置。
17. 前記属性生成手段は、生成した前記属性と前記映像との整合性に基づいて、前記属性を再生成することを特徴とする、
    請求項１〜１６のいずれか１項記載の情報処理装置。
18. 撮影装置に接続される情報処理装置により実行される方法であって、
    前記情報処理装置が、
    前記撮影装置から、該撮影装置が撮影した映像を含む撮影情報を取得し、
    前記映像に含まれる事象についての非映像情報を取得し、
    前記非映像情報に基づいて前記事象の属性を生成して、生成した前記属性を前記映像の前記事象に付与することを特徴とする、
    属性付与方法。
19. 撮影装置に接続されるコンピュータを、
    前記撮影装置から、該撮影装置が撮影した映像を含む撮影情報を取得する第１取得手段、
    前記映像に含まれる事象についての非映像情報を取得する第２取得手段、
    前記非映像情報に基づいて前記事象の属性を生成する属性生成手段、
    前記属性を前記映像の前記事象に付与する付与手段、
    として機能させるためのコンピュータプログラム。
20. 請求項１９に記載のコンピュータプログラムを記憶する、コンピュータにより読み取り可能な記憶媒体。

Images