JP2004171415A

JP2004171415A - 記録映像活用方法及びその装置

Info

Publication number: JP2004171415A
Application number: JP2002338540A
Authority: JP
Inventors: Kyoko Sudo; 恭子数藤; Hiroko Takahashi; 裕子高橋; Rie Yamada; 理絵山田; Satoshi Sakuma; 聡佐久間
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2002-11-21
Filing date: 2002-11-21
Publication date: 2004-06-17

Abstract

【課題】利用者の希望する場所に設置されたカメラから得られる映像を活用して情報を抽出し、その情報を映像に付加してデータベース化して活用すること。
【解決手段】映像情報抽出部２１０は、記録映像１００を入力とし、記録映像１００に含まれる情報を抽出し、記録映像１００とともに出力する。情報付加部２２０は、映像情報抽出部２１０において抽出された情報を記録映像１００に検索キーとして付加する。情報提示部６００は、利用者からリクエスト４００を受けて、映像データベース３００と外部データ５００とを参照しながら情報を生成し、利用者所望の映像と情報を検索して利用者に与える。また、利用者のリクエストに基づいて外部データ５００に参照すべき外部データを指定して参照結果を受け取り、映像データベース３００に検索キーを指定して検索結果を受け取り、それらの結果を統合して情報を生成して利用者に提示する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、記録映像活用方法及びその装置に関し、より詳細には、情報を必要とする利用者のリクエストに基づいた情報提示を行い、特に記録映像を利用して映像中の人物についての情報を提示し、記録映像中の人物の服装の情報を提供する記録映像活用方法及びその装置に関する。
【０００２】
【従来の技術】
従来の記録映像活用技術としては、ホームビデオや監視映像などの記録映像について、記録映像の取得や記録映像の蓄積、記録映像から人物検出などを行う画像処理といった技術が多数存在している。
【０００３】
しかしながら、情報を必要とする利用者の希望する場所に設置されたカメラから映像中の人物に関する情報抽出を行ったのち、その情報を検索キーとして記録映像に付加してデータベース化し、例えば、服装の情報管理に利用するという記録映像活用装置はこれまでに存在しなかった。
【０００４】
一方、服装の情報管理に関するものとしては、以下のものがあった。つまり、１）服飾データ管理装置および方法（例えば、特許文献１参照）は、洋服やアクセサリーなどの服飾のアイテムをデータベース化し、スケジュールデータと関連づけて一括管理システムである。
【０００５】
また、２）情報管理装置（例えば、特許文献２参照）は、画像入力手段をもつスケジュール管理システムで、自分自身を撮影する手段とスケジューラとから構成されており、スケジュール管理の電子手帳にその時々の自分自身の画像が入力できるシステムである。
【０００６】
【特許文献１】
特開平７−２４３１１２号公報
【０００７】
【特許文献２】
特開平１１−１３４３０５号公報
【０００８】
【非特許文献１】
「画像理解のためのディジタル画像処理［Ｉ］」鳥脇純一郎、昭晃堂；「ディジタル映像処理」映像情報メディア学会、オーム出版局
【０００９】
【発明が解決しようとする課題】
しかしながら、上述した従来技術１）の服飾データ管理装置では、自分が着た洋服をスケジューラに入力することで、アイテムの使用頻度とヒストグラム表示をしたり、スケジュールとリンクして服装を記録する機能があるものの、自分が実際に服を着用した状態の映像を見たり、入力したりすることはできなかった。
そのため、自分が着た洋服をその度にいちいちスケジューラに入力しなくてはならなず、入力が面倒であった。
【００１０】
また、新しく購入した服を入力するには、購入したアイテムの情報をネットワークからダウンロードするか、ブルーバックで撮影するか、またはポインティングデバイスを用いて描画するなど、手間のかかる作業が必要であった。そして、上述した従来技術１）のものは、単純に手持ちの服を管理し、組み合せを画面上で試すための装置であり、付加情報として提供されるものは使用頻度だけである。また、自分が着た状態の映像は確認できないという不都合があった。
【００１１】
しかしながら、自分に似合うかどうかや、今日何を着たらよいかのヒント、また、次にどのようなアイテムを購入したらよいかを判断するためには、服を着た自分の映像が情報とともに提示されることが必要である。
【００１２】
また、上述した従来技術２）の情報管理装置では、スケジュール管理の電子手帳にその時々の自分自身の画像が日記のように記録されていくもので、そのため、上述した従来技術１）とは異なり自分自身の映像も記録できるので、いつどのような服装であったかを知ることができ、またその服装が似合うかどうか見ることができるものである。
【００１３】
しかしながら、映像の入力に関しては、常に自分で意識して撮影を行わない限り画像が記録されないという不都合があった。また、コーディネートのアドバイスの提示機能をもっているが、パラメータは利用者のスケジュールだけであり、実際に利用できるコーディネートを提示するには、天候や気温などのコーディネート決定に重要な環境要因を反映させる必要がある。
【００１４】
本発明は、このような問題に鑑みてなされたもので、その目的とするところは、既にある記録映像または情報を必要とする利用者の希望する場所に設置されたカメラから得られる映像を活用して情報を抽出し、その情報を映像に付加してデータベース化して有効に活用するようにし、特に服装の情報など個人の日常生活に有益な情報を提供するようにした記録映像活用方法及びその装置を提供することにある。
【００１５】
また、服装の情報に関して、情報を必要とする利用者のリクエストに基づいた情報提供を行い、例えば、環境要因や過去の服装の履歴を反映したコーディネートのアドバイスなどを行うようにした記録映像活用方法及びその装置を提供することにある。
【００１６】
【課題を解決するための手段】
本発明は、このような目的を達成するために、請求項１に記載の発明は、情報を必要とする利用者の希望する場所に設置されたカメラにより取得した映像から、前記利用者のリクエストに基づいて情報を抽出して提示する記録映像活用方法であって、画像処理によってパターン認識を行うことにより前記映像から情報を抽出して、その結果を映像に付加して映像データベースを生成する映像データベース生成ステップと、該映像データベース生成ステップにより生成された映像データベースと外部データとのいずれか一方または両方を参照して、情報を必要とする利用者からのリクエストに基づいた処理を行って情報を提示する情報提示ステップとを備えたことを特徴とする。
【００１７】
また、請求項２に記載の発明は、請求項１に記載の発明において、前記映像データベース生成ステップは、デフォルトの映像処理モジュールと情報を必要とする利用者のリクエストに基づき選択した映像処理モジュールとのいずれか一方または両方を実行する映像情報抽出ステップと、該映像情報抽出ステップにより抽出された情報を映像に付加する情報付加ステップとを備えたことを特徴とする。
【００１８】
また、請求項３に記載の発明は、請求項１又は２に記載の発明において、前記映像データベース生成ステップは、記録映像に定常的または頻回に含まれる人物情報を抽出する人物情報抽出ステップを備えたことを特徴とする。
【００１９】
また、請求項４に記載の発明は、請求項１，２又は３に記載の発明において、前記外部データは、環境に関する計測値と予報のいずれか一方または両方であることを特徴とする。
【００２０】
また、請求項５に記載の発明は、情報を必要とする利用者の希望する場所に設置されたカメラにより取得した映像から、該利用者のリクエストに基づいて情報を抽出して提示する記録映像活用装置であって、画像処理によってパターン認識を行うことにより前記映像から情報を抽出して、その結果を映像に付加してデータを生成する映像データベース生成手段と、前記映像データベース生成手段により生成された映像データベースと、外部データと前記映像データベースのいずれか一方または両方を参照して、情報を必要とする利用者からのリクエストに基づいた処理を行って情報を提示する情報提示手段とを備えたことを特徴とする。
【００２１】
また、請求項６に記載の発明は、請求項５に記載の発明において、前記映像データベース生成手段は、デフォルトの映像処理モジュールと情報を必要とする利用者のリクエストに基づき選択した映像処理モジュールとのいずれか一方または両方を実行する映像情報抽出手段と、該映像情報抽出手段によって抽出された情報を映像に付加する情報付加手段とを備えたことを特徴とする。
【００２２】
また、請求項７に記載の発明は、請求項５又は６に記載の発明において、前記映像データベース生成手段は、記録映像に定常的または頻回に含まれる人物情報を抽出する人物情報抽出手段を備えたことを特徴とする。
【００２３】
また、請求項８に記載の発明は、請求項５，６又は７に記載の発明において、前記外部データは、環境に関する計測値と予報のいずれか一方または両方であることを特徴とする。
【００２４】
また、請求項９に記載の発明は、コンピュータを用いて請求項１乃至４いずれかに記載の各ステップを実行させるためのプログラムである。
【００２５】
また、請求項１０に記載の発明は、請求項１乃至４いずれかに記載の各ステップを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００２６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の態様について説明する。
図１は、本発明の記録映像活用装置の一実施形態を説明するための構成図で、図中符号１００は記録映像、２００は映像データベース生成部、２１０は映像情報抽出部、２２０は情報付加部、３００は映像データベース、４００はユーザからのリクエスト、５００は外部データ、６００は情報提示部、７００は情報提示部６００からの情報を示している。
【００２７】
記録映像１００は、本発明の記録映像活用装置の処理対象となる元の映像である。映像データベース生成部２００は、記録映像１００を入力とし、映像データベース３００に出力する処理手段である。映像データベース生成手段２００は、映像情報抽出部２１０と情報付加部２２０とからなっている。
【００２８】
映像情報抽出部２１０は、記録映像１００を入力とし、記録映像１００に含まれる情報を抽出し、記録映像１００とともに出力する手段である。情報付加部２２０は、映像情報抽出部２１０において抽出された情報を、記録映像１００に検索キーとして付加する手段である。検索キーを付加された記録映像は、映像データベース３００に保存される。
【００２９】
映像データベース３００は、映像データベース生成部２００において、記録映像１００に処理を施した結果生成されるデータベースである。リクエスト４００は、情報を必要とする利用者からシステムへの情報提示の要求である。外部データ５００は、本発明に係る記録映像活用装置の外部のデータベースである。
【００３０】
情報提示部６００は、情報を必要とする利用者からリクエスト４００を受けて、映像データベース３００と外部データ５００とを参照しながら情報を生成して提示する手段である。
【００３１】
情報７００は、情報提示部６００が情報を必要とする利用者からリクエスト４００を受けて、映像データベース３００と外部データ５００とを参照しながら生成して利用者に提示する情報である。
【００３２】
情報提示部６００は、利用者からのリクエストを受けて映像データベース３００と外部データ５００とのデータのやりとりを行い、利用者所望の映像と情報を検索して利用者に与える手段である。また、情報提示部６００は、利用者のリクエストに基づいて外部データ５００に参照すべき外部データを指定して参照結果を受け取り、映像データベース３００に検索キーを指定して検索結果を受け取り、それらの結果を統合して情報を生成して利用者に提示する手段である。
【００３３】
次に、本発明の記録映像活用装置への入力である記録映像１００と、情報を必要とする利用者からのリクエスト４００を具体的に想定して、利用者からのリクエストから情報提示までの処理の流れについて説明する。
【００３４】
記録映像１００は、玄関付近に設置したカメラから常時撮影された蓄積映像をもとに作成されたものであるとする。人物の出入りがあったシーンを抜き出し、更に特定の個人が含まれているものだけを選び出す前処理を行い、その結果は数秒間のショートムービーの集合に編集されているものとする。人物の出入りの認識は背景差分の画像処理などによって、また、個人別の編集は顔のテンプレートマッチングを用いた個人識別処理などによって実現することができる。
【００３５】
通常のビデオ撮影では映像とともに日時が記録されるので、編集後の記録映像１００にも日時の情報は付加されているものとする。記録映像が入力される映像データベース生成部２００に人物抽出や個人識別機能を含めれば、入力の記録映像１００として前処理（人物抽出、個人識別）を施す前の映像を用いることも可能である。
【００３６】
映像データベース生成部２００では、次のような処理を行って、映像データベース３００を生成する。映像情報抽出部２１０は、複数の映像処理モジュールを備え、入力された記録映像１００に対してこれらの映像処理モジュールを用いた画像処理を行って映像中に含まれる人物や物体の属性を抽出する。
【００３７】
ここで、映像中に含まれる人物や物体について説明する。本発明の記録映像活用装置では、カメラは情報を必要とする利用者が希望した場所に設置される。その場所は、利用者がＡという人物（利用者本人でもよい）に関して映像から得られる情報を必要とするとき、Ａが定常的または頻回に通過し、しかもカメラの存在を意識しないで済むような場所である。そして、画像処理による属性抽出の処理対象となる人物や物体は、映像中に定常的または頻回に登場する人物や物体である。例えば、情報を必要とする利用者の希望により、この利用者の自宅玄関の外側にカメラが設置されている場合、映像にはその家に出入りする利用者本人やその家族、ペットが定常的に含まれ、それ以外に時々訪問者が含まれる。
【００３８】
従って、利用者は自宅に出入りする時の自分や家族やペットの日常的な様子などの情報を記録映像から得ることができる。あるいは、定期的に訪れる訪問者について、いつ訪れたかなどの情報を記録映像から得ることができる。
【００３９】
また、カメラが利用者のオフィスに設置されている場合、映像には利用者本人と、職場の人が定常的に含まれるので、利用者はオフィスでの自分の普段の様子についての情報を記録映像から得ることができる。映像中の人物や物体の認識は、映像処理モジュールにおいて行われる。
【００４０】
次に、映像処理モジュールが行う画像認識処理の例を以下に挙げる。
１）映像中の人物の有無の認識
２）映像中の犬や猫など特定の物体の有無の認識
３）映像中の特定の人物の存在の認識
４）特定の人物のベストショットフレームの認識
５）特定の人物の服装アイテムの認識
６）映像中の人物の人数の認識
７）映像中の天候の認識
このような上述した１）〜７）の認識は、基本的に背景画像との差分を求めて変化領域を抽出したり、参照画像との照合（テンプレートマッチングなど）で行うことができる。
【００４１】
テンプレートマッチングにおけるテンプレートとの照合方法は、相関演算やテクスチャ・形状・色などを利用する方法がある（例えば、非特許文献１参照）。
【００４２】
上述した４）の認識において、ベストショットの例としては、人物の全身が映っているフレーム、正面顔が最も大きく映っているフレーム、人物が中央に映っているフレーム、などがある。また、上述した５）の認識において、認識すべき服装の各アイテムについて、外部データを持っており、この外部データとの照合によって認識を行う。この参照データは、記録映像活用装置の利用開始時の利用者手持ちのワードローブのアイテムを登録したものを初期値とし、随時更新が可能である。認識された服装のアイテムは、一覧化して保存したり出現頻度を求めたりすることができる。
【００４３】
情報付加部２２０では、映像情報抽出部２１０での処理の結果得られた情報を検索キーとし、対応するフレームに付加して情報付きの記録映像とする。この結果は映像データベース３００に蓄積される。
【００４４】
情報付加部２２０は、複数の情報生成モジュールを備え、これらに対応して、生成される情報がメニュー化されている。利用者はリクエスト４００によってこのメニューの選択を行う。各情報生成モジュールは、映像データベース３００と外部データ５００のいずれか一方または両方を読みこみ、これらを入力として演算を行った結果の値やアルゴリズムに従って検索した結果の映像を出力する。
【００４５】
以下に、情報付加部２２０における選択可能なメニューの例、およびそれぞれのメニューにおいてリクエスト４００の入力時に指定可能な項目の例を挙げる。
【００４６】
メニュー１）指定映像の検索およびサムネイル化一覧表示
指定項目１：撮影時期…毎日、過去１ヶ月、去年の今日、毎月曜日など
指定項目２：対象…自分、父親、子供、飼い犬など
指定項目３：対象の映り方…全身が映っている、顔が大きく映っている、後ろ姿など
メニュー２）自分（利用者）の今日１日にふさわしい洋服のコーディネート例の表示
指定項目１：コーディネート決定要因（優先順位つき）…過去×日間の服装と異なるもの、その日のスケジュール、その日の気温や天気など
指定項目２：過去の映像の提示…推奨アイテムが着用されている過去の映像、前回の同一訪問先に行った日の映像
メニュー３）今シーズン購入すべきアイテムの候補の提示
メニュー４）自分のコーディネートに対するコメント
図２（ａ）〜（ｃ）は、リクエストによりメニューが選択された場合のユーザに返される情報の画面の例を示す図で、図２（ａ）は上述したメニュー１）を選択した場合、図２（ｂ）は上述したメニュー２）を選択した場合、図２（ｃ）は上述したメニュー３）を選択した場合を各々示している。
【００４７】
リクエスト４００によりメニュー１）が選択された場合は、情報提示部６００は、映像データベース中の映像につけられたフラグをチェックし、指定項目１〜３に該当する部分を検索して提示する。この場合の提示結果例のイメージを図２（ａ）に示す。この機能によって、利用者は季節の変わり目に自分のワードローブをチェックしたり、去年の同じ行事にどのような服を着ていたか、などを知ることができる。
【００４８】
リクエスト４００によりメニュー２）が選択された場合は、情報提示部６００は映像データベース３００にアクセスおよび外部データ５００にアクセスし、情報生成モジュール中の関数に従って、外部データ中の利用者個人のワードローブデータベース中の各アイテムの評価を行って、評価の高いものを推奨アイテムとして提示する。
【００４９】
外部データ５００として、ここでは、個人のスケジュール、個人のワードローブデータベース、温度や湿度等のセンサ、天気予報、コーディネートデータベースなどを想定している。屋外に設置した温湿計などのセンサに接続し、その出力から現在の屋外の温度や湿度などの情報を得たり、ネットワークを経由してその日の天気予報情報（降水確率、予想最高／最低気温、紫外線量、花粉量など）を得る。外部データ５００は利用者による追加・変更を行うことができ、上記以外のものでもよい。
【００５０】
情報を必要とする利用者のリクエスト４００により、指定項目１のコーディネート決定要因として、過去×日間の服装と異なるという指定がある場合には、映像データベース３００中から過去×日間の映像に付加された服装に関するタグ（検索キー）をチェックする。情報生成モジュール中の関数により、例えば、過去×日間に使用されたアイテムは評価が低くなるような演算が行われる。
【００５１】
指定項目１のコーディネート決定要因として、その日の利用者のスケジュールが指定されているとき、外部データ５００中の利用者のスケジュールをチェックする。例えば、午前中は会社で、夕方は子供の行事であれば、動きやすいスーツの評価が高くなるような演算が行われる。現在の気温が高ければ、それにふさわしい生地の服が、天気予報で得た降水確率が高ければ雨の時にふさわしい服のポトムと靴などが、それぞれ評価が高くなるような演算が行われる。
【００５２】
指定項目２が選択されている場合には、映像データベース３００中の過去の映像から、選択された推奨アイテムを検索キーとして同じものを着用している映像を選んで提示する。あるいは、スケジュールの訪問先を検索キーとして、前回同一の訪問先に行った時の映像を選んで提示する。この場合の情報７００の例を図２（ｂ）に示す。この例で利用者が得る効果は、記録映像活用装置が自分のスケジュールや天気予報などを考慮して、手持ちの服からコーディネートの候補を見つけてくれることと、過去にそのアイテムを着用した映像が見られるので、自分に似合っているかどうかを確認することができることで、効率のよいコーディネート選択ができることである。
【００５３】
リクエスト４００により、メニュー３）が選択された場合、情報指示部６００は、アイテム別の使用頻度ヒストグラム生成する。ネットワーク経由で洋服のカタログサイトなどにアクセスし、最頻のアイテムと類似の新製品を利用者に提示する。図２（ｃ）に例を示す。利用者は、洋服等の購入時に外出先から検索をかけて、手持ちワードローブの映像を携帯端末で見るといった使い方をすることもできる。この機能により効率のよい商品購入ができる。
【００５４】
利用者のリクエスト４００により、メニュー４）が選択された場合、情報指示部６００はネットワークを経由して、プロのコーディネーターが作成したコーディネートのデータベースからデータ（アイテムの組み合せのマニュアルや流行のアイテムの種類など）を得る。また、ネットワーク経由で利用者の記録映像中の着こなしに対してプロのコーディネーターからコメントをもらって提示する。
【００５５】
図３は、本発明に係る記録映像活用装置の他の実施形態を説明するための構成図で、図中符号４１０はリクエスト制御部、４２０，４３０はモジュールの追加、５１０はプログラムデータベースで、図１と同じ機能を有する部分には同一の符号を付してある。
【００５６】
映像データベース生成部２００において使用する映像処理モジュールは、利用者がどのような情報を必要とするか（リクエスト４００）によって異なるため、上述した１）〜７）に認識以外に、図３に示すように、映像処理モジュールを選択または追加する実施形態も可能である。同様に、情報提示部６００において使用する情報生成モジュールもリクエストによって異なるため、情報生成モジュールを選択・追加する実施形態が可能である。
【００５７】
追加するための映像処理モジュールはネットワークを用いて利用者に提供され、利用者は必要とするモジュールのダウンロードを行ってモジュールの追加を行う。以上の抽出された情報は、情報が抽出されたフレーム番号と情報の組として、入力の記録映像１００とともに出力される。
【００５８】
リクエスト４００が情報指示部６００のどのメニューに該当するのかを判断するためには、リクエスト制御部４１０を設ける。該当するメニューが存在しない場合には、リクエスト制御部４１０は外部データ５００およびプログラムデータベース５１０にアクセスする。そして、外部データ５００からリクエストの処理に必要な外部データを、プログラムデータベースから必要な映像情報抽出モジュールや情報生成モジュールを取得する。そして、映像情報抽出部２１０に映像情報抽出モジュールの追加４２０、情報提示部６００に情報生成モジュールの追加４３０を行う。
【００５９】
図４は、図３に示した記録映像活用装置の動作を説明するためのフローチャートを示す図である。
まず、ユーザからのリクエスト４００がリクエスト制御部４１０に送られると、このリクエスト制御部４１０では、リクエストの受取りと必要な処理モジュールの判断を行う。処理モジュールの読み出しはプログラムデータベース５１０にアクセスして行い、情報提示部６００への処理モジュールの追加４３０とリクエストの伝達を行い、映像データベース生成部２００への処理モジュールの追加４２０を行う。
【００６０】
情報提示部６００では、リクエスト制御部４１０の情報提示部６００への処理モジュールの追加とリクエストの伝達を受けて、リクエストを受取り、データの検索を外部データ５００及び映像データベース３００にアクセスして行う。データ渡し、画像処理モジュールの指定を行うと、映像データベース生成部２００で画像処理を行い、その処理結果を映像データベース３００の処理結果保存に出力するとともに、情報提示部６００に出力し、この情報提示部６００では提示形式の生成、結果出力をユーザに伝達する。
【００６１】
なお、本発明の記録映像活用装置は、コンピュータとプログラムによっても実現することができ、プログラムを記録媒体として記録することも、ネットワークを介して提供することも可能である。
【００６２】
【発明の効果】
以上説明したように本発明によれば、情報を必要とする利用者の希望する場所に設置されたカメラにより取得した映像から、利用者のリクエストに基づいて情報を抽出して提示する記録映像活用装置であって、画像処理によってパターン認識を行うことにより映像から情報を抽出して、その結果を映像に付加してデータを生成する映像データベース生成手段と、映像データベース生成手段により生成された映像データベースと、外部データと映像データベースのいずれか一方または両方を参照して、情報を必要とする利用者からのリクエストに基づいた処理を行って情報を提示する情報提示手段とを備えたので、既にある記録映像を有効に利用して、情報を付加した映像データベースを生成し、利用者のリクエストに応じて検索や情報提供を行うことができる。特に服装の管理やアドバイスを効果的に行うことができる。
【図面の簡単な説明】
【図１】本発明の記録映像活用装置の一実施形態を説明するための構成図である。
【図２】リクエストによりメニューが選択された場合のユーザに返される情報の画面の例を示す図で、（ａ）はメニュー１）を選択した場合、（ｂ）はメニュー２９を選択した場合、（ｃ）はメニュー３）を選択した場合を示している。
【図３】本発明に係る記録映像活用装置の他の実施形態を説明するための構成図である。
【図４】図３に示した記録映像活用装置の動作を説明するためのフローチャートを示す図である。
【符号の説明】
１００記録映像
２００映像データベース生成部
２１０映像情報抽出部
２２０情報付加部
３００映像データベース
４００ユーザからのリクエスト
４１０リクエスト制御部
４２０，４３０モジュールの追加
５００外部データ
５１０プログラムデータベース
６００情報提示部
７００情報提示部からの情報

Claims

情報を必要とする利用者の希望する場所に設置されたカメラにより取得した映像から、前記利用者のリクエストに基づいて情報を抽出して提示する記録映像活用方法であって、
画像処理によってパターン認識を行うことにより前記映像から情報を抽出して、その結果を映像に付加して映像データベースを生成する映像データベース生成ステップと、
該映像データベース生成ステップにより生成された映像データベースと外部データとのいずれか一方または両方を参照して、情報を必要とする利用者からのリクエストに基づいた処理を行って情報を提示する情報提示ステップと
を備えたことを特徴とする記録映像活用方法。
前記映像データベース生成ステップは、デフォルトの映像処理モジュールと情報を必要とする利用者のリクエストに基づき選択した映像処理モジュールとのいずれか一方または両方を実行する映像情報抽出ステップと、該映像情報抽出ステップにより抽出された情報を映像に付加する情報付加ステップとを備えたことを特徴とする請求項１に記載の記録映像活用方法。
前記映像データベース生成ステップは、記録映像に定常的または頻回に含まれる人物情報を抽出する人物情報抽出ステップを備えたことを特徴とする請求項１又は２に記載の記録映像活用方法。
前記外部データは、環境に関する計測値と予報のいずれか一方または両方であることを特徴とする請求項１，２又は３に記載の記録映像活用方法。
情報を必要とする利用者の希望する場所に設置されたカメラにより取得した映像から、該利用者のリクエストに基づいて情報を抽出して提示する記録映像活用装置であって、
画像処理によってパターン認識を行うことにより前記映像から情報を抽出して、その結果を映像に付加してデータを生成する映像データベース生成手段と、
前記映像データベース生成手段により生成された映像データベースと、
外部データと前記映像データベースのいずれか一方または両方を参照して、情報を必要とする利用者からのリクエストに基づいた処理を行って情報を提示する情報提示手段と
を備えたことを特徴とする記録映像活用装置。
前記映像データベース生成手段は、デフォルトの映像処理モジュールと情報を必要とする利用者のリクエストに基づき選択した映像処理モジュールとのいずれか一方または両方を実行する映像情報抽出手段と、該映像情報抽出手段によって抽出された情報を映像に付加する情報付加手段とを備えたことを特徴とする請求項５に記載の記録映像活用装置。
前記映像データベース生成手段は、記録映像に定常的または頻回に含まれる人物情報を抽出する人物情報抽出手段を備えたことを特徴とする請求項５又は６に記載の記録映像活用装置。
前記外部データは、環境に関する計測値と予報のいずれか一方または両方であることを特徴とする請求項５，６又は７に記載の記録映像活用装置。
コンピュータを用いて請求項１乃至４いずれかに記載の各ステップを実行させるためのプログラム。
請求項１乃至４いずれかに記載の各ステップを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。