JP2012199911A - 情報処理装置 - Google Patents

Abstract

【課題】保存する際の利便性を高め、さらに保存した会議情報を参照する際にも参照が必要な会議情報量を削減し、また、保存容量も削減できるテレビ会議端末装置を提供する。
【解決手段】本発明の会議情報解析部２３は、通信インターフェース１０により取得した会議情報を分割して部分会議情報の集合を生成する部分会議情報集合手段２４と、部分会議情報の重要度を解析する重要度解析手段２５と、部分会議情報集合手段２４により集合化された集合部分会議情報の中から、重要度解析手段２５により解析された重要度に基づいて重要だと判断される会議情報のみを重要会議情報として自動的に選択する選択手段２６を備えて構成されている。
【選択図】図３

Description

本発明は、情報処理装置に関し、例えば重要な会議情報を自動的に抽出して保存する技術に関するものである。

従来からテレコンファレンス（teleconference）又は多地点間テレビ会議システム等と呼ばれるテレビ会議システムが開発されている。このシステムは、各種の通信媒体を利用して、特に遠隔地の各端末装置を通信回線で接続し、相互に映像（静止画像を含む）や音声などの情報（会議情報）を交換して、居ながらにして、あたかも同一の会議室で会議を行っているような状況を実現するものである。尚、遠隔地とは、同一の会議室ではなく、会議の出席者が離れた場所（例えば同一ビル内の異なる室や、他の場所にある会議室など）なども含む広い概念である。
また、端末装置は、会議情報である映像データや音声データを多重化データとして通信回線を介して送受信する機能を有し、具体的にはパーソナルコンピュータやテレビ受信機を本体とする装置である。
また、システムは、複数の端末装置と通信回線を介して接続し、各端末装置間の会議情報の交換を制御してテレビ会議処理を管理するための一種のサーバに相当する制御装置（以下テレビ会議装置と呼ぶ）を有する。
即ち、会議の出席者は、端末装置を操作してテレビ会議装置に接続し、他の出席者が操作する各端末装置から送信される多重化データを受信して、端末装置のディスプレイ画面上で映像を再生したり、或いはスピーカにより音声を再生したりする。これにより、他の出席者の発言や表示内容を確認することができる。また、自身の発言や表示内容を多重化データに変換して送信することにより、他の各端末装置を操作する出席者に伝えることができる。また、必要に応じて任意に指定した会議情報の一部分を記録媒体等に保存できる。
尚、特許文献１には、テレビ会議の実行中に送受信される会議情報を効率よく保存する目的で、各端末装置のいずれかの端末装置からの要求に応じて、会議情報の指定範囲のデータのみを記録する手段を備えたテレビ会議システムについて開示されている。

しかし、従来のテレビ会議端末装置では、会議情報（動画・音声・付加情報などをまとめたもの）のなかで参加者が保存しておきたい任意の範囲の会議情報が存在した場合、参加者自身が、保存しておきたい範囲の開始点と、開始点を０とした場合の保存時間の設定を行わなければならなかった。そのため、参加者は保存しておきたい任意の範囲が発生するたびに、参加者自身の手により保存しておきたい範囲の開始点と、保存しておきたい時間を手作業で入力しなければならず、処理が煩雑であるという問題があった。また、保存しておきたい任意の範囲が長時間の場合、会議中または会議後に保存した映像を参照する際に、大量の会議情報の中から目的の会議情報を捜さなければならず非常に手間がかかり、また、保存した会議情報の容量も膨大になってしまうという問題があった。
また、特許文献１に記載の従来技術は、テレビ会議の実行中に送受信される会議情報の中から一部分のみを抽出して保存する点では似ているが、会議情報の開始点や保存時間を会議参加者が設定しなければならず、処理が煩雑で、また会議情報が膨大となり検索に時間がかかり、さらに保存容量も膨大となってしまうという問題は解消できていない。

本発明は、かかる課題に鑑みてなされたものであり、参加者が煩雑な手段を行わなくとも、会議情報の中から会議の中で重要だと思われる部分の会議情報のみを自動的に抽出して重要会議情報として保存することにより、保存する際の利便性を高め、さらに保存した会議情報を参照する際にも参照が必要な会議情報量を削減し、また、保存容量（メモリ容量）も削減できる情報処理装置を提供することを目的とする。

本発明はかかる課題を解決するために、請求項１は、動画データ及び音声データを含む情報を送受信する情報処理装置であって、前記情報を取得する情報取得手段と、前記情報取得手段により取得した情報を分割して部分情報の集合を生成する部分情報集合手段と、
部分情報集合手段により生成した前記部分情報の重要度を解析する重要度解析手段と、前記部分情報集合手段により生成した集合部分会議情報の集合から、前記重要度解析手段により解析された重要度に基づく情報のみを重要情報として選択する選択手段とを含むことを特徴とする。
本発明は、会議情報を記録する記録装置との間で会議情報の入出力が可能なテレビ会議端末装置であって、会議情報解析部では、テレビ会議の実行中に送受信される会議情報を分割して部分会議情報の集合を作成し、この部分会議情報の重要度を解析し、部分会議情報の集合の中から重要度に基づいて重要だと判断される会議情報のみを重要会議情報として自動で選択する機能を持つ。これにより、参加者が煩雑な手段を行わなくとも、会議の中で重要だと思われる会議情報のみを自動で選択して重要会議情報として保存し、保存する際の利便性を高め、さらに保存した映像を参照する際にも参照が必要な情報量を削減し、また、保存容量も削減することができる。

請求項２は、記憶部に新規に記録した前記動画の映像フレームと、直前に記録した映像フレームとを比較する比較手段と、前記比較手段により比較された映像フレームの変化量に基づいて、正常に撮影されている撮影対象であるか否かを決定する撮影対象決定手段と、前記撮影対象決定手段により撮影対象が決定され、前記比較手段により比較された映像フレームの変化量が所定量以上の場合、前記直前に記録された映像フレームが最適な映像フレームであるか否かを分析するフレーム分析手段と、を含むことを特徴とする。
会議情報の中で重要な情報がどれかを、どのように決定するかが本発明の重要なポイントとなる。本発明では重要度解析手段を備え、正常に撮影された撮影対象の新規の映像フレームと直前の映像フレームの変化量が所定量以上変化した場合に、直前に保存された映像フレームが最適な映像フレームであれば、それを重要会議情報とする。これにより、映像フレームの変化量から正確に重要会議情報を抽出することができる。

請求項３は、使用者からの入力を受け付ける入力手段を含み、該入力手段から入力が受け付けた時点の、前記記憶部に記録された部分情報を前記重要情報として選択することを特徴とする。
外部入力手段からの入力が行われた場合には、入力された情報に基づき、一時保存された部分会議情報の少なくとも一つを記憶媒体に保存する。即ち、外部入力手段により会議情報を保存する命令が行われた場合は、無条件で一時保存された部分会議情報を重要会議情報として選択し、記録媒体１４に保存することになる。これにより、任意に重要会議情報を選択することができる。

請求項４は、前記フレーム分析手段により分析された映像フレームが最適な映像フレームでないと分析された場合、前記記憶部から最適でない映像フレームの直前の映像フレームを抽出して、更に該フレーム分析手段により分析することを特徴とする。
映像フレーム（例えば映像フレームｎ−１）が最適でないと判断された場合、取得した会議情報の一時保存が行われた一時記憶媒体から該当映像フレームの直前の映像フレーム（例えば映像フレームｎ−２）を抽出する。そして、抽出した映像フレームに対して同様の処理を行い、抽出した映像フレーム（例えば映像フレームｎ−２）が、ブレなどが小さく重要会議情報として保存するために最適な映像フレームかどうかを判断する。これにより、重要会議情報の抽出精度を高めることができる。

請求項５は、動画データ及び音声データを含む情報を送受信する情報処理装置において、前記情報を取得する手段と、該情報を分割して部分情報の集合を生成する手段と、
該部分情報の重要度を解析する手段と、該部分情報の集合の中から該重要度に基づいて重要だと判断される情報のみを重要情報として選択する手段と、該重要情報の重要度を解析する手段と、該重要情報の集合の中から該重要度に基づいて不要だと判断される該重要情報のみを削除する手段と、を含むことを特徴とする。
請求項６は、動画データ及び音声データを含む情報を送受信する情報処理装置において、前記映像データを取得する手段と、該映像データを複数の映像フレームに分割して映像フレームの集合を生成する手段と、該映像フレームの重要度を解析する手段と、該映像フレームの集合の中から該重要度に基づいて重要だと判断される映像フレームのみを重要情報として選択する手段と、該重要情報の重要度を解析する手段と、該重要情報の集合の中から該重要度に基づいて不要だと判断される該重要情報のみを削除する手段と、を含むことを特徴とする。

請求項７は、使用者が保存させたい保存時間の設定を行う手段をさらに含むことを特徴とする。
請求項８は、前記重要情報に関係するインデックス情報を該情報に付加する手段をさらに含むことを特徴とする。
請求項９は、前記重要度に基づいて不要だと判断される該重要情報のみを削除する手段は、該重要情報のうち、手動で取得された重要情報と自動で取得した重要情報の時間の絶対値を基に算出された重要度と、該重要情報において、重要情報を取得した時刻と、直前に取得した重要情報を取得した時刻を元に、少なくとも２つの重要情報間の時間を基に算出された重要度とを合わせて、重要情報の重要度を算出することを特徴とする。

本発明によれば、情報処理装置によって重要情報が選択されるので、ユーザが煩雑な手段を行わなくとも、情報の中から重要な部分のみ自動で選択され、重要情報として保存し、保存する際の利便性を高める。さらに保存した情報を参照する際にも参照が必要な情報量を削減し、また、保存容量も削減できる機能を有する情報処理装置を提供できる。

一実施形態に係るテレビ会議システムの基本的構成について説明する図である。 一実施形態に係るテレビ会議端末装置の構成について説明する図である。 （ａ）は一実施形態に係る会議情報解析部の構成を示す図、（ｂ）は一実施形態に係る重要度解析手段の構成を示す図である。 一実施形態に係る会議情報解析処理について説明するフローチャートである。 一実施形態に係る会議情報と部分会議情報について説明する図である。 一実施形態に係る取得した会議情報が、重要会議情報か否かを判断する処理について説明するフローチャートである。 一実施形態に係る重要会議情報として保存された会議情報に対して「重要会議情報の重要度」を算出する処理について説明する図である。 （ａ）（ｂ）は一実施形態に係る手動取得情報を元に重要度を算出する処理について説明する図である。 一実施形態に係るフレーム取得情報を元に重要度を算出する処理について説明する図である。 一実施形態に係る記憶媒体の容量等に応じて「重要会議情報の重要度」の点数の低い会議情報の削除を自動で行なう処理について説明するフローチャートである。

以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
図１は、一実施形態に係るに係るテレビ会議システムの基本的構成について説明する図である。本実施形態を含む情報処理システムとしてのテレビ会議システム１は、図１に示すように、多地点間テレビ会議装置（以下、単にテレビ会議装置と呼ぶ）４に通信回線３を介して、複数のテレビ会議端末装置（以下、端末装置Ａ〜Ｄと呼ぶ）２が接続された構成である。
テレビ会議装置４は、いわばシステムの制御装置を構成するサーバに相当する。また、各端末装置２（Ａ〜Ｄ）は、テレビ会議の出席者が操作して、発言内容や表示内容を映像データ（静止画像データを含む）や音声データなどを多重化した多重化データ（即ち、会議情報）を送受信する機能を有する。

図２は、一実施形態に係るテレビ会議端末装置の構成について説明する図である。情報処理装置としての各端末装置Ａ〜Ｄはそれぞれ、図２に示すように、制御部１７を中心として、通信インターフェース（情報取得手段としての会議情報取得手段）１０、モニタ１１、スピーカ１２、入力装置１３、記録媒体１４、マイク１５、及びカメラ１６の各要素を有する。
制御部１７は、ＣＰＵやメモリを含む制御装置であり、多重化データを処理するためのＤ／Ａ変換部１８、Ａ／Ｄ変換部１９、映像コーデック（CODEC）部２０、音声コーデック部２１、及び多重化部２２の各要素を有する。

Ａ／Ｄ変換部１９は、マイク１５から入力される音声信号をディジタルの音声データに変換し、かつカメラ１６から入力される映像信号をディジタルの映像データに変換する。Ｄ／Ａ変換部１８は、通信インターフェース１０を介して受信した多重化データのディジタルの映像データや音声データをそれぞれアナログ信号に変換する。映像コーデック部２０は、映像データの符号化／復号化（圧縮伸張）処理を行う。また、音声コーデック部２１は、音声データの符号化／復号化（圧縮伸張）処理を行う。多重化部２２は、映像コーデック部２０により符号化（圧縮）された映像データ及び音声コーデック部２１により符号化（圧縮）された音声データを多重化した多重化データを生成し、受信した多重化データから映像データ及び音声データを分離する処理も行う。通信インターフェース１０は、通信回線３に接続してテレビ会議装置４との間で多重化データ（情報としての会議情報）の送受信を行う。モニタ１１は、映像データを再生するためのディスプレイを有し、Ｄ／Ａ変換部１８により変換された映像信号を入力し、自身の映像、他の出席者の映像、及び操作パネルなどの表示を行う。スピーカ１２は、音声コーデック部２１により復号化（伸張）された音声データを再生し、Ｄ／Ａ変換部１８により変換された音声信号を入力して、他の出席者が発言したときの音声を出力する。入力装置１３は、端末装置とテレビ会議装置４との接続または切断などの各種の操作を行なうためのキーボードやマウスである。記録媒体１４は、例えばハードディスクドライブ（HDD）などの記録再生可能な記憶媒体であり、送受信した映像データや音声データを保存する。マイク１５は、端末装置を操作する出席者が発言した音声信号を入力するための音声入力装置である。カメラ１６は、当該出席者自身の映像や、文書などのイメージ（表示内容）を入力するためのビデオ入力装置である。

更に、本発明では会議情報解析部２３を制御部１７の内部に備える。会議情報解析部２３では、テレビ会議の実行中に送受信される会議情報を分割して部分会議情報の集合を作成し、該部分会議情報の重要度を解析し、該部分会議情報の集合の中から該重要度に基づいて重要だと判断される会議情報のみを重要会議情報として自動で選択する機能を持つ。上記会議情報解析部２３を持つことにより、参加者が煩雑な手段を行わなくとも、会議の中で重要だと思われる会議情報のみを自動で選択して重要会議情報として保存し、保存する際の利便性を高め、さらに保存した映像を参照する際にも参照が必要な情報量を削減し、また、保存容量も削減できる機能を有するテレビ会議端末装置を提供することが可能となる。

図３（ａ）は一実施形態に係る会議情報解析部の構成を示す図である。本発明の会議情報解析部２３は、部分情報集合手段として通信インターフェース１０により取得した会議情報を分割して部分会議情報の集合を生成する部分会議情報集合手段２４と、重要度解析手段として部分会議情報の重要度を解析する重要度解析手段２５と、部分会議情報集合手段２４により集合化された集合部分会議情報の中から、重要度解析手段２５により解析された重要度に基づいて重要だと判断される会議情報のみを重要会議情報として自動的に選択する選択手段２６を備えて構成されている。
即ち、会議情報を記録する記録媒体１４との間で会議情報の入出力が可能なテレビ会議端末装置であって、会議情報解析部２３では、テレビ会議の実行中に送受信される会議情報を分割して部分会議情報３６の集合を作成し、この部分会議情報３６の重要度を解析し、部分会議情報３６の集合の中から重要度に基づいて重要だと判断される会議情報のみを重要会議情報として自動で選択する機能を持つ。これにより、参加者が煩雑な手段を行わなくとも、会議の中で重要だと思われる会議情報のみを自動で選択して重要会議情報として保存し、保存する際の利便性を高め、さらに保存した映像を参照する際にも参照が必要な情報量を削減し、また、保存容量も削減できる機能を有するテレビ会議端末装置を提供することが可能となる。

図３（ｂ）は一実施形態に係る重要度解析手段の構成を示す図である。本発明の重要度解析手段２５は、会議情報の一時保存が行われた記録媒体１４から新規に保存された動画の映像フレームと直前に保存された映像フレームを比較する比較手段２７と、比較手段２７により比較された映像フレームの変化量に基づいて正常に撮影されている撮影対象であるか否かを決定する撮影対象決定手段２８と、撮影対象決定手段２８により撮影対象が決定され、比較手段２７により比較された映像フレームの変化量が所定量以上の場合、直前に保存された映像フレームが最適な映像フレームであるか否かを分析するフレーム分析手段２９と、を備えている。
即ち、会議情報の中で重要な情報がどれかを、どのように決定するかが本発明の重要なポイントとなる。本発明では重要度解析手段２５を備え、正常に撮影された撮影対象の新規の映像フレームと直前の映像フレームの変化量が所定量以上変化した場合に、直前に保存された映像フレームが最適な映像フレームであれば、それを重要会議情報とする。これにより、映像フレームの変化量から正確に重要会議情報を抽出することができる。

図４は、一実施形態に係る会議情報解析処理について説明するフローチャートであり、図５は一実施形態に係る会議情報と部分会議情報について説明する図である。図４のフローチャートを参照して、取得した会議情報の解析手順を説明する。まず、会議情報３０について説明する。会議情報３０とは動画３１、音声３２、付加情報３３をまとめたものである。また、会議情報３０は時間軸ｔに応じて情報量が増加してゆく。例えば、時間ｔ１の場合の会議情報３４に対して、時間ｔ２の会議情報３５は情報量が増加している。これは時間と共に増加してゆく。
会議情報解析部２３は制御部１７より会議情報３０を取得する（Ｓ２）。次に、部分会議情報３６の作成を行う（Ｓ３）。部分会議情報３６とは、会議情報３０を時間軸によって分割したものである。例えば部分会議情報１は、時間ｔｘ１によって分割されており、同様に部分会議情報２は、時間ｔｘ２によって分割されている。そして部分会議情報３６の少なくとも一部の範囲を記録媒体１４などに一時保存する。前述一部の範囲とは、ある一定の間隔（例えば１ｓ）ごとに一部の範囲（例えば映像１フレーム分）の部分会議情報を記録媒体１４に一時保存するということである。保存する間隔や範囲は任意の値を設定することができ、例えば、ある時間以降の全ての部分会議情報を取得し、記録媒体１４などに一時保存することも可能である。このとき、入力手段として入力装置１３をはじめとする外部入力手段からの入力が行われた場合には、入力された情報に基づき、一時保存された部分会議情報の少なくとも一つを記録媒体１４に保存する（Ｓ４）。すなわち、入力装置１３をはじめとする外部入力手段により会議情報を保存する命令が行われた場合は（Ｓ４でｙｅｓ）、無条件で一時保存された部分会議情報を重要会議情報として選択し、記録媒体１４に保存することになる（Ｓ７）。

外部入力手段により一時保存された部分会議情報を保存する命令が行われなかった場合（Ｓ４でｎｏ）には、一時保存された部分会議情報を自動で解析し（Ｓ５）、一時保存された部分会議情報が重要会議情報であるのかどうか判断を行う（Ｓ６）。そして、重要会議情報だと判断された場合には（Ｓ６でｙｅｓ）、一時保存された部分会議情報を重要会議情報として記録媒体１４に保存するとともに（Ｓ７）、「重要会議情報の重要度」の算出を行う（Ｓ８）。最後に、算出された重要会議情報の重要度を部分会議情報の付加情報として保存する。
重要会議情報だと判断されなかった場合には（Ｓ６でｎｏ）、制御部１７によって一時保存された部分会議情報の消去または新規に取得した会議情報による上書き処理などが行われる。ここで、必ずしも一時保存された部分会議情報を消去する必要はなく、例えば指定された一時記憶媒体の上限まで部分会議情報を一時保存し、上限に達した際に、会議情報が重要会議情報かどうかを判断した際に用いた重要度の度合い（Ｓ６によって算出される）によって一時保存された部分会議情報を消去する優先順位を決定してもよい。

図６は、一実施形態に係る取得した会議情報が、重要会議情報か否かを判断する処理について説明するフローチャートである。図６のフローチャートを参照して、取得した会議情報の解析手順を説明する。今回は一例として、一時保存された会議情報の中から映像のみを用いて解析を行っているが、例えば一時保存された音声情報や、その他の一時保存された会議情報も合わせて解析を行うことも可能である。
初めに、取得した会議情報の一時保存が行われた記録媒体１４から、新規に保存された映像フレームｎ（時間軸で判断して最新の映像フレーム）と直前に保存された映像フレームｎ−１（時間軸で判断して最新の映像フレームの１枚前の映像フレーム）を抽出し、２つの映像フレームに対して比較を行う（Ｓ１１）。比較方法については、２枚の映像フレームをそれぞれ複数のエリアに分割し、それぞれのエリアに対して差分を抽出し動き量を検出するといった方法である。エリアの分割・動き量の検出などといった処理に関しては、すでに公知の技術を用いているためここでは割愛する。ここで、それぞれのエリアにおける動き量が閾値以上であり、また、大きな動きを検出したエリアも閾値以上であった場合（Ｓ１２でｎｏ）、カメラを設置途中であることなどによる大きな動きが発生していると考え、その間の映像フレームは重要会議情報とは判断しない。これは、最初にカメラを設置している際など、大きな動きが発生している際には重要会議情報は取得できていないだろうという判断からである。この処理により、重要会議情報でないフレームを保存してしまうといったことを避けることが出来る。

それぞれのエリアにおける動き量が閾値以下であり、また、大きな動きを検出したエリアも閾値以下であった場合（Ｓ１２でｙｅｓ）、カメラが固定され撮影対象が正常に撮影されていると判断し、ステップＳ１２は完了となる。そして、撮影対象決定（Ｓ１８）のフラグを立て、その後ステップＳ１１の処理に戻る。
カメラが固定され撮影対象が正常に撮影されていると判断されている状態で（撮影対象決定のフラグが立った状態（Ｓ１８））、その後もそれぞれのエリアにおける動き量が閾値以下であり、また、大きな動きを検出したエリアも閾値以下であった場合、Ｓ１１→Ｓ１２→Ｓ１８→Ｓ１１…を繰り返すこととなる。
撮影対象決定のフラグが立った状態（Ｓ１２でｙｅｓ）で、それぞれのエリアにおける動き量が閾値以上であり、また、大きな動きを検出したエリアも閾値以上であった場合、カメラが動き撮影対象が変化したと判断される（Ｓ１３）。上記場合においては、直前まで撮影していた撮影対象が重要な会議映像であると考え会議映像の抽出を行う（Ｓ１４）。これは例えば、テレビ会議用カメラを用いてホワイトボードを撮影していて、その後カメラを動かしてテレビ会議参加者を撮影しようとした場合、直前に撮影していたホワイトボードの画像を重要会議情報と判断し自動で抽出できるということである。

次に、会議映像の抽出について説明を行う。撮影対象決定のフラグが立った状態（Ｓ１８）で、それぞれのエリアにおける動き量が閾値以上であり、また、大きな動きを検出したエリアも閾値以上であった場合、撮影対象が変化したと判断される（Ｓ１３）。この場合、撮影対象決定（Ｓ１８）のフラグはリセットされる。そして、例えば映像フレームｎ（時間軸で判断して最新の映像フレーム）と直前に保存された映像フレームｎ−１（時間軸で判断して最新の映像フレームの１枚前の映像フレーム）で比較を行っていた場合では、直前に保存された映像フレームｎ−１（時間軸で判断して最新の映像フレームの１枚前の映像フレーム）に対して抽出した会議映像の分析（Ｓ１５）を行う。分析内容は、映像フレームｎ−１が、重要会議情報として保存するために最適な映像フレームとなっているのかを検査することである。例えば公知の技術を使うのであれば、揺れ周波数と振幅量の相関関数を作り出し、１枚の映像中の色や明度などから移動情報を算定することにより映像のブレが数値化されるため、映像フレームｎ−１が、ブレなどが小さく重要会議情報として保存するために最適な映像フレームかどうかが判断できる。

抽出した会議映像の分析（Ｓ１６）により、該当映像フレーム（例えば映像フレームｎ−１）が最適でないと判断された場合（Ｓ１６でｎｏ）、取得した会議情報の一時保存が行われた記録媒体１４から該当映像フレームの直前の映像フレーム（例えば映像フレームｎ−２）を抽出する（Ｓ１９）。そして、抽出した映像フレームに対して同様の処理を行い、抽出した映像フレーム（例えば映像フレームｎ−２）が、ブレなどが小さく重要会議情報として保存するために最適な映像フレームかどうかを判断する。
抽出した会議映像の分析（Ｓ１６）により、該当映像フレームが重要会議情報として保存するために最適な映像フレームであると判断された場合（Ｓ１６でｙｅｓ）、上記映像フレームを含む会議情報を重要会議情報と判断する（Ｓ１７）。

図７は、一実施形態に係る重要会議情報として保存された会議情報に対して「重要会議情報の重要度」を算出する処理について説明する図である。
図７のフローチャートを参照して、重要会議情報として保存された会議情報に対して「重要会議情報の重要度」を算出する手順（Ｓ８）を説明する。
まず、保存された重要会議情報を取得する（Ｓ２２）。次に、保存された重要会議情報が入力装置１３をはじめとする外部入力手段により会議情報を保存する命令が行われたことにより取得された重要会議情報かどうかを判断する（Ｓ２３）。ここで、取得した重要会議情報が入力装置１３をはじめとする外部入力手段により会議情報を保存する命令が行われたことによる情報の場合は（Ｓ２３でｙｅｓ）、手動取得であることを重要会議情報の付加情報として保存する（Ｓ２４）。さらに、手動取得した重要会議情報を元に必要に応じて既に保存されている重要会議情報の重要度を更新する（Ｓ２９）。重要度の更新についていの詳細は図８にて述べる。

図６のフローチャートによって重要会議情報だと判断された会議情報の場合、まず、手動取得情報を元に、重要度を算出する（Ｓ２５）。次に、フレーム取得情報を元に、重要度を算出する（Ｓ２６）。この手動取得情報を元に算出する重要度とフレーム取得情報を元に算出する重要度の算出順序は、どちらが先に行われても良い。
最後に、手動取得情報を元に算出された重要度と、フレーム取得情報を元に算出された重要度とを合わせて、重要会議情報の重要度を算出する（Ｓ２７）。ここで、手動取得情報を元に算出された重要度とフレーム取得情報を元に算出された重要度の合わせ方は、単純に加算してもよいし、重み付けを行うことによって重要度の重みを増減させても良い。

図８は、一実施形態に係る手動取得情報を元に重要度を算出する処理について説明する図である。図８を参照して、手動取得情報を元に重要度を算出する手順を説明する。
図８の４０〜４９は、Ｓ２２において取得した重要会議情報である。重要会議情報は時間ｔを基準にして、取得時間によって管理されている。すなわち、重要会議情報４０が一番古い重要会議情報であり、４１、４２、４３…と進むごとに新しい重要会議情報となっている。そして、重要会議情報４９が最新の重要会議情報である。また、重要会議情報には図７で述べたように「手動取得した重要会議情報」と「自動取得した重要会議情報」がある。
ここで、手動取得した重要会議情報を基準に重要度を算出する。まず、手動取得した重要会議情報４２を抽出する。その後、自動取得した重要会議情報が手動取得した重要会議情報と比べてどの程度時間的に離れているのかを算出する。例えば、手動取得した重要会議情報４２の取得時間（仮に０９：００：００とする）と自動取得した重要会議情報４３の取得時間（仮に０９：０５：００とする）を比較することによって、手動取得した重要会議情報４２からどの程度の時間が経過した後、自動取得した重要会議情報４３が取得されたのかを知ることが出来る（仮に００：０５：００となる）。同様にして、手動取得した重要会議情報４２の取得時間と自動取得した重要会議情報４１の取得時間を比較することによって、自動取得した重要会議情報４１からどの程度の時間が経過した後、手動取得した重要会議情報４２が取得されたのかを知ることが出来る。同様の処理を全ての重要会議情報について行うことにより、手動取得した重要会議情報４２の取得時間を基準として、自動取得した重要会議情報を取得するまでの時間の絶対値を求めることが出来る。

次に、手動取得情報を元に自動取得した重要会議情報の重要度を算出する。具体的には、手動取得した重要会議情報４２の取得時間を基準として、自動取得した重要会議情報を取得するまでの時間の絶対値を元に、時間の絶対値が大きければ大きいほど段階的に重要度を高くしてゆく。例えば、手動取得した重要会議情報４２を基準として自動取得した重要会議情報を取得するまでの時間の絶対値が小さい会議情報４３は会議情報の重要度５３が低くなる。そして、自動取得した重要会議情報４９のように、手動取得した重要会議情報４２を基準として自動取得した重要会議情報を取得するまでの時間の絶対値が大きくなるほど重要度５９が高くなる。

これは、手動取得した重要会議情報（例えば７５）に対して、時間的に近くにある自動取得した重要会議情報（例えば７４、７６）は手動取得した重要会議情報（例えば７５）と同様の情報である可能性が高く、他の自動取得した重要会議情報に比べ重要度は低いと考えるためである。逆に、手動取得した重要会議情報（例えば７５）に対して、時間的に遠くにある自動取得した重要会議情報（例えば７９）は、他の自動取得した重要会議情報に比べ重要度は高いと考えられる。
また、新たに手動取得した重要会議情報７０が加わった場合には、改めて手動取得した重要会議情報６２と手動取得した重要会議情報７０の間にある自動取得した重要会議情報６３〜６９について、重要度７６〜８２の算出を行う。これは、新たに手動取得した重要会議情報７０が加わることによって、手動取得した重要会議情報と自動取得した重要会議情報の時間の絶対値が変化するからである。例えば、重要会議情報４９は図８（ａ）の時点では手動取得した重要会議情報と自動取得した重要会議情報の時間の絶対値が大きく、手動取得情報を元に自動取得した重要会議情報の重要度が高いが、新たに手動取得した重要会議情報が保存された場合、例えば、図８（ｂ）の７９が保存された場合、手動取得した重要会議情報と自動取得した重要会議情報の時間の絶対値が小さくなるからである。この場合、手動取得した重要会議情報と自動取得した重要会議情報の時間の絶対値を更新し、図８（ｂ）のように重要度を更新する。これが、重要会議情報の重要度を更新する処理である（Ｓ２９）。
全ての重要度を算出する処理において、時間ｔと重要度の関係は時間に比例して直線的に減少させてもよいし、２次式などによって曲線的に減少させてもよい。

図９は、一実施形態に係るフレーム取得情報を元に重要度を算出する処理について説明する図である。図９を参照して、フレーム取得情報を元に重要度を算出する手順を説明する。
自動取得した重要会議情報９０〜９３には、取得した時刻が付加情報としてそれぞれに付加されている。ここで、自動取得した重要会議情報は直前に自動取得される重要会議情報の時刻を用いてフレーム取得時間差ｔｎ（ｎは定数）を求める。例えば、自動取得した重要会議情報９１の取得した時刻が仮に０９：０５：００であるとする。そして、直前に自動取得された重要会議情報９０の時刻が仮に０９：００：００であったとする。すると、自動取得した重要会議情報９１は、フレーム取得情報として自動取得した重要会議情報９０の取得した時刻と自動取得した重要会議情報９１の取得した時刻の差分であるフレーム取得時間差ｔ１を算出し、保持する。同様にして、自動取得した重要会議情報９２はフレーム取得時間差ｔ２を、自動取得した重要会議情報９３はフレーム取得時間差ｔ３を、それぞれ保持する。

次に、保持しているフレーム取得時間差に比例して重要度を算出する。すなわち、フレーム取得時間差が大きくなれば大きくなるほど重要度が大きくなるように算出する。これは、フレーム取得時間差が小さい重要会議情報（例えば９１）は、直前に取得された重要会議情報（例えば９０）と同様である可能性が高く、重要度は低い（例えば９５）と考えられるためである。逆に、フレーム取得時間差が大きい重要会議情報（例えば９２）は、直前に取得された重要会議情報（例えば９１）と同様である可能性が低く、重要度は高い（例えば９６）と考えられるためである。
また、全ての重要度を算出する処理において、フレーム取得時間差ｔｎ（ｎは定数）と重要度の関係はフレーム取得時間差に比例して直線的に増加させてもよいし、２次式などによって曲線的に増加させてもよい。

図１０は、一実施形態に係る記憶媒体の容量等に応じて「重要会議情報の重要度」の点数の低い会議情報の削除を自動で行なう処理について説明するフローチャートである。図７のフローチャートを参照して、記憶媒体の容量等に応じて「重要会議情報の重要度」の点数の低い会議情報の削除を自動で行なう手順を説明する。
会議情報解析部２３において、重要会議情報を保存する際、テレビ会議端末は自動保存に関する設定を確認する（Ｓ３１）。自動保存時間する設定には、例えば、記憶できる最大容量などが保存されている。次に、現在の状態から重要会議情報を保存した際に、自動保存に関する設定を満たすのかどうかを確認する。例えば、新たに重要会議情報を保存した際に、設定された記憶できる最大容量を超えないかどうかを確認する（Ｓ３２）。設定範囲内であった場合、例えば、新たに重要会議情報を保存した際に、設定された記憶できる最大容量を超えない場合、会議情報解析部２３は重要会議情報を記憶媒体１４に保存する（Ｓ３５）。

設定範囲外であった場合、例えば、新たに重要会議情報を保存した際に、設定された記憶できる最大容量を超えてしまう場合、会議情報解析部２３は記憶媒体１４に保存された重要会議情報を参照する（Ｓ３３）。そして、参照した重要会議情報の中で、重要度の低い重要会議情報の削除を行う（Ｓ３４）。この際、記憶媒体１４に保存された重要会議情報を参照する範囲は任意に設定することが可能である。例えば、重要会議情報全ての重要度を参照してもよいし、ある一定の範囲の重要会議情報の重要度を参照しても良い。そして、重要会議情報を削除したことにより、フレーム取得時間差を更新する必要があるため、重要会議情報のフレーム取得時間差から算出される重要度を更新する（Ｓ３５）。フレーム取得時間差から算出される重要度の算出に関しては図９と同様である。その後、会議情報解析部２３は重要会議情報を記憶媒体１４に保存する（Ｓ３６）。

１ テレビ会議システム、２ テレビ会議端末装置、３ 通信回線、４ 多拠点間テレビ会議装置、１０ 通信インターフェース、１１ モニタ、１２ スピーカ、１３ 入力装置、１４ 記録媒体、１５ マイク、１６ カメラ、１７ 制御部、１８ Ｄ／Ａ変換部、１９ Ａ／Ｄ変換部、２０ 映像コーデック部、２１ 音声コーデック部、２２ 多重化部、２３ 会議情報解析部、２４ 部分会議情報集合手段、２５ 重要度解析手段、２６ 選択手段、２７ 比較手段、２８ 撮影対象決定手段、２９ フレーム分析手段、３０ 会議情報、３１ 動画、３２ 音声、３３ 付加情報、３４ 時間ｔ１の場合の会議情報、３５ 時間ｔ２の場合の会議情報、３６ 部分会議情報

特開２０００−０２３１３０公報

Claims (9)

1. 動画データ及び音声データを含む情報を送受信する情報処理装置であって、
   前記情報を取得する情報取得手段と、
   前記情報取得手段により取得した情報を分割して部分情報の集合を生成する部分情報集合手段と、
   部分情報集合手段により生成した前記部分情報の重要度を解析する重要度解析手段と、
   前記部分情報集合手段により生成した集合部分会議情報の集合から、前記重要度解析手段により解析された重要度に基づく情報のみを重要情報として選択する選択手段とを含むこと
   を特徴とする情報処理装置。
2. 記憶部に新規に記録した前記動画の映像フレームと、直前に記録した映像フレームとを比較する比較手段と、
   前記比較手段により比較された映像フレームの変化量に基づいて、正常に撮影されている撮影対象であるか否かを決定する撮影対象決定手段と、
   前記撮影対象決定手段により撮影対象が決定され、前記比較手段により比較された映像フレームの変化量が所定量以上の場合、前記直前に記録された映像フレームが最適な映像フレームであるか否かを分析するフレーム分析手段と、
   を含むことを特徴とする請求項１に記載の情報処理装置。
3. 使用者からの入力を受け付ける入力手段を含み、
   該入力手段から入力が受け付けた時点の、前記記憶部に記録された部分情報を前記重要情報として選択することを特徴とする請求項１に記載の情報処理装置。
4. 前記フレーム分析手段により分析された映像フレームが最適な映像フレームでないと分析された場合、前記記憶部から最適でない映像フレームの直前の映像フレームを抽出して、更に該フレーム分析手段により分析することを特徴とする請求項２に記載の情報処理装置。
5. 動画データ及び音声データを含む情報を送受信する情報処理装置において、
   前記情報を取得する手段と、
   該情報を分割して部分情報の集合を生成する手段と、
   該部分情報の重要度を解析する手段と、
   該部分情報の集合の中から該重要度に基づいて重要だと判断される情報のみを重要情報として選択する手段と、
   該重要情報の重要度を解析する手段と、
   該重要情報の集合の中から該重要度に基づいて不要だと判断される該重要情報のみを削除する手段と、
   を含むことを特徴とする情報処理装置。
6. 動画データ及び音声データを含む情報を送受信する情報処理装置において、
   前記映像データを取得する手段と、
   該映像データを複数の映像フレームに分割して映像フレームの集合を生成する手段と、
   該映像フレームの重要度を解析する手段と、
   該映像フレームの集合の中から該重要度に基づいて重要だと判断される映像フレームのみを重要情報として選択する手段と、
   該重要情報の重要度を解析する手段と、
   該重要情報の集合の中から該重要度に基づいて不要だと判断される該重要情報のみを削除する手段と、
   を含むことを特徴とする情報処理装置。
7. 使用者が保存させたい保存時間の設定を行う手段をさらに含むことを特徴とする請求項５又は６に記載の情報処理装置。
8. 前記重要情報に関係するインデックス情報を該情報に付加する手段をさらに含むことを特徴とする請求項５乃至７のいずれか一項に記載の情報処理装置。
9. 前記重要度に基づいて不要だと判断される該重要情報のみを削除する手段は、
   該重要情報のうち、手動で取得された重要情報と自動で取得した重要情報の時間の絶対値を基に算出された重要度と、
   該重要情報において、重要情報を取得した時刻と、直前に取得した重要情報を取得した時刻を元に、少なくとも２つの重要情報間の時間を基に算出された重要度とを合わせて、重要情報の重要度を算出することを特徴とする請求項５乃至８のいずれか一項に記載の情報処理装置。

Images