JP2011004080A - 情報処理装置、生成方法及びプログラム - Google Patents

Abstract

【課題】話者の意見・立場を表現した撮影映像を自動的に作成することを目的とする。
【解決手段】話者の映像を取得する映像取得手段と、話者の意見情報を取得する意見情報取得手段と、映像取得手段で取得された複数の映像から意見情報取得手段で取得された意見情報に対応する映像を選択する映像選択手段と、映像選択手段で選択された映像を組み合わせて会議映像を生成する生成手段と、を有することによって課題を解決する。
【選択図】図７

Description

本発明は、情報処理装置、生成方法及びプログラムに関する。

ＴＶで放映される映像には、その内容を視聴者が把握しやすくするための映像・音響的工夫が施されている。例えば、複数の話者が会話する場面の映像では、各話者の画面に対する向きを固定し、違うカットであっても同一の話者は同一の向きを向いているようにする。また、その向きは話者の立場の区別がつくように決められる。話者Ａと話者Ｂとが対立関係にある場合、話者Ａは右向き、話者Ｂは左向き、というように異なる向きの映像とする。話者Ｃが話者Ａと同調関係にある場合は、話者Ｃの向きは話者Ａと同様の向きにして、同調関係を映像で表現する。このような工夫は、事前に判明している各話者の立場・意見をもとに、話者の立ち位置、カメラの撮影方向を人手で決定することで実現している。
撮影映像に適用できる技術ではないが、ＰＣでのチャット用のユーザインターフェイスで、話者に対応するアイコンを意見に合わせて区別するという技術が存在する（特許文献１参照。）。

特開２００３−００６１３１号公報

しかしながら従来、話者の意見・立場を表現した撮影映像の作成には、映像の作成にある程度の知識・技術がある者の作業が必要である。
そのような人物が存在しない状況で作成する映像には、映像・音響的工夫を取り入れることができなかった。

本発明はこのような問題点に鑑みなされたもので、話者の意見・立場を表現した撮影映像を自動的に作成することを目的とする。

そこで、本発明の情報処理装置は、撮像装置より話者の映像を取得する映像取得手段と、意見表明装置より話者の意見情報を取得する意見情報取得手段と、前記意見情報取得手段で取得された意見情報に基づいて、前記映像取得手段で取得された複数の映像から会議映像に用いる映像を選択する映像選択手段と、前記映像選択手段で選択された映像を組み合わせて会議映像を生成する生成手段と、を有する。

本発明によれば、話者の意見・立場を表現した撮影映像を自動的に作成することができる。

会議映像システムのシステム構成の一例を示す図である。 会議映像システムを設置した会議室の一例を示す図である。 会議映像作成装置のハードウェア構成の一例を示す図である。 意見表明装置の外観の一例を説明するための図である。 会議映像システムが会議映像を作成する処理を説明するための図である。 ある時刻にカメラから会議映像作成装置に送られた映像を並べた一例を示す図である。 素材情報選択工程での処理の流れ図である。 映像情報生成工程での処理の流れ図である。 会議映像の一例を示す図である。 会議映像作成装置で会議映像編集者が会議映像を作成する旨の操作をした際に表示される編集画面の一例を示す図である。 クイズ映像の一例を示す図である。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
本実施形態は、会議の映像を作成して情報提示する会議映像システムに関するものである。
図１は、会議映像システムのシステム構成の一例を示す図である。１０１は、会議での複数人物（各話者）の映像を撮影するためのカメラである。カメラ１０１は、複数台存在する。なお、カメラ１０１は、撮像装置の一例である。１０２は、各話者が自身の意見・立場を表明するための意見表明装置である。意見表明装置１０２は、複数台存在する。１０３は、会議映像を作成する会議映像作成装置である。会議映像作成装置１０３は、情報処理装置（コンピュータ）の一例である。カメラ１０１と会議映像作成装置１０３とは有線接続されており、カメラ１０１で撮影された映像は、会議映像作成装置１０３に送られる。また、意見表明装置１０２と会議映像作成装置１０３とは有線接続されており、意見表明装置１０２からの意見情報は、会議映像作成装置１０３に送られる。

図２は、会議映像システムを設置した会議室の一例を示す図である。各座席には意見表明装置１０２が設置されている。また、カメラ１０１は何れの座席（話者）も正面及び左右から撮影できる位置に設置されている。会議映像作成装置１０３には配置上の制約はない。
図３は、会議映像作成装置のハードウェア構成の一例を示す図である。３０１は、会議映像作成装置１０３全体を制御するＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）である。３０２は、変更を必要としないプログラムやパラメータを格納するＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）である。３０３は、外部装置等から供給されるプログラムやデータを一時記憶するＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）である。３０４は、会議映像作成装置１０３に固定して設置されたハードディスクやメモリカード、或いはフレキシブルディスクや光ディスク、磁気や光カード、ＩＣカード、メモリカード等を含む外部記憶装置である。３０５は、会議映像作成装置１０３へ送られた情報を受け取るための入力デバイスインターフェイスである。３０６は、会議映像作成装置１０３から他の機器へ情報を送り出すための出力デバイスインターフェイスである。３０７は、３０１〜３０６の各ユニットを通信可能に接続するシステムバスである。
ＣＰＵ３０１が、ＲＯＭ３０２又は外部記憶装置３０４に格納されている会議映像作成プログラムを実行することによって会議映像作成装置１０３の機能及び後述するフローチャートに係る処理が実現される。
カメラ１０１からの映像及び意見表明装置１０２からの意見情報は、入力デバイスインターフェイス３０５を通じて会議映像作成装置１０３に取り込まれる。会議映像作成装置１０３で作成された会議映像は、外部記憶装置３０４に保持されるか、出力デバイスインターフェイス３０６を通して他の機器に送信される。他の機器とは、例えば映像を表示する機器である。外部記憶装置３０４に保持した場合は会議映像を議事録として保持する行為となる。映像表示機器へ送信した場合はライブ映像配信となる。

図４は、意見表明装置の外観の一例を説明するための図である。賛成、反対、中立という３つのボタン４０１があり、話者は発言の際何れかのボタンを押して、発言が議題に対して賛成意見なのか、反対意見なのか、中立なのかを示す。ボタンに対応するボード４０２が立つので、他の話者への意思表示にもなる。また、意見表明装置１０２には、話者が発言に用いるマイク４０３がついている。何れのボタンが押下されているのかという情報は、意見表明装置１０２から意見情報として会議映像作成装置１０３に送信される。また、マイク４０３からの音声情報も意見表明装置１０２から会議映像作成装置１０３に送信される。意見表明装置１０２は、タッチパネルによる仮想ボタンインターフェイスであってもよい。その場合は、先の３つのボタンだけではなく、議題にあわせて詳細に意見を分類する仮想ボタンを表示することができるようになる。

図５は、会議映像システムが会議映像を作成する処理を説明するための図である。素材情報取得工程５０１とは、カメラ１０１で話者の映像を取得し、会議映像作成装置１０３に送信する工程を指す。意見情報取得工程５０２とは、意見表明装置１０２で話者の意見情報を取得し、会議映像作成装置１０３に送信する工程を指す。素材情報選択工程５０３とは、素材情報取得工程５０１で得られた複数のカメラ映像のうち、会議映像に用いる映像を選択する工程である。会議映像作成装置１０３は、選択する際の判断には、意見情報取得工程５０２で得られた意見情報を用いる。映像情報生成工程５０４とは、素材情報選択工程５０３で選択した素材情報を組み合わせることによって、会議映像を生成する工程である。

図６は、ある時刻にカメラから会議映像作成装置に送られた映像を並べた一例を示す図である。カメラ１０１は、パン・チルト・ズーム機構を利用して、その時点で発言している話者が中心になる映像を撮影する。発言している話者はマイク４０３からの音声情報によって判別される。カメラ１０１と意見表明装置１０２とは会議室に固定されており、それらの位置情報は会議映像作成装置１０３に保持されている。マイク４０３からの音声情報を受け取った会議映像作成装置１０３は、そのマイク４０３の位置情報と各カメラ１０１の位置情報とからパン・チルト・ズーム量を計算して各カメラ１０１に送信し、撮影させる。カメラ１０１は、会議室の四方に配置されているので、４方向からの話者の映像が得られる。内１方向は話者後方からの映像となるので、実質利用できるのは右向き、左向き、正面向きの３方向の映像である。

図７は、素材情報選択工程での処理の流れ図である。最初に、会議映像作成装置１０３は、カメラ１０１からの４映像を取得（映像取得）する（７０１）。次に、会議映像作成装置１０３は、意見表明装置１０２から意見情報を取得（意見情報取得）する（７０２）。次に、会議映像作成装置１０３は、７０１で得た映像中での話者の顔の向きを判別する（７０３）。会議映像作成装置１０３は、判別に、話者中心の映像を撮影した際の位置情報を再度利用する。会議映像作成装置１０３は、カメラ１０１の位置情報と意見表明装置１０２の位置情報とを外部記憶装置３０４等に保持しており、更に各意見表明装置１０２に対応する座席の向き情報も外部記憶装置３０４等に保持している。会議映像作成装置１０３は、これらの情報から、各カメラで話者の顔の向きが右向きなのか、左向きなのか、正面向きなのかを判別する。なお、会議映像作成装置１０３は、位置情報を用いずに、顔画像判別技術を用いて判別してもよい。
次に、会議映像作成装置１０３は、７０２で得た意見情報に対応する顔の向きの映像を選択（映像選択）する（７０４）。意見情報と顔の向きとの対応情報は予め会議映像作成装置１０３が外部記憶装置３０４等に保持している。例えば、賛成意見は右向き、反対意見は左向き、中立意見は正面向きという情報である。賛成意見であった場合には、会議映像作成装置１０３は、７０３で判別した話者が右向きの映像を会議映像の素材として選択する。本工程は会議の間中、繰り返し実行され、素材映像を選択し続ける。

図８は、映像情報生成工程での処理の流れ図である。最初に、会議映像作成装置１０３は、素材情報選択工程で選択された素材を取得する（８０１）。次に、会議映像作成装置１０３は、会議映像末尾に選択された素材を追加する。以上の処理を会議の間中繰り返すことで、会議映像は作成される。つまり会議映像は、カメラ１０１からの映像のうち、意見情報に対応する顔の向きの映像を選択して時系列順につなぎ合わせた映像となる。

図９は、会議映像の一例を示す図である。映像中の３場面を抜き出してみると、話者Ｘ、話者Ｙは賛成意見だったので右向き、話者Ｚは反対意見だったので左向きの映像となっている。このように作成された会議映像は、話者の意見が反映された画面構成となっているため、視聴する者は内容把握がしやすい。
なお、本実施例ではカメラを４台、意見の種類を３種類としたが、本提案の適用はこの数に限定されるものではない。カメラ、意見の種類を増やすことはできる。ただし、あまり多くすると意見に対応する顔の向きの種類が増えてしまうため、区別がつきにくくなることに注意が必要である。

＜実施形態２＞
本実施形態は、実施形態１と同じく会議の映像を作成する会議映像システムに関するものである。実施形態１では話者が意見表明装置１０２を用いて自身の意見を分類していた。本実施形態では、話者は自身の意見を分類しない。会議映像作成装置１０３を操作する会議映像編集者（編集者）が話者の意見を分類する。
本実施形態における会議映像システムのシステム構成は図１に等しい。ただし、本実施形態における意見表明装置１０２には、意見を表明するためのボタンは存在せず、マイクのみが存在する。したがって、意見表明装置１０２から意見情報が会議映像作成装置１０３に送信されることはない。
本実施形態における会議映像システムを設置した会議室の一例は図２に等しい。
本実施形態における会議映像作成装置のハードウェア構成は図３に等しい。ただし、会議映像編集者が編集操作を行うために、入力デバイスインターフェイス３０５にはマウスやキーボードが接続される。また、出力デバイスインターフェイスには、ディスプレイが接続される。
本実施形態における意見表明装置１０２の外観は図４とは異なり、先に述べたようにマイク４０３のみが存在する。
本実施形態における会議映像システムが会議映像を作成する処理は図５に等しい。ただし、各工程を行うタイミング及び装置が異なる。素材情報取得工程は実施形態１と同じくカメラ１０１が会議中に行う。素材情報取得工程５０１からの映像情報は、全て会議映像作成装置１０３内の外部記憶装置３０４に保持される。意見情報取得工程５０２及び素材情報選択工程５０３及び映像情報生成工程５０４は、会議終了後、会議映像編集者が会議映像を作成する旨の操作を契機として、会議映像作成装置１０３が行う。
本実施形態においてカメラ１０１から会議映像作成装置１０３に送られる映像は、実施形態１と同じく図６のようになる。

図１０は、会議映像作成装置で会議映像編集者が会議映像を作成する旨の操作をした際に表示される編集画面の一例を示す図である。１００１は、各話者が発言していた時間を表示するための意見タイムチャートである。話者が発言していた時間が意見バーで示されている。意見バー上の文字は、意見の分類結果を示している。会議映像編集者は、意見の分類に、意見分類ボタン１００２を用いる。意見タイムチャート１００１のある時刻は編集ポイントとなっており、編集ポイント上に意見バーがあるとき、意見分類ボタン１００２が押下されると、意見バーの意見が押下したボタンの意見の種類に分類される。１００３は、編集ポイント上の意見バーの意見をテキストとして表示している。テキスト化には音声認識技術が用いられる。１００４は、編集ポイントでの各カメラ１０１からの映像である。１００５は、編集によって出来上がる会議映像のプレビュー画面である。図１０の場合、会議映像編集者が意見分類ボタン１００２の反対ボタンを押下することによって、反対意見に対応する左向きの顔映像であるカメラＣの映像が選択され、字幕に意見のテキストを加えた画面が編集結果として表示されている。
本実施形態における素材情報選択工程５０３での処理の流れはおおむね図７と等しいが、細部が異なる。カメラ１０１からの映像所得工程７０１は、外部記憶装置３０４に予め蓄えられた映像の取得となる。意見情報の取得工程７０２は、意見分類ボタン１００２の押下情報の取得となる。また、素材情報選択工程は、会議映像編集操作によって実行される。
本実施形態における映像情報生成工程５０４の処理の流れはおおむね図８と等しいが、細部が異なる。本工程は、素材情報選択工程５０３の処理結果を受けて、会議映像編集操作によって実行される。

＜実施形態３＞
本実施形態は、実施形態１と同じく会議の映像を作成する会議映像システムに関するものである。実施形態１では、話者が意見表明装置１０２を用いて自身の意見を分類していた。本実施形態では、話者は自身の意見を分類しない。本実施形態では、会議映像作成装置１０３が、予め話者に設定されている属性情報を基に分類する。属性情報とは、例えば話者が議題に対して事前に示している賛否の意見情報や、話者の属するグループの情報等である。会議映像作成装置１０３は、これらの情報を基に話者を分類し、会議映像として用いる素材情報を選択する。各話者の属性情報は会議映像作成装置１０３に予め蓄えられている。カメラ映像での話者と、属性情報の話者とのマッチングには、予め話者の座る座席がわかっている場合、会議映像作成装置１０３が、カメラでの撮影対象位置情報を用いてマッチングする。話者の座る座席がわかっていない場合、会議映像作成装置１０３は、顔画像認識技術を用いて話者を特定して、分類する。
上記以外の部分は、実施形態１に等しい。

＜実施形態４＞
本実施形態は、実施形態２と同じく会議の映像を作成する会議映像システムに関するものである。実施形態２では、会議映像編集者が意見分類ボタン１００２によって話者の意見を分類していた。本実施形態では、会議映像作成装置１０３が意見の内容を自動判別することによって分類する。会議映像作成装置１０３は、自動判別には、話者の音声データから音声認識（音声認識技術）によって得られた発言内容のテキストデータを用いる。話者が資料をもとに発言しており、その資料がカメラ映像中に捉えられている場合には、会議映像作成装置１０３が、画像解析技術、文字認識技術によってその資料を読み取り、意見の分類に用いる。なお、話者が資料をもとに発言しているか否かは、例えば、操作者が判断し、操作画面等を介して、話者が資料をもとに発言している旨を話者ごとに会議映像作成装置１０３に設定する。なお、会議映像作成装置１０３が、話者及び資料が含まれる映像（画像）を解析し、話者の目線等の情報に基づき、話者が資料をもとに発言しているか否か判断するようにしてもよい。
上記以外の部分は、実施形態２に等しい。

＜実施形態５＞
本実施形態は、実施形態１と同じく会議の映像を作成する会議映像システムに関するものである。実施形態１では、カメラ１０１は複数台が会議室に固定で設置されていた。本実施形態では、カメラ１０１は自走能力を持ち、撮影したいポイントに移動できる。実施形態１では、意見の分類結果に対応する素材映像を選択していたが、本実施形態では、意見の分類結果に応じた映像を、会議映像作成装置１０３がカメラ１０１に指示することで取得する。
つまり、本実施形態の会議映像作成装置１０３は、取得した意見情報に対応する映像を撮像する様、ネットワークを介して通信可能なカメラ１０１（又は複数のカメラ１０１）を制御し、カメラ１０１より意見情報に対応する映像を取得する。
上記以外の部分は、実施形態１に等しい。

＜実施形態６＞
本実施形態は、クイズのＴＶ番組映像を作成するクイズ映像システムに関するものである。実施形態１で各話者の意見情報となっていたものが、本実施形態では、問題に対する各回答者の回答になる。実施形態１では、話者の映像をつなぎ合わせることで会議映像を作成していたが、本実施形態では各回答者の映像を合成してひとつの画面に収める。図１１がその画面例（生成されたクイズ映像）である。各回答者の顔の向き及び画面上での配置は、回答に対応した位置となる。また、回答者が発言した場合の音声は、画面中での配置と同じく音場上でも区別して配置される。例えば、問いに対して１番の回答を行った人は、画面左側に配置され、その声は左スピーカーから再生される。
上記以外の部分は、実施形態１に等しい。

＜その他の実施形態＞
上述した機能又はフローチャートに係る工程は、ネットワーク又は各種記憶媒体を介して記憶装置等に記憶したソフトウェア（プログラム）をパソコン（コンピュータ）等の処理装置（ＣＰＵ、プロセッサ）にて実行することでも実現できる。

以上、上述した実施形態によれば、話者の意見・立場を表現した撮影映像を自動的に作成することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０１ カメラ、１０２ 意見表明装置、１０３ 会議映像作成装置

Claims (12)

1. 話者の映像を取得する映像取得手段と、
   話者の意見情報を取得する意見情報取得手段と、
   前記映像取得手段で取得された複数の映像から前記意見情報取得手段で取得された意見情報に対応する映像を選択する映像選択手段と、
   前記映像選択手段で選択された映像を組み合わせて会議映像を生成する生成手段と、
   を有する、情報処理装置。
2. 前記映像取得手段は、ネットワークを介して通信可能な複数の撮像装置より話者の映像を取得し、
   前記意見情報取得手段は、ネットワークを介して通信可能な複数の意見表明装置より話者の意見情報を取得する、請求項１記載の情報処理装置。
3. 前記映像取得手段は、ネットワークを介して通信可能な複数の撮像装置より送信され、記憶装置に記憶されている話者の映像を取得し、
   前記意見情報取得手段は、編集画面を介した編集者の操作に基づき話者の意見情報を取得する、請求項１記載の情報処理装置。
4. 前記映像取得手段は、ネットワークを介して通信可能な複数の撮像装置より話者の映像を取得し、
   前記意見情報取得手段は、予め設定されている話者の属性情報に基づき話者の意見情報を取得する、請求項１記載の情報処理装置。
5. 前記映像取得手段は、ネットワークを介して通信可能な複数の撮像装置より送信され、記憶装置に記憶されている話者の映像を取得し、
   前記意見情報取得手段は、話者の発言内容に係る音声データから音声認識技術を用いて意見情報を取得する、請求項１記載の情報処理装置。
6. 前記映像取得手段は、ネットワークを介して通信可能な複数の撮像装置より送信され、記憶装置に記憶されている話者の映像を取得し、
   前記意見情報取得手段は、話者が資料をもとに発言している場合、話者の映像に含まれる資料から画像解析技術又は文字認識技術を用いて意見情報を取得する、請求項１記載の情報処理装置。
7. 前記映像選択手段は、前記映像取得手段で取得された複数の映像における映像に含まれる話者の顔の向きを判別し、意見情報と顔の向きとの対応情報に基づき、前記意見情報取得手段で取得された意見情報に対応する顔の向きの映像を選択する、請求項１乃至６何れか１項記載の情報処理装置。
8. ネットワークを介して通信可能な複数の意見表明装置より話者の意見情報を取得する意見情報取得手段と、
   前記意見情報取得手段で取得された意見情報に対応する映像を撮像する様、ネットワークを介して通信可能な撮像装置を制御し、前記撮像装置より前記意見情報取得手段で取得された意見情報に対応する映像を取得する映像取得手段と、
   前記映像取得手段で取得された映像を組み合わせて会議映像を生成する生成手段と、
   を有する、情報処理装置。
9. 情報処理装置が実行する会議映像の生成方法であって、
   話者の映像を取得する映像取得ステップと、
   話者の意見情報を取得する意見情報取得ステップと、
   前記映像取得ステップで取得された複数の映像から前記意見情報取得ステップで取得された意見情報に対応する映像を選択する映像選択ステップと、
   前記映像選択ステップで選択された映像を組み合わせて会議映像を生成する生成ステップと、
   を含む、生成方法。
10. 情報処理装置が実行する会議映像の生成方法であって、
    ネットワークを介して通信可能な複数の意見表明装置より話者の意見情報を取得する意見情報取得ステップと、
    前記意見情報取得ステップで取得された意見情報に対応する映像を撮像する様、ネットワークを介して通信可能な撮像装置を制御し、前記撮像装置より前記意見情報取得ステップで取得された意見情報に対応する映像を取得する映像取得ステップと、
    前記映像取得ステップで取得された映像を組み合わせて会議映像を生成する生成ステップと、
    を含む、生成方法。
11. コンピュータを、
    話者の映像を取得する映像取得手段と、
    話者の意見情報を取得する意見情報取得手段と、
    前記映像取得手段で取得された複数の映像から前記意見情報取得手段で取得された意見情報に対応する映像を選択する映像選択手段と、
    前記映像選択手段で選択された映像を組み合わせて会議映像を生成する生成手段と、
    して機能させる、プログラム。
12. コンピュータを、
    ネットワークを介して通信可能な複数の意見表明装置より話者の意見情報を取得する意見情報取得手段と、
    前記意見情報取得手段で取得された意見情報に対応する映像を撮像する様、ネットワークを介して通信可能な撮像装置を制御し、前記撮像装置より前記意見情報取得手段で取得された意見情報に対応する映像を取得する映像取得手段と、
    前記映像取得手段で取得された映像を組み合わせて会議映像を生成する生成手段と、
    して機能させる、プログラム。

Images