JP2004363716A - 議事状況出力システム - Google Patents

Abstract

【課題】複数の発言者の映像及び音声を、発言の冒頭部分から欠落することなく放映することが可能な議事状況出力システムを提供することを課題とする。
【解決手段】議事状況出力システム１は、模擬裁判に参加する裁判官役等の発言者の近傍を撮像し、個々の発言者を映像信号として撮像可能なカメラＣ１等と、個々の発言者が発する発言を音声信号として取得するマイクＭ１等、映像信号及び音声信号を取込み、特定された発言者が撮像された映像信号及び複数の音声信号が混合された混合音声信号を遅延ユニットによって、所定の遅延量だけ遅延させた状態で放映及び収録の双方の出力形式で出力を行う放映収録装置２と、法廷Ｈから離間した別室の視聴室５に設置され、該放映収録装置２と電気的に接続され、出力制御された映像信号及び混合音声信号を出力し、映像及び音声による放映を行うモニタ装置６とを主に具備する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、議事状況出力システムに関するものであり、特に、会議及び講演会などの議事の状況を映像及び音声によって収録し、出力するための議事状況出力システムに関するものである。
【０００２】
【従来の技術】
従来から、会議、研究発表会、講演会、討論会、及びパネルディスカッションなどの複数の参加者が活発に議論や討議が行われる議事の場において、係る議事の状況や発言者の発言内容を保存し、記憶するために複数のカメラ及びマイクによって映像と音声とを共に収録することがある。この場合、前述のカメラ及びマイクを、発言者の数に応じてそれぞれ設置し、個々の発言者の動作及び発言を個別に収録することがある。そして、収録された個々の映像及び音声を、議事の行われている会場から離れた別室などに送出し、係る別室に備え付けられたスクリーンや大型モニタによって映像を放映することが有り、係る放映を行う放映システムが既に構築されている。
【０００３】
この場合、それぞれの発言者の映像は、議場に隣接するように設けられた調整室（屋外の会場などでは調整車）において、専門の技術者等が調整卓を操作することにより、切替えが行われている。さらに、係る調整卓の操作によって、発言者の表情まで理解できるようにズームインを行ったり、或いは議場の全体状況が見渡せるようにズームアウトなどの操作を行うこともある。その結果、放映された映像（音声の出力を含む）を人々が見ることにより、議事の進行状況や発言の内容などを的確に把握することができる。
【０００４】
また、近年においては、映像機器及び音声機器の技術開発の進歩に伴って、上述の議事等の放映及び収録システムにおいて、それぞれの発言者が撮像された映像信号の切替えを、手動によらず自動化（若しくは半自動化）して放映するシステムが開発されている。例えば、議事に参加した個々の発言者が発する発言（音声）を音声センサによって捉え、発言に係る発言者の特定を行い、特定された発言者の映像に出力を切替えるものなどがある。これにより、上述した手動によるスイッチ操作を要することがなくなり、映像信号の切替えのためにそれぞれ技術者を配することがなくなる。加えて、放映した映像信号及び音声信号を、所定の記憶媒体（装置）に収録し、その後、議事に係る映像の編集作業を行う場合でも、予め発言者の特定が行われているため、該編集作業を容易に進めることが可能となる。
【０００５】
以上の従来技術は、当業者として当然として行われているものであり、出願人はこの従来技術が記載された文献等を本願出願時における現段階では特に知見するものではない。
【０００６】
【発明が解決しようとする課題】
しかしながら、上述した議事状況の放映若しくは収録のシステムでは、発言者の発した発言が音声センサに検知されてから発言者の撮像された映像に切替えられ、さらにスクリーン等に出力されるまでには所定の時間を要することがあり、速やかな切替えがなされていなかった。特に、発言者が発言を開始してから実際に発言者の映像が出力されるまでの間に数秒の時間差が生じるため、発言の冒頭部分の映像が含まれない状態で放映されることがあった。そのため、放映された映像を見る人（映像鑑賞者）は、常に発言途中の映像を見せられることになり、係る映像の切替えのタイミングを不快に感じることがあった。
【０００７】
また、発言者が”はい”、”いいえ”等の比較的短い言葉を発した場合、切替わった映像には、既に発言を終えた状態の発言者が映出されるに過ぎず、映像の切替えを行うこと自体が無意味になることがあった。そのため、係る状況を改善するように、発言者の冒頭部分の欠落、及び短い発言の映像を放映可能なシステムを望む声が強かった。
【０００８】
そこで、本発明は、上記実情に鑑み、議事に参加し、発言を交わす複数の発言者の映像及び音声を、発言の冒頭部分から欠落することなく放映することが可能な議事状況出力システムを提供することを課題とするものである。
【０００９】
【課題を解決するための手段】
上記の課題を解決するため、本発明にかかる議事状況出力システムは、「複数の発言者によって発言が交わされる会議、研究発表会、及び討論会を含む議事の状況を放映及び収録の少なくともいずれか一方の出力形式によって出力可能な議事状況出力システムであって、前記発言者のそれぞれに対して設けられ、前記発言者の動きを撮像する撮像手段と、前記撮像手段によって撮像された複数の前記発言者の映像信号から出力する一つに切替える映像信号切替手段と、前記発言者のそれぞれに対して設けられ、前記発言者の発する前記発言及び前記発言者の周囲の背景音を音声信号として取得する音声信号取得手段と、撮像された前記映像信号及び取得された前記音声信号を遅延処理して出力可能な映像音声遅延制御手段と、前記音声信号取得手段によって取得された複数の前記音声信号を、時系列を同期させて混合し、混合音声信号を作成する音声混合手段と、前記発言者による発言を感知し、発言した前記発言者の特定を行う発言者特定手段と、特定された前記発言者が撮像された前記映像信号を出力するために、前記映像信号切替手段を制御する切替制御手段と、前記切替制御手段によって切替制御された前記映像信号及び前記混合音声信号を併せ、視聴者に視聴可能に放映及び記憶媒体に収録の少なくともいずれか一方の出力形式の出力を制御する出力制御手段と」を具備するものから構成されている。
【００１０】
ここで、議事には、会議等の他に、パネルディスカッション、講演会、講義、及び授業など、複数の発言者が参加し、発言を交わすものであればよい。さらに、法学部の学生に対して実践的な教育を行うために実施される実際の法廷の状況を模した模擬裁判の状況などを含むものであってもよい。
【００１１】
また、発言者を撮像する撮像手段としては、従来から周知の技術であるビデオカメラ等の撮影機材が利用され、同様に音声信号を取得する音声信号取得手段には、マイクなどの音声入力機器が利用される。そして、これらのビデオカメラ及びマイクは、議事に参加する発言者の数に合わせて、それぞれ設けられている。加えて、複数の音声信号を混合し、混合音声信号を作成する音声混合手段として、従来から周知のミキサーを用いることが可能である。なお、係る混合音声信号には、発言者の音声とともに、議事が行われる会場の背景音などを含むものであり、会場のざわつきなどを含み、会場の状況や雰囲気を音声によって総合的に把握可能なものである。
【００１２】
したがって、本発明の議事状況出力システムによれば、会議等の議事において発言を行うそれぞれの発言者に対して、発言者の動きなどを映像として捉えるためのビデオカメラなどからなる撮像手段と、発言を音声として取得するためのマイクなどからなる音声信号取得手段とが設置されている。そして、発言を行った発言者が発言者特定手段によって特定され、特定された発言者を撮像する映像信号を出力するように、映像信号切替手段が制御される。さらに、複数のマイクから取得された音声信号を、時系列を同期させた状態で混合し、混合音声信号を作成し、切替えられた映像信号とともに出力する。このとき、映像信号及び混合音声信号は、放映遅延手段によって予め設定した遅延量だけ、出力が遅れることになる。
【００１３】
その結果、発言が感知される前からの映像及び音声が放映或いは収録されることになり、発言者の発言の冒頭部分が欠落した状態になることがない。さらに、”はい”や”いいえ”などの短い単語のみの発言であっても、従来のように発言が終わった状態の映像が放映等されることはなく、映像を視聴する視聴者に不自然さを感じさせることがない。
【００１４】
ここで、映像信号及び音声信号を出力する場合、前述したように、議事の状況を別室で視聴することが可能なように、大型モニタやスクリーンなどによって放映（表示）するものや、従来から周知の技術を利用したハードディスクレコーダ、ＤＶＤレコーダ、ビデオテープレコーダなどの記憶装置に保存（固定）して収録するものが挙げられる。さらに、収録の場合、出力される映像信号（発言者が特定されたもの）及び混合音声信号以外に、個々の撮像手段によって撮像された映像信号及び同じく個々に取得された音声信号をそれぞれ独立して記憶することも可能である。
【００１５】
さらに、本発明にかかる議事状況出力システムは、上記構成に加え、「前記発言者特定手段は、発言を継続している前記発言者がいる場合、他の発言者の発する発言の感知を待機状態とする感知待機手段をさらに具備する」ものであっても構わない。
【００１６】
したがって、本発明の議事状況出力システムによれば、感知待機手段を備えることにより、複数の発言が集中した場合でも、切替制御される映像信号の優先順位を決定することが可能となる。つまり、会議や討論会などの議事においては、一人の発言者の発言（意見）に対し、係る発言に被さる（重複する）ように他の発言者が発言を行うことがある。このような場合、全ての発言を感知しようとすると、感知の度に映像信号の切替制御を行わなければならず、システムに負荷がかかりやすい。さらに、頻繁に切替えられた映像を視聴する視聴者は、めまぐるしく変化する映像によって議事の状況を把握することが正確できない。そこで、上述した感知待機手段を設けることにより、一人の最先の発言者が発言を行っている場合には、発言の感知を待機状態（換言すれば、感知を停止状態）にして頻繁な切替えが行われないようにする。その結果、議事の状況の把握が容易に行えるとともに、視聴者を不快に感じさせることがなくなる。
【００１７】
さらに、本発明にかかる議事状況出力システムは、上記構成に加え、「前記発言者による前記発言の終了から、新たに前記発言が感知されるまでの無発言時間を検出する時間検出手段と、予め設定した基準時間から前記無発言時間が超過すると、前記映像信号を初期映像信号に切替える初期切替制御手段と」をさらに具備するものであっても構わない。
【００１８】
したがって、本発明の議事状況出力システムによれば、予め初期状態が設定されており、一定時間以上の無発言時間（無音時間）が継続すると、初期状態で設定されている初期映像信号を出力するように切替わる。ここで、例えば、初期映像信号を、議事の行われる会場の全体を上方から俯瞰したものや、議事を運営する議長若しくは司会進行役に相当する発言者を撮像するものに設定することが挙げられる。これにより、出力される映像を視聴する視聴者は、不自然な状態で映像の切替えが停止することなく、議場の全体の状況を把握することが容易となる。
【００１９】
さらに、本発明にかかる議事状況出力システムは、上記構成に加え、「前記出力制御手段は、前記発言者特定手段によって特定される前記発言者に係る前記映像信号を、前記発言の感知前から出力する」ものであってもよい。
【００２０】
したがって、本発明の議事状況出力システムによれば、映像信号及び混合音声信号を遅延処理することにより、発言者の発言前の状態から放映及び収録をすることができる。
【００２１】
【発明の実施の形態】
以下、本発明の一実施形態である議事状況出力システム１について図１乃至図４に基づいて説明する。図１は本実施形態の議事状況出力システム１の概略構成を示す説明図であり、図２は議事状況出力システム１における放映収録装置２の内部の機能的構成を示す説明図であり、図３は議事状況出力システム１における放映収録装置２の処理の流れを示すフローチャートであり、図４は遅延ユニット３、音声感知部１３、及び出力される映像信号ＶＳ及び音声信号ＳＳの時系列の遅延状態を模式的に示す説明図である。ここで、本実施形態の議事状況出力システム１は、法学教育に利用される模擬裁判が行われる法廷Ｈの状況を、別室の視聴室５に設置されたモニタ装置６によって多数の視聴者Ｍが視聴することを可能にして構築された例について説明を行う。
【００２２】
本実施形態の議事状況出力システム１は、図１に示すように、模擬的に設営された法廷Ｈにおいて、模擬裁判に参加する「裁判官」、「検察官」、「弁護人」、及び「証人」役の発言者がそれぞれ着席若しくは立った状態で位置する裁判官席ＪＳ、検察官席ＰＳ、弁護人席ＬＳ、証言席ＷＳの近傍を撮像し、裁判官等の発言者の動作や顔の表情などを映像信号ＶＳとして捉えることが可能なカメラＣ１，Ｃ２，Ｃ３，Ｃ４と、裁判官等の発言者の発する発言及びその周囲の背景音などを含んだ音声信号ＳＳを取得するためのマイクＭ１，Ｍ２，Ｍ３，Ｍ４と、複数のカメラＣ１等及びマイクＭ１等が接続され、撮像された映像信号ＶＳ及び取得された音声信号ＳＳを取込み、音声感知部１３によって感知された発言によって発言者を特定し、特定された発言者が撮像された映像信号ＶＳ及び複数の音声信号ＳＳを遅延ユニット３によって、所定の遅延量だけ遅延させて放映若しくは収録の出力形式で出力する放映収録装置２と、法廷Ｈから離間した別室の視聴室５に設置され、該放映収録装置２と電気的に接続され、出力制御された映像信号ＶＳ及び混合音声信号ＭＳを出力し、映像及び音声による放映を行うモニタ装置６とを具備して主に構成されている。ここで、カメラＣ１等が本発明における撮像手段に相当し、マイクＭ１等が本発明における音声信号取得手段に相当する。
【００２３】
さらに、具体的に示すと、放映収録装置２は、図２に示すように、マイクＭ１等によって取得された音声信号ＳＳを二つの音声信号Ｓ’，Ｓ’’に分配する音声分配器７と、分配された一方の音声信号Ｓ’及び個々の発言者が撮像された映像信号ＶＳの入力を受付け、予め設定した遅延量だけ出力を遅延させる遅延ユニット３と、遅延ユニット３からそれぞれ出力された複数の遅延された音声信号Ｓ’をまとめ、時系列を同期させた状態で混合し、混合音声信号ＭＳを作成するミキサ８と、他方の音声信号Ｓ’’の入力を受付け、音声感知、発言者の特定、及び映像信号ＶＳの切替制御等を行う制御部９（詳細は後述する）と、それぞれの遅延ユニット３及び制御部９と接続され、特定された発言者の撮像された映像信号ＶＳに切替える映像切替器１０と、ミキサ８及び映像切替器１０と接続し、モニタ装置６に遅延し、かつ切替制御の行われた映像信号ＶＳ及び混合された混合音声信号ＭＳのモニタ装置６への出力を制御する映像・音声出力制御部１１と、ミキサ８及び映像切替器１０に接続し、映像信号ＶＳ及び混合音声信号ＭＳを記憶するハードディスクレコーダからなる記憶装置１２とから主に構成されている。ここで、遅延ユニット３が本発明における映像音声遅延制御手段に相当し、ミキサ８が本発明における音声混合手段に相当し、制御部９の発言者特定部が本発明における発言者特定手段に相当し、映像信号切替制御部１５が本発明における切替制御手段に相当し、映像・音声出力制御部１１及び記憶装置１２が本発明における出力制御手段に相当する。
【００２４】
さらに、放映収録装置２における制御部９について示すと、制御部９は、音声分配器７によって分配された他方の音声信号Ｓ’’の入力を受付け、発言者によって発せられた発言に係る音声を感知する音声感知部１３と、音声が感知されたマイクＭ１，Ｍ２，Ｍ３，Ｍ４を特定することにより、発言を行った発言者の特定を行う発言者特定部１４と、特定された発言者が撮像された映像信号ＶＳが映像・音声出力制御部１１を介してモニタ装置６に出力されるように切替制御を行う映像信号切替制御部１５と、音声感知部１３によって感知された音声（＝発言）が、継続している場合、係る発言に被さって行われる他の発言者の発言によって発言者の感知を行わないように発言者の感知を待機する感知待機部１６と、発言が終了してから新たな発言が感知されるまでの発言の無い時間（無発言時間ＮＴ）を検出する時間検出部１７と、係る無発言時間ＮＴが予め設定した基準時間ＢＴを超過していることを検出すると（無発言時間ＮＴ＞基準時間ＢＴ）、初期状態の初期映像信号ＩＶＳに切替る初期切替部１８とを具備して主に構成されている。なお、前述した初期状態の初期条件ＩＣ（初期映像信号ＩＶＳの指定を含む）及び基準時間ＢＴ等は、制御部９に記憶部１９に記憶されている。
【００２５】
次に、本実施形態の議事状況出力システム１における放映収録装置２の処理の流れについて説明する。始めに、放映収録装置２、カメラＣ１等、及びマイクＭ１等の電源を投入し、システムを稼働させる（ステップＳ１）。これにより、カメラＣ１等による撮像及びマイクＭ１等による録音が開始され、法廷Ｈ内の状況及び音声の放映が可能となる。このとき、設置された放映収録装置２は、予め設定された初期条件ＩＣ（記憶部１９に記憶されている）に基づいて、複数のカメラＣ１，Ｃ２，Ｃ３，Ｃ４によって撮像される映像信号ＶＳの中から一つ（初期映像信号ＩＶＳ）を選択し、映像信号切替制御部１５によって映像切替器１０を制御し、初期映像信号ＩＶＳがモニタ装置６から放映、及び記憶装置１２に収録されるようにする（ステップＳ２）。なお、ステップＳ２の初期条件ＩＣの設定とともに、遅延ユニット３及びミキサ８等の各構成部の作動も開始される（ステップＳ３）。ここで、初期条件ＩＣによって指定される初期映像信号ＩＶＳとしては、例えば、法廷Ｈの全景の映像を撮像したカメラ（図示しない）からの映像信号や、或いは法廷Ｈにおける議事の進行役となる「裁判官」を撮像するカメラＣ１の映像信号ＶＳなどが挙げられる。
【００２６】
そして、音声感知部１３は、各マイクＭ１等によって音声信号ＳＳとして取得されるそれぞれの発言者、例えば、証言席ＷＳにおいて証言を行う証人が発する発言を感知する（ステップＳ４）。ここで、発言者による発言がマイクＭ１等を通して音声信号ＳＳとして取得され、音声分配器７を介して分配された音声信号Ｓ’’が音声感知部１３によって感知されると（ステップＳ４においてＹＥＳ）、制御部９は音声信号ＳＳが取得されたマイク（例えば、裁判官の発する発言を感知可能なマイクＭ１）を認識し、発言者の特定を行う（ステップＳ５）。一方、音声感知部１３によって発言者の発言に係る音声信号Ｓ’’が感知されない場合（ステップＳ４においてＮＯ）、ステップＳ１４の処理に移行する。
【００２７】
そして、ステップＳ５において発言者の特定が行われた後、制御部９の映像信号切替制御部１５により、特定された発言者が撮像されているカメラ（例えば、カメラＣ１）からの映像信号ＶＳが出力（放映及び収録）されるように、映像切替器１０の制御を行う（ステップＳ６）。このとき、各カメラＣ１等から送られる映像信号ＶＳは、カメラＣ１等と映像切替器１０との間に介設された遅延ユニット３によって映像信号ＶＳが所定の遅延量だけ遅延処理がなされている。さらに、係る遅延ユニット３は音声分配器７を経て分配された一方の音声信号Ｓ’の入力も行われ、音声信号Ｓ’も映像信号ＶＳと同時に所定の遅延量だけ遅延処理が為され、出力される。そして、複数の遅延処理済みの音声信号Ｓ’をミキサ８によって混合し、作成された混合音声信号ＭＳを映像・音声出力制御部１１に送出する。このとき、前述した映像切替器１０によって発言を行った発言者が撮像された映像信号ＶＳへの切替え、及び映像・音声出力制御部１１に送出される。その結果、視聴室５に設けられたモニタ装置６から映像及び音声が放映（出力）される（ステップＳ７：図１におけるモニタ装置６の表示参照）。このとき、ミキサ８及び映像切替器１０からそれぞれ送出される混合音声信号ＭＳ及び映像信号ＶＳは、モニタ装置６への出力とともに、放映収録装置２の内部に配設された記憶装置１２によって記憶媒体に固定的に記憶され、係る音声及び映像が収録される（ステップＳ８）。
【００２８】
さらに、音声感知部１３は、発言（音声）が特定された発言者が、係る発言を継続して行っているか、否かの判断を行う（ステップＳ９）。すなわち、発言者が発言を継続して行っている場合（ステップＳ９においてＮＯ）、仮に他の発言者による発言が行われても、発言者の特定及びその後の映像信号の切替制御を行わないように発言の感知を待機（ステップＳ１１）し、その後、再び、ステップＳ９の処理に戻り、発言の継続の判断を行う。一方、発言者の発言が完了している場合（ステップＳ９においてＹＥＳ）、発言が行われていない時間（無発言時間ＮＴ）を検出する（ステップＳ１０）。ここで、予め設定した基準時間ＢＴに対し、無発言時間ＮＴが超過している場合（ステップＳ１２においてＹＥＳ）、換言すれば、発言の無い時間が長時間（例えば、２０秒）にわたり、無音状態が継続している場合には、前述した初期条件ＩＣによって設定された初期映像信号ＩＶＳへの切替制御を行う（ステップＳ１３）。一方、基準時間ＢＴに対して無発言時間ＮＴが超過していない場合（ステップＳ１２においてＮＯ）、ステップＳ１３の処理をキャンセルする。その後、システムの稼働を停止する指示を受付けると（ステップＳ１４においてＹＥＳ）、システムの稼働を停止する（ステップＳ１５）。一方、上述した、システムの稼働の停止の指示がない場合（ステップＳ１４においてＮＯ）、上述したステップＳ４の処理に戻る。
【００２９】
さらに、本実施形態の議事状況出力システム１における遅延ユニット３の作用について、図４に基づいて説明する。ここで、図４は（ａ）カメラＣ１によって撮像された映像信号ＶＳ、（ｂ）遅延ユニットによる遅延処理後の映像信号ＶＳ、（ｃ）記憶装置１２に収録される映像信号ＶＳ、（ｄ）遅延処理を行わない場合の映像信号ＶＳの各フレームＦを、それぞれ同時系列Ｔに沿って並べて示したものである。ここでは、音声信号ＳＳとして、発言者によって、質問に対して肯定の意志を表す場合に用いられる「はい。」という発言が発せられた場合について例示している。
【００３０】
ここで、前述したように、音声感知部１３によって発言（音声信号ＳＳ）が感知され（図４（ａ）におけるフレームＦ２）、発言者が特定されると、映像切替器１０によって係る発言者が撮像された映像信号ＶＳに切替制御が行われる。このとき、従来のシステム（図４における（ｄ）参照）の場合、「は」という音声を感知してから、特定した発言者の映像信号ＶＳへ切替わるまでに所定の時間を要するため、「い」の途中（図４（ｄ）におけるフレームＦ６）で切替えが行われる。なお、切替のタイミングがさらに時間を要する場合には、「はい。」という発言が完全に終了してから映像信号ＶＳが切替えられることもあった。
【００３１】
しかしながら、本実施形態の議事状況出力システム１によると、放映収録装置２内に組込まれ、個々のカメラＣ１及びマイクＭ１に対して設けられた遅延ユニット３の作用により、映像信号ＶＳ及び音声信号ＳＳのタイミングをずらす遅延処理が行われている。すなわち、「は」という音声を感知したときの映像信号ＶＳ、及び音声分配器７によって分配された音声信号Ｓ’は、感知したときから所定の遅延量ＤＴ（遅延量）だけ遅れて（図４（ｃ）におけるフレームＦ２’）、映像切替器１０及びミキサ８に送られることになる。なお、音声分配器７を介して、制御部９に送られる音声信号Ｓ’’については上述の遅延処理が行われないため、現実の時間の流れに沿って出力される。
【００３２】
そこで、「は」という音声を発する前の映像信号ＶＳの時点（図４（ｃ）におけるＦ３’’）から映像・音声放映制御部１１及び記憶装置１２によって係る映像信号ＶＳ等の放映及び収録を行うことにより、視聴室５で視聴する視聴者Ｍ、若しくは収録後の編集された素材を見る技術スタッフは、発言者の冒頭部分の発言が欠落することなく、発言前の状態の発言者の映像から放映等をすることができる。
【００３３】
以上説明したように、本実施形態の議事状況出力システム１は、個々の発言者について撮像された映像信号ＶＳ及び取得された音声信号ＳＳを所定の遅延量ＤＴだけ遅延させた状態で出力することができる。これにより、図４に示したように、出力（放映及び／または収録）する映像信号ＶＳ及び混合音声信号ＭＳにおいて、発言者を特定し、さらに係る発言者の撮像された映像信号ＶＳに切替える際に発言者の冒頭部分の発言が欠落した状態で出力されることがない。すなわち、信号ＶＳ，ＭＳを所定の遅延量ＤＴだけ遅延させているため、発言の特定から映像信号ＶＳの切替えまでのタイムラグの時間を相殺することができ、切替えられた映像信号ＶＳには発言直前の状態の発言者が撮像されていることになる。その結果、発言者の冒頭部分の映像信号ＶＳが欠落することなく放映等されることになる。これにより、視聴者Ｍに映像の切替えのタイミングの悪さなどによって不快な感覚を抱かせることがなくなり、議事の状況を自然な流れに沿って放映及び収録することができる。加えて、その後に記憶装置１２に収録された映像信号ＶＳ等を利用した編集作業においても、編集点が予め決定されているため、係る編集作業を容易に行うことができる。
【００３４】
さらに、本実施形態の議事状況出力システム１によれば、一人の発言者が発言中の場合、仮にそれ以外の発言者が発言した場合でも、発言者の特定及び映像信号ＶＳの切替えを待機（停止）させておくことができる。すなわち、一般に議論及び討論が活発になると、一人の意見（主張）に対して、複数の発言者によって反駁が為されることが予想される。この場合、それぞれの発言の度に発言者の特定、及び映像信号ＶＳの切替制御を行うことは、切替の頻度が高くなり、視聴者Ｍは目まぐるしく変化して放映される映像によって、却って議事の状況を把握することが困難になる。さらに、このような切替が頻発することは、視聴者Ｍに対して視覚的及び聴覚的な点で多大な負荷をかけることがある。そこで、上述したように、発言が継続している場合には、最先に発言した発言者の映像信号ＶＳにそのまま保持し、発言に被さるように発せられた発言に対して発言者の特定を行うことを排除する。これにより、頻繁におこる切替の制御数を抑えることが可能となり、議事の状況を視聴する視聴者Ｍは、より簡単に視聴を行うことが可能となる。
【００３５】
以上、本発明について好適な実施形態を挙げて説明したが、本発明はこれらの実施形態に限定されるものではなく、以下に示すように、本発明の要旨を逸脱しない範囲において、種々の改良及び設計の変更が可能である。
【００３６】
すなわち、本実施形態の議事状況放映収録システム１において、映像信号ＶＳ及び音声信号ＳＳの遅延処理を、個々のカメラＣ１等及びマイクＭ１等に接続した個々の遅延ユニット３を同期させた状態で行うものを示したが、係る遅延処理を統合して行う統合型の遅延ユニットを利用するものであっても構わない。これにより、各信号ＶＳ，ＳＳの遅延処理を統合し、時系列を同期させて行うものであっても構わない。
【００３７】
さらに、本実施形態の議事状況出力システム１は、撮像された映像信号ＶＳ及び取得され、混合された混合音声ＭＳを記憶装置１２のハードディスクレコーダに収録するものを示したがこれに限定されるものではなく、個々のカメラＣ１等及びマイクＭ１等によってそれぞれ取得された映像信号ＶＳ及び音声信号ＳＳを独自に記憶するものであっても構わない。
【００３８】
また、本実施形態の議事状況出力システム１において、「議事」として、法学教育用に実施される模擬裁判を例にして説明したが、これに限定されるものではなく、社内で行われる会議、学術的な研究発表会（学会）、及び討論会・講演会・パネルディスカッションなどの、複数の発言者が参加し、発言を交わすことが行われるものに対しても適用することができる。さらに、従来から周知の技術を利用して、撮像する発言者の動きにカメラを自動的に追動させ、議場（会場）内を歩き回る発言者を捉えながら撮像するものであってもよい。さらに、発言者の表情などが読みとれる程度にズームインをしたり、或いは議場の全体を把握できるように、ズームアウトを行うなどの映像の加工をおこなってもよい。さらに、個々の発言者に対してカメラＣ１等を設置する以外に、議場の雰囲気を把握するために、議場の上方に設けられ、発言者を俯瞰する位置から撮像可能なカメラを別途設けてもよい。
【００３９】
【発明の効果】
以上のように、本発明の議事状況出力システムによれば、映像信号及び音声信号の遅延処理を行う遅延ユニットを組込むことにより、発言者の発言の冒頭部分が欠落することがない状態で、議事の状況を放映または出力することができる。これにより、視聴者は発言毎に発言者に対して切替わる映像に違和感を覚えず、まるでリアルタイムで視聴を行っているように感じることができる。さらに、複数の発言者が一度に集中して発言を行った場合でも、発言の継続中は他の発言者の発言者による特定を待機することができるため、映像が頻繁に切替わることがなく、視聴者に不快感を与えることがない。
【図面の簡単な説明】
【図１】議事状況出力システムの概略構成を示す説明図である。
【図２】議事状況出力システムにおける放映収録装置の内部の機能的構成を示す説明図である。
【図３】議事状況出力システムにおける放映収録装置の処理の流れを示すフローチャートである。
【図４】遅延ユニット、音声感知部、及び出力される映像信号の遅延処理を模式的に示す説明図である。
【符号の説明】
１ 議事状況出力システム
２ 放映収録装置
３ 遅延ユニット（出力遅延制御手段）
８ ミキサ（音声混合手段）
１０ 映像切替器（映像切替手段）
１１ 映像・音声出力制御部（出力制御手段）
１２ 記憶装置（出力制御手段）
１３ 音声感知部（音声感知手段）
１４ 発言者特定部（発言者特定手段）
１５ 映像信号切替制御部（切替制御手段）
１６ 感知待機部（感知待機手段）
１７ 時間検出部（時間検出手段）
１８ 初期切替部（初期切替制御手段）
ＢＴ 基準時間
Ｃ１，Ｃ２，Ｃ３，Ｃ４ カメラ（撮像手段）
ＤＴ 遅延量
Ｈ 法廷（議事）
ＩＣ 初期条件
ＩＶＳ 初期映像信号
Ｍ１，Ｍ２，Ｍ３，Ｍ４ マイク（音声情報取得手段）
ＭＳ 混合音声信号
ＮＴ 無発言時間
ＳＳ，Ｓ’，Ｓ’’ 音声信号
ＶＳ 映像信号

Claims (4)

1. 複数の発言者によって発言が交わされる会議、研究発表会、及び討論会を含む議事の状況を放映及び収録の少なくともいずれか一方の出力形式によって出力可能な議事状況出力システムであって、
   前記発言者のそれぞれに対して設けられ、前記発言者の動きを撮像する撮像手段と、
   前記撮像手段によって撮像された複数の前記発言者の映像信号から出力する一つに切替える映像信号切替手段と、
   前記発言者のそれぞれに対して設けられ、前記発言者の発する前記発言及び前記発言者の周囲の背景音を音声信号として取得する音声信号取得手段と、
   撮像された前記映像信号及び取得された前記音声信号を遅延処理して出力可能な映像音声遅延制御手段と、
   前記音声信号取得手段によって取得された複数の前記音声信号を、時系列を同期させて混合し、混合音声信号を作成する音声混合手段と、
   前記発言者による発言を感知し、発言した前記発言者の特定を行う発言者特定手段と、
   特定された前記発言者が撮像された前記映像信号を出力するために、前記映像信号切替手段を制御する切替制御手段と、
   前記切替制御手段によって切替制御された前記映像信号及び前記混合音声信号を併せ、視聴者に視聴可能に放映及び記憶媒体に収録の少なくともいずれか一方の出力形式の出力を制御する出力制御手段と
   を具備することを特徴とする議事状況出力システム。
2. 前記発言者特定手段は、
   発言を継続している前記発言者がいる場合、他の発言者の発する発言の感知を待機状態とする感知待機手段をさらに具備することを特徴とする請求項１に記載の議事状況出力システム。
3. 前記発言者による前記発言の終了から、新たに前記発言が感知されるまでの無発言時間を検出する時間検出手段と、
   予め設定した基準時間から前記無発言時間が超過すると、前記映像信号を初期映像信号に切替える初期切替制御手段と
   をさらに具備することを特徴とする請求項１または請求項２に記載の議事状況出力システム。
4. 前記出力制御手段は、
   前記発言者特定手段によって特定される前記発言者に係る前記映像信号を、前記発言の感知前から出力することを特徴とする請求項１乃至請求項３のいずれか一つに記載の議事状況出力システム。

Images