JP2004056286A

JP2004056286A - 画像表示方法

Info

Publication number: JP2004056286A
Application number: JP2002208491A
Authority: JP
Inventors: Naoto Kaneshiro; 金城　直人
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2002-07-17
Filing date: 2002-07-17
Publication date: 2004-02-19

Abstract

【課題】画像人物と音声の対応付けの精度を向上させ、音声を文字化したデータを精度良くその話者に対応させて表示する。
【解決手段】画像データ中から人物領域を抽出し、その画像特徴量を算出し、該画像特徴量により人物を推定するとともに、音声データから音声特徴量を算出し、該音声特徴量により人物を推定し、前記画像データから推定された人物と、音声データから推定された人物とが同一シーン内に同時に発生する状況の統計をとり、前記統計の結果に基づいて、前記音声データを発した人物を特定し、前記音声データを文字化して、表示画面上で前記特定された人物の近くに表示することを特徴とする画像表示方法を提供することにより前記課題を解決する。
【選択図】図２

Description

【０００１】
【発明の属する技術分野】
本発明は、画像表示方法に係り、特に、動画の再生において、音声を文字データとして画像とともに表示する画像表示方法に関する。
【０００２】
【従来の技術】
従来より、画像を表示する方法として、プリントやスライド等の静止画の他に、映画やＴＶ放送またはビデオテープ等の媒体に録画された画像の再生あるいはビデオカメラで撮影した画像の再生のように、動画を音声とともに連続的に表示する方法が良く用いられている。
このとき、映画等において、外国語のセリフ等を翻訳した文章を画面の隅に表示するいわゆる字幕スーパーや、ＴＶ放送においても、特にセリフを分かりやすく文字で表示して強調したりすることが行われている。さらに、自分で撮影したビデオ画像においても、文字データを撮影画像に合成して表示したりすることも良く行われている。
【０００３】
また、近年、聴覚障害者のために、動画表示中の人物が発している音声の内容を容易に認識できるようにする技術が種々開発されている。
例えば、特開平７−２９８１５４号公報には、クローズドキャプションの情報の入ったテレビジョン信号を受信したときに、文字とともに音声信号を個人の能力に合わせて聞き取れるようにするため、明確に文字と音声とを認識することができるキャプションデコーダおよびキャプションデコーダを備えた映像信号再生装置が開示されている。
また、特開平９−２３３４４２号公報には、ＴＶ会議等に用いられる顔画像表示装置および顔画像通信システムにおいて、被写体の口元の動き、または複数設けられた各マイクの音量に応じて現在の話者の位置を検出し、その話者の音声を文字化してその話者の口の近くに合成して表示するようにしたものが開示されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、前記特開平７−２９８１５４号公報に開示されたものでは、予めキャプション情報が画像信号とは別に用意されていなければならず、ＴＶ放送においても、任意の番組に対応することはできないという問題がある。また、ユーザーが自分で撮影したビデオ画像にも対応することはできない。
また、前記特開平９−２３３４４２号公報に開示された被写体の口元の動きから話者を推定する方法では、被写体画像が正面以外の画像の場合や、複数人が同時に話すような場合、あるいは人物の動きが大きい場合や表示画面中の人物のサイズが小さい場合等においては、現在の話者の推定精度が低く、話者を完全には特定できず、文字化されたデータをどこに表示してよいかわからないという問題がある。
【０００５】
また、リアルタイムで話者の話の内容を文字化して表示する場合に、話の内容量が多い場合、その全部を表示していては視覚的に見づらくなる。また、あまり表示内容が長いと、全文を一度に表示することができない。そこで表示を次々に切り換えて表示しようとすると、見る側のスピードが追いつかず、結局、話の内容を認識することができないという問題がある。
【０００６】
本発明は、前記従来の問題に鑑みてなされたものであり、音声データを伴う動画表示において、音声を発している画像中の人物の推定を行い、画像中の人物と音声の対応付けの精度を向上させ、音声データを文字化して精度良くその話者に対応させて表示することのできる画像表示方法を提供することを課題とする。
【０００７】
【課題を解決するための手段】
前記課題を解決するために、本発明の第１の態様は、音声データを伴う画像データを表示する画像表示方法であって、画像データ中から人物領域を抽出し、その画像特徴量を算出し、該画像特徴量により人物を推定するとともに、音声データから音声特徴量を算出し、該音声特徴量により人物を推定し、前記画像データから推定された人物と、音声データから推定された人物とが同一シーン内に同時に発生する状況の統計をとり、前記統計の結果に基づいて、前記音声データを発した人物を特定し、前記音声データを文字化して、表示画面上で前記特定された人物の近くに表示することを特徴とする画像表示方法を提供する。
【０００８】
また、同様に前記課題を解決するために、本発明の第２の態様は、音声データを伴う画像データを表示する画像表示方法であって、予め人物の顔画像と、その人物の音声を登録しておき、音声データを伴った画像を表示する際、該音声データを前記登録された音声とマッチングし、人物を特定するとともに、該特定された人物の前記顔画像と、表示される人物の顔領域とをマッチングして、前記音声データを発する人物を表示画面上で特定し、前記音声データを文字化して、表示画面上で前記特定された人物の近くに表示することを特徴とする画像表示方法を提供する。
【０００９】
また、前記音声データを文字化して表示画面上に表示した位置を手動で修正することができるようにしたことが好ましい。
【００１０】
また、前記表示画面のサイズまたは画像表示の速度に応じて、前記音声データを文字化して表示する際の文字数を切り換えるようにしたことが好ましい。
【００１１】
さらに、前記音声データを文字化した文字数に応じて、前記表示画面に表示される画像の表示速度を切り換えるようにしたことが好ましい。
【００１２】
【発明の実施の形態】
以下、本発明の画像表示方法について、添付の図面に示される好適実施形態を基に詳細に説明する。
【００１３】
図１に、本発明に係る画像表示方法を実行するための画像表示システムの概略を示す。
図１に示すように、本画像表示システム１は、主に、表示装置１０、情報処理装置１２、再生装置１４およびアンテナ１６ａを有する受信装置１６を含んで構成される。画像表示システム１は、再生装置１４から入力された音声データ付き画像データ、あるいはアンテナ１６ａおよび受信装置１６を介して入力されたＴＶ放送データを、情報処理装置１２で処理して、画像中の人物が発した音声データを文字化して、表示画面中のその人物の近くに表示するものである。
【００１４】
表示装置１０は、特に限定されるものではないが、ＣＲＴディスプレイ、液晶ディスプレイ等の動画像を表示するディスプレイであり、かつスピーカを有して、音声出力もできることが好ましい。
情報処理装置１２は、詳しくは後述するが、入力された画像データ、音声データからそれぞれ画像特徴量、音声特徴量を算出し、統計処理を行い、音声を発している人物を特定し、音声データを文字化して表示装置１０の所定の位置に表示する等の各種の処理を行うものである。情報処理装置１２としては、例えばパソコンが好適に例示されるが、パソコンに限定されるものではない。
再生装置１４は、ビデオテープ、ＣＤ、ＤＶＤ等の音声付き画像データの記録された記録媒体から記録データを読み取る、いわゆるメディアドライバである。受信装置１６は、ＴＶ放送を受信するものであり、チューナ等を含んでいる。
【００１５】
以上説明したような画像表示システム１において実行される本発明に係る画像表示方法の第１の実施形態について、次に説明する。
第１の実施形態は、例えばビデオテープ等の画像記録媒体に一旦録画された画像を再生する場合に関するものである。
【００１６】
すなわち、録画されている各シーン中の人物を抽出し、その画像特徴量から、その人物を推定するとともに、一方音声データの音声特徴量からもその人物を推定し、画像から推定した人物と音声から推定した人物が同時に同一シーンに出現する状況の統計をとり、その統計結果からその音声を発する人物を特定し、その人物の発する音声を文字化して、表示装置１０上において、文字化された音声をその人物の近くに表示しようというものである。
【００１７】
図２に、画像表示方法の第１実施形態の処理の流れを示し、以下このフローチャートに沿って説明する。
まず、図２のステップ１００において、録画済のビデオテープを再生装置１４に挿入し、一旦ビデオテープの再生を行い、録画されたデータを読み込み、情報処理装置１２に送る。情報処理装置１２では、各シーン中の人物を抽出し、その画像特徴量を算出する。算出された画像特徴量は情報処理装置１２中のメモリに記憶される。
【００１８】
次に、ステップ１１０において、情報処理装置１２で、画像特徴量等から人物を推定する。このとき、後で用いるために、その人物の顔画像パターンも個人を識別するためのデータとして抽出し、記憶しておく。
画像特徴量としては、例えば、平均濃度、ハイライト（最低濃度）、シャドー（最高濃度）、ヒストグラム等が例示される。人物の推定は、その人物の性別、年齢、職業等の人物層を推定することで行う。
例えば、性別の推定は、上で人物を抽出する際、さらに顔画像（頭髪）を抽出し、これらの抽出結果により、頭髪領域のボリュームが大きい場合や、頭髪領域が細長く、長髪である場合、または、胴体以下の輪郭形状のパターンマッチングから抽出された衣服の形状からスカートであると思われる場合、さらに、衣服の色が赤やピンク系統が多い場合、あるいは顔画像の抽出結果から、化粧の有無、口紅の使用の有無やアクセサリの着用の有無等から総合的に判断して、女性であると推定することができる。
【００１９】
また、年齢の推定は、表示画像から被写体人物の身長を算出し、その大きさにより、大人、中高生、小学生、幼児等と推定を行うことができる。または、抽出された頭髪領域のボリュームが少ない場合や頭髪の色が白い場合には、高齢者であると推定される。
また、職業の推定は、主に衣服によって行うことができる。例えば、衣服の形状、濃度、色味からスーツ系の度合いが高い場合には、サラリーマン層と推定でき、衣服の形状や色から制服系であると思われる場合には、性別や年齢の推定結果と合わせて中高生を含めた学生であると推定できる。
なお、人物層の推定方法は、ここに挙げたのは一例であり、これに限定されるものではない。
【００２０】
次に、ステップ１２０で、情報処理装置１２において、各シーン中の音声データから音声特徴量を算出する。そして次のステップ１３０において、音声特徴量から人物の推定を行う。これは、公知の方法により、声紋や話者スピード等の音声特徴量から人物を分類して、人物を推定するものである。
【００２１】
次に、ステップ１４０において、画像データから推定した人物候補Ｎ人と、音声データから推定した人物候補Ｍ人分について、同一シーン中に登場するタイミングの同時発生状況の統計を取る。このとき、画像による人物層推定結果と、音声による人物層推定結果が矛盾する場合には、統計処理においては、カウントアップしないこととする。例えば、画像では男性なのに、音声は女性のような場合である。また、画像では男性候補と女性候補の両方を抽出していて、音声が女性候補のみの場合には、画像の女性候補のみをカウントアップする。
なお、このとき、画像中の人物の口元の動きを検出して、発声タイミングとの一致度合いを、画像と音声の一致度の重み付けに利用して、統計を取るようにしてもよい。
この統計処理を一定時間区切りで行って集計する。一定時間区切りとしては、例えば、１０分間隔とか実際に時間で区切ってもよいし、画像がＴＶ番組を録画したものであれば、１番組内で区切っても、コマーシャルを区切りとしても、またチャプターで区切ってもよい。
【００２２】
ステップ１５０において、このようにして統計を取った結果から、画像による人物推定と音声による人物推定の相関の高い組み合わせに基づいて、画像から推定された人物と、音声から推定された人物との関連付けを決定し、その音声を発した人物を特定する。
なお、この段階で画像による人物推定結果と、音声による人物推定結果との矛盾チェックを行うようにしてもよい。
【００２３】
次に、ステップ１６０において、シーンの先頭に戻り、再度記録画像の再生を開始し、音声データを文字化して、その音声を発したと特定された人物の近くに表示する。このとき、図３に示すように、表示装置１０の表示画面１０ａ上で、特定された人物２０の口元から吹き出し２２を表示して、その中に文字データ２４を表示するようにするとよい。このとき、音声データは、公知の音声認識技術によって、その内容を文章化する。
なお、人物に対する文字データの表示にあたっては、前記ステップ１００での抽出結果を記憶しておき、その結果を用いると効率的であるが、ここで改めて実行するようにしてもよい。
また、吹き出し２２のパターンも図に示すような円形のものに限定はされず、楕円、矩形、星形、雲、その他任意の形でよい。吹き出し２２のパターンは、情報処理装置１２内のメモリに予め記憶されているものを呼び出して用いるようにすればよく、手動で選択できるようにしてもよい。
【００２４】
また、画像と音声のマッチングにミスがあり、図３のように特定された人物２０に対して表示された文字データ２４が間違っていた場合には、情報処理装置１２に付設されたキーボードやマウス等の操作系や手元のリモコン等により、表示画面１０ａ内の吹き出し２２の位置等を手動で修正できるようにしてもよい。
このとき、修正内容は、情報処理装置１２に入力されて、以後の人物同定処理にフィードバックされることが好ましい。具体的な修正内容としては、例えば、画像人物候補と音声人物候補の相関データの修正や人物抽出エリアの修正等が考えられる。
【００２５】
また、画像再生時の表示方法として、表示される文字データの文字数を、表示画面のサイズや表示機器の種類に応じて最適化して、その文字数内で文章を作成して表示するようにしてもよい。
例えば、情報処理装置１２の音声表示処理を行う機能に表示装置１０の表示機器タイプを入力し、表示段階を切り換えることができるようにしてもよい。これにより、ＴＶや携帯機器等の画面のサイズや表示機器の種類に応じた文字データの表示の切り換えが可能となる。
【００２６】
また、早送り再生のスピードに応じて、文字数を最適化した文章となるようにして表示するようにしてもよい。また、通常の再生でも、その場面の切り替わり等の速さに応じて、文字数を適宜調整するようにしてもよい。このとき、これらの文字数等の変更は予め設定された条件等に応じて情報処理装置１２内で自動的に行ってもよいが、文字数や表示する文字のサイズをユーザが指定できるようにしてもよい。
【００２７】
上では、画像再生の速度を主体にして、表示する文字データの方をそれに合わせたが、その反対に、音声認識結果の文章化は忠実に実行し、文字データは完全に表示するようにして、表示される文字数に応じて画像の早送りのスピードを制御するようにしてもよい。例えば、表示される文字データの文字数が多い場合には、画像をゆっくり再生して、全文章を読めるようにすることが好ましい。
【００２８】
また、文字データの表示方法は、図３に示すように、吹き出し２２中に表示するものに限定されるものではない。例えば、画面の端部に文字表示エリアを設けて、文字をテロップ風に表示するようにしてもよい。この場合には、誰が話している文章かわからないので、話者を画面上で明度をアップさせたり、話者に矢印マークを付ける等の方法で示すようにすることが好ましい。
【００２９】
また、話している人物や、話の種類等に応じて、その文字データの表示エリアを変えたり、文字の色や字体あるいはサイズ等を変えるようにしてもよい。
また、人物別に、その発した音声を表示画面上で区分けして表示するようにしてもよい。このとき、被写体人物に対し、撮影者の音声メモを区別して表示するようにしてもよい。その他、撮影者の音声メモ自体も、撮影時の音声と編集によって後から追加した音声と区別して表示するようにしてもよい。
このように、本実施形態によれば、統計的な頻度を利用することで、人物画像と音声の対応付けの精度が向上する。また、画像と音声のそれぞれから人物推定を行い、矛盾点のチェックを行うことで、人物特定における誤認識の発生を低減することができる。
【００３０】
次に、本発明に係る画像表示方法の第２の実施形態について説明する。
これは、これから表示される画像中に現れる人物の顔画像（顔画像パターン）とその音声（音声特徴量）を予め登録しておき、画像が表示されると、リアルタイムで、話者を特定し、その発した音声を文字化してその話者の近くに表示しようというものである。
【００３１】
図４に、第２実施形態の処理の流れを示す。
図４のステップ２００において、予め人物の顔画像（顔画像パターン）およびその人物の音声（音声特徴量）を情報処理装置１２に登録しておく。
次に、ステップ２１０で、再生画像あるいは受信装置１６で受信したＴＶ放送が表示装置１０に表示されると、音声データを抽出し、その音声特徴量を算出する。
【００３２】
次に、ステップ２２０において、算出した音声特徴量と、予め登録してある音声特徴量をマッチングして、人物の識別を行う。
その音声を発した人物が識別されると、次に、文字データを表示画面上で表示すべき位置を特定する。そのために、ステップ２３０において、いま識別された人物に対応する、予め登録された顔画像を用いて、マッチング手法等により表示画面上で話者である人物を特定する。
【００３３】
表示画面上で話者が特定されると、最後にステップ２４０において、音声データを文字化して、その特定された話者の近くに表示する。
このように、本実施形態によれば、予め顔画像および音声を登録し、シーン中の画像と音声をパターンマッチングにより人物を特定することにより、リアルタイムで文字データをその話者に対応させて表示することができる。特に、家族を対象としたムービー撮影等の登場人物が限られるような場合に有効である。
本実施形態において、予め登録するデータは、例えば、前記第１の実施形態の結果を記録して用いるようにしてもよい。また、一度登録しておけば、同様の録画の再生や、ＴＶ放送であれば、同様の別番組へも適用することができる。
【００３４】
なお、第１および第２の実施形態においては、画像中の人物と音声を発した人物との関連付けにおける処理結果のデータを、情報処理装置１２で記録媒体の識別情報と関連付けて記録するようにしてもよい。また、その処理結果のデータを記録媒体に付属情報として追加記録するようにしてもよい。このようにすることにより、再生装置１４で記録媒体を交換した場合でも、その後の再生時に、即座に音声を文字化した画面を表示できる。
また、第１および第２の実施形態においては、音声を発した人物が画面内に表示されていないときには、その音声の文字データを画面の下に表示するか、または画面の縁から吹き出しを入れて表示するようにしてもよい。
【００３５】
以上、説明したように、本発明は、音声データを伴う動画の表示（再生）において、音声データを文字化して、その画像中の所定の位置に表示するものであったが、本発明を利用して動画を絵本風に再現することも可能である。
すなわち、簡単に言うと、動画中のシーンをいくつか静止画として選択し、これに各シーンでの音声データを文字化したものを付けて出力するものである。
【００３６】
このような動画の絵本化の具体的な方法は、特に限定されるものではない。
例えば、ひとつの方法として、あるシーンでの音声を文字化して行き、その文字数が所定数に達した時点で、ページを切り換えるようにする。このとき、そのページの区切りにおけるシーンとして、先頭１コマまたはインデックス風にＮコマを静止画として表示する。
出力は、例えばプリンタに接続してプリントとして出力して、アルバムに綴じるようにしてもよい。あるいは、いわゆる電子アルバムのように、電子ペーパーに、各シーン毎の静止画とそれに対応する音声データを文字化したものを表示するようにしてもよい。
【００３７】
以上、本発明の画像表示方法について、詳細に説明したが、本発明は、以上の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのはもちろんである。
【００３８】
【発明の効果】
以上、説明した通り、本発明によれば、動画表示において、画像中の人物の推定を画像と音声の両方から行い、統計を取ることにより、画像人物と音声の対応付けの精度を向上させ、音声を文字化したデータを精度良くその話者に対応させて表示することが可能となる。
【図面の簡単な説明】
【図１】本発明に係る画像表示方法を実行するための画像表示システムの概略を示すブロック図である。
【図２】本発明の第１実施形態の処理の流れを示すフローチャートである。
【図３】本発明に係る画像表示方法による表示画面の例を示す説明図である。
【図４】本発明の第２実施形態の処理の流れを示すフローチャートである。
【符号の説明】
１　画像表示システム
１０　表示装置
１０ａ　表示画面
１２　情報処理装置
１４　再生装置
１６　受信装置
１６ａ　アンテナ
２０　（特定された）人物
２２　吹き出し
２４　文字データ

Claims

音声データを伴う画像データを表示する画像表示方法であって、
画像データ中から人物領域を抽出し、その画像特徴量を算出し、該画像特徴量により人物を推定するとともに、
音声データから音声特徴量を算出し、該音声特徴量により人物を推定し、
前記画像データから推定された人物と、音声データから推定された人物とが同一シーン内に同時に発生する状況の統計をとり、
前記統計の結果に基づいて、前記音声データを発した人物を特定し、前記音声データを文字化して、表示画面上で前記特定された人物の近くに表示することを特徴とする画像表示方法。
音声データを伴う画像データを表示する画像表示方法であって、
予め人物の顔画像と、その人物の音声を登録しておき、
音声データを伴った画像を表示する際、該音声データを前記登録された音声とマッチングし、人物を特定するとともに、
該特定された人物の前記顔画像と、表示される人物の顔領域とをマッチングして、前記音声データを発する人物を表示画面上で特定し、
前記音声データを文字化して、表示画面上で前記特定された人物の近くに表示することを特徴とする画像表示方法。
前記音声データを文字化して表示画面上に表示した位置を手動で修正することができるようにした請求項１または２に記載の画像表示方法。
前記表示画面のサイズまたは画像表示の速度に応じて、前記音声データを文字化して表示する際の文字数を切り換えるようにした請求項１〜３のいずれかに記載の画像表示方法。
前記音声データを文字化した文字数に応じて、前記表示画面に表示される画像の表示速度を切り換えるようにした請求項１〜３のいずれかに記載の画像表示方法。