JP2009239721A - テレビジョン受像装置及びテレビジョン受像方法 - Google Patents

Abstract

【課題】 現行の放送波を用いて人物等の移動情報の生成を実現する技術を提供する。
【解決手段】 外部からの放送波による映像内の人物の移動情報を抽出する抽出手段と、外部から指定された視点からの前記移動情報を表現した映像を映写する移動情報表現手段とを備えたことを特徴とするテレビジョン受像装置。また外部からの放送波による映像内の人物の移動情報を抽出し、外部から指定された視点からの前記移動情報を表現した映像を映写することを特徴とするテレビジョン受像方法。
【選択図】 図４

Description

本発明は、テレビジョン受像装置及びテレビジョン受像方法に係わり、特に3D View TVに関する。

近年、３次元ＣＧ（コンピュータグラフィックス）を用いた映像作成、あるいは人物の顔画像を用いたＨＩ（ヒューマンインターフェイス）など、画像生成、画像処理、画像認識といった画像に関わる計算機処理のニーズが、急速に拡大している。これらの処理においては、対象とする物体の幾何形状、表面属性、そして、必要に応じて動きのデータを計算機において数値化して扱うことが必要である。

また、取分け、近年において、ゲームやＶＲ（バーチャルリアリティ）の分野では、２次元ではなく、３次元ＣＧ（コンピュータグラフィクス）を用いた映像を使う状況が急速に増えている。

例えば、ユーザーが任意の視点で鑑賞できる３次元ＣＧを用いた映像という需要がある。関連して特許文献１に記載のものは、同時に多角から撮影された複数映像から、ユーザーは任意の視点で鑑賞できるという内容のものである。しかしながら複数の角度からの映像が必要という点で、現行の放送波では実現できないという問題点がある。

また特許文献２に記載のものは、移動情報や3Dオブジェクトを外部から受信して映像を作り出すという内容のものであるが、外部で移動情報の生成が必要という点で、やはり現行の放送波では実現できないという問題点がある。
特開平５−１３０５２８号公報 特開２００１−２８７６５号公報

本発明は、現行の放送波を用いて人物等の移動情報の生成を実現する技術を提供することを目的とする。

上記課題を解決するために、本発明のテレビジョン受像装置は、外部からの放送波による映像内の人物の移動情報を抽出する抽出手段と、外部から指定された視点からの前記移動情報を表現した映像を映写する移動情報表現手段とを備えたことを特徴とする。

本発明によれば、現行の放送波を用いて人物等の移動情報の生成を実現する技術が得られる。

以下、本発明の実施形態を説明する。

本発明による実施形態１を図１乃至図１０を参照して説明する。
(１) ブロック構成図
図１は本発明の１実施形態として3D View TV１の概略構成を示す図である。映像生成部１６とは現行放送から抽出した選手やボールの移動情報から、それらをユーザーに見せるための映像を生成する部分であるが、以下の実施例では、抽出した移動情報に選手の3Dオブジェクトを配置して3DCG空間としてユーザーに見せるという一例で説明する。３Ｄオブジェクトを取得する方法は何でも良いが、図2はデータ放送に出場選手の情報を追加してそれを下にweb上で用意された選手のオブジェクトを取得する例である。図3はフレームの画像解析から出場選手を判断して記憶装置に持っている選手のオブジェクトを呼び出す構成例である。以下では図2の構成例を下に説明する。

このテレビは放送波受信部２１、記憶装置２２及びディスプレイ１７を備えており、さらに移動ベクトル抽出部１３、認識不能人物推定部１４、移動ベクトル補間部１５、及び3Dオブジェクト配置部２６で構成される。各部はそれぞれ以下の処理をつかさどる。

・放送波受信部２１、記憶装置２２
現行放送を受信して、その情報を記憶装置へと保存する。また、その試合に参加している選手やフィールド情報がデータ放送に付与して送られてくる場合は、そのデータを抽出し必要な3Dオブジェクトをweb上からの取得する際に利用する。

・ディスプレイ１７
作成した3DCG空間を任意の視点から見た映像を表示する。
・移動ベクトル抽出部１３（詳細は(3)）
記憶装置から呼び出したフレームが競技しているコート（以下フィールドと呼ぶ）のどの位置であるかを判別し、そこに写る選手やボールがフィールドのどの位置にいるのかを認識する機能を持つ。さらに、その選手が誰であるかの認識も行う（以下、人物認識と呼ぶ）。詳細は後述するが、さらに一つ前のフレームと比較することで選手やボールの移動情報を移動ベクトルという形で取得する。

また、3DCGを作成する際に必要なオブジェクトの判断を画像認識によって行う場合は、この部分で可能である。
・認識不能人物推定部１４（詳細は(5)）
移動ベクトル抽出部で人物認識に失敗した選手が誰であるのかを推定する部位である。詳細は後述する。
・移動ベクトル補間部１５（詳細は(6)）
移動ベクトル抽出部と認識不能人物推定部によって得られる、人物認識が出来ている移動ベクトルの内で、移動情報のない期間をAIを用いて補間することで、時間的に連続した一つの移動ベクトルへと繋ぎ合わせる機能を持つ。

・3Dオブジェクト配置部２６
Web上から取得する選手・ボール・フィールドの3Dオブジェクトを移動ベクトル情報どおりに配置する。作成された3DCG空間はディスプレイによって任意の視点で鑑賞できる。

(２) 全体フローチャート
図4は本発明を実施する際の全体フローチャートの一例である。大まかな流れをここで示し、両端に線がついているブロックに関しては詳細なフローチャートを後述する。

１．放送波録画（ステップＳ１１）
現行放送を録画したものを用意する。
２．ユーザーによる3D作成範囲の指定（ステップＳ１２）
ユーザーは録画された映像の範囲内で、任意の視点で見たいシーンを選択する。以降ではここで選択されたシーンの3DCG空間を生成し、ユーザーはその3DCG空間を好みの視点から鑑賞する。

３．全フレームを解析し移動ベクトル抽出（ステップＳ１３）−詳細は(3)に記載
全フレームを解析することで、写っていた選手やボールの移動情報を抽出する。
なおこの時点で取得できる移動ベクトルは、その時間にフレームに写っていた選手とボールだけであり、初めと終わりしかフレームに写らない選手がいれば、真ん中の時間はその選手の移動ベクトルが存在しないことになる。

４．認識不能人物の推定（ステップＳ１４）−詳細は（５）に記載
抽出できた移動ベクトルの中で、人物認識が出来なかったものが誰であるか推定する。
この部分でも人物認識できなかった移動ベクトルに関しては人物を特定しない3Dオブジェクトを配置する、もしくは人物認識が出来ない程度しか写っていなかったという判断で削除する。

５．移動ベクトル補間（ステップＳ１５）−詳細は（６）に記載
今までのフローで抽出できた認識人物の移動ベクトルは、写っていない時間がある選手に関しては移動情報のない時間が存在する。この移動情報のない時間を補間することで、ユーザー指定範囲の間で認識人物の移動ベクトルが定まる。

６．3Dオブジェクト取得（ステップＳ１６）
必要な3Dオブジェクトをweb上から取得する。
７．3Dオブジェクト配置（ステップＳ１７）
取得した3Dオブジェクトを移動ベクトルどおりに配置することで、3DCG空間が出来上がる。
(３) 移動ベクトルの抽出を実現する一例のフローチャート
図5は(2)フロー３（ステップＳ１３）の現行放送から選手の移動ベクトルの抽出を実現する一例のフローチャートであり、以下に説明する。
１．記憶装置から取得（ステップＳ３１）したフレームがフィールドのどの位置なのかを認識する（以下これをフレーム位置と呼ぶ）。一例としてはコートのラインを用いてこれを判断する画像認識技術などがあるが、手法に関しては何でも良い。フレーム位置の認識が出来なかったフレームに関しては処理を行わずに、次フレームの処理に移る（ステップＳ３２のＮＯ）。

２．フレームに写る人物とボールの位置情報を一般的な画像認識技術によって抽出する（ステップＳ３３）。フレーム位置は分かっているので、その時間にフレームに写っている選手とボールのフィールドでの位置が分かる。

３．写っている選手に関して画像解析によって、その選手が誰であるかの認識にトライする（ステップＳ３４）。この時点で認識できなくても問題はない。
４．選手やボールの位置情報を前のフレームと比較することで移動ベクトルを決定する。しかし、カメラアングルの切り替えがあった場合は前フレームとの比較が出来ないので、この位置情報だけ記憶しておいて、次のフレームの処理にうつる。アングル切り替え有無の判断（ステップＳ３５）はフレーム位置が急激に移動したがどうかで判断する。

５．アングルの切り替えがなかった場合は、前フレームとの比較で移動ベクトルを決定するが（ステップＳ３６）、その詳しいフローチャートは図6に示すものである。詳細は（４）に記載

６．ユーザーが指定する範囲のフレームに関して全て行う
(４) 移動ベクトル決定プロセスのフローチャート
図6は(3)フロー5の移動ベクトル決定プロセス（ステップＳ３６）のフローチャートである。以下に説明する。
１．前フレームで抽出した位置情報を読み出し（ステップＳ６１）、前フレームに写る一人に注目し（ステップＳ６２）、今フレームの位置情報と比較する。
２．同一人物がいれば（ステップＳ６３のＹＥＳ）その人物の移動情報は決まる。同一人物がいない場合は、前のフレームに対して今のフレームに位置が近い選手が一人しかいなければ（ステップＳ６４のＹＥＳ）、それを同一人物と判断し移動ベクトルを決定する。前フレームに対して今のフレームに位置が近い選手がいない、もしくは二人以上いる場合は移動ベクトルの終点として（ステップＳ６５）、一旦移動ベクトルを切ってしまう

３．１〜2の処理を前フレームに存在する位置情報全てに行う
上記フローは2の今フレームに近い位置が一人だけいるとは、前フレームと今フレームが同一人物と扱う処理の信頼性が高い状況を意味している。つまりそれ以外の、人が重なったり、位置の抽出に失敗するなど、移動ベクトルの抽出が困難な状況になった時は移動ベクトルを終了させてしまい、再び信頼性が高い状況になったら移動ベクトルをとりはじめる。このように処理しても抽出が困難な状況は長期間にはならないはずなので、後段の移動ベクトル補間のフローで切れた移動ベクトルを繋ぐことが出来る。

また、今フローで新しく現れた人物に関しては前フローに存在しないので移動ベクトルは抽出されないが、(3)フロー２で新しい人物の位置は抽出しているので、その次のフレーム処理に移ったときに移動ベクトルが抽出され始めることになる。

(５) 認識不能人物の推定を実現するための一例のフローチャート
図7は(2)フロー４（ステップＳ１４）の認識不能人物の推定を実現するための一例のフローチャートである。この例ではフレームに写る人間の位置抽出の信頼性が高い事を前提としている。また、補間の一例としてＡＩを用い、詳細は(6)に記載する。まずおおまかな流れを説明する。

抽出した移動ベクトルが存在しない期間をＡＩによって繋げることで、認識人物の移動ベクトルを生成する。次にそれと比較することで、認識不能人物移動ベクトルが誰のものであるかを推定する。

ここで注意点がある。このフローで生成する認識人物の移動ベクトルはあくまで認識不能人物ベクトルを推定用するためのものであり、最終的な移動ベクトルには関係がないという事である。その理由を以下に示す。

移動ベクトルが存在しない期間というのは人が重なるなどして移動ベクトルの抽出に失敗するなどの場合を除けば、基本的にはフレームに写っていない期間である。AIによる移動ベクトル補間を行う際はこれを考慮して、フレームが写っているフィールド位置に補間による移動ベクトルが入らないようにする必要がある。しかし、このフローでこれを行ってしまうとフレームに写っている認識不能人物の推定は出来ないので、ひとまずフレーム位置を考慮せずにＡＩ補間を行い、それと比較して認識不能人物の推定を行う。そして最終的に推定によって得られた認識人物の移動ベクトルも追加して、フレーム位置を考慮したＡＩ補間を行うことで移動ベクトルが完成する。

図7が人物認識できなかった移動ベクトルの人物を推定するフローチャートであり、以下で説明する。
１．先ほど述べたフレーム位置を考慮しないAIによる移動ベクトル補間を行う（ステップＳ４１）。詳細は(6)(7)に記載
２．一つの認識不能人物移動ベクトルに注目し（ステップＳ４２）、それが存在する期間が全てＡＩ補間によって生成されている認識人物の移動ベクトルを抽出する（ステップＳ４３〜Ｓ４５）。

３．抽出した認識人物の移動ベクトルの中に認識不能人物移動ベクトルに近いものがあれば（ステップＳ４６）、それを同一人物と判断する（ステップＳ４７）。なければ人物認識は失敗となる（ステップＳ４８）。

図10は認識不能人物移動ベクトル推定をサッカーの場合どのようになるか示したイメージ図である。左の図は推定する対象の認識不能人物の移動ベクトルであり、t7〜t8の期間存在している。真ん中の図は人物認識できている移動ベクトルのうちでt7〜t8の期間が全てＡＩによって補間されているものを抽出したものである。右の図は近い移動ベクトルが存在したので、これを同一人物と推定したことを表している。

(６) 移動ベクトル補間のフローチャート
図8は移動ベクトル補間のフローチャートである。補間手段の一例としてはＡＩによる補間があり、例えばベクトルが途切れた終点と次に現れる始点を単位時間当たりの移動ベクトルの変化量が平均になるようにつなぐ手法などがある。実施例ではＡＩを利用した補間で説明する。本実施例では移動ベクトル補間を二回行う。一回目は認識不能人物推定用の移動ベクトル生成のため、フレーム位置を考慮しないAIで補間を行う（(5)のフロー１）。二回目は最終的な移動ベクトルを生成するための補間であり、フレーム位置を考慮して行う（(2)のフロー5）。フローチャートはどちらも同じで、違いはＡＩがフレーム位置を考慮するかしないかの違いだけである。以下にフローを説明する。

１．まず特定の一人の人物認識できた移動ベクトルに関して注目する（ステップＳ５１）。
２．移動ベクトルが途絶えた場合（ステップＳ５２のＹＥＳ）、再びその人物の移動ベクトルが現れるかどうかを判定する。
３．現れれば（ステップＳ５３のＹＥＳ）、途絶えた終点から再出現する始点までをAIによって補間する（ステップＳ５４）。現れなければ（ステップＳ５３のＮＯ）、ユーザーが指定した期間の終わりまで、AIによって移動ベクトルを生成する（ステップＳ５５）。

４．1〜3の処理を人物認識できた人数分繰り返す（ステップＳ５６）。
（７）移動ベクトル補間をサッカーで行った場合のイメージ図
図9はＡＩによる移動ベクトル補間をサッカーで行った場合のイメージ図である。左側が(3)(4)での抽出により人物認識ができた移動ベクトルのうち、特定の一人に関するものである。t1,t2,t3・・・はタイムスタンプを表しており、数字が大きくなるほど時刻が遅いことを意味する。この例ではt1〜t2、t3〜t4、t5〜t6はフレームに写っていたため移動ベクトルがあり、t2〜t3、t4〜t5は移動ベクトルが存在しない。よってこの期間の移動ベクトルをAIによって補間した結果が右の図である。点線がAI補間によって生成した部分を表している。

上記のような実施形態により、以下の効果を得る。
(1)一つの視点映像から選手やボールの移動情報を抽出・推定し、さらに3DCG空間によって選手の位置情報を再現するという手段によって、現行の放送波から複数人物による競技における各選手の移動情報を好きな視点で鑑賞できるようになった。

(2)3DCG空間の生成をテレビの中で実現することにより、ユーザーは手軽に複数人物による競技における各選手の移動情報を自由な視点で鑑賞できるようになった。

(3)一つの視点映像から選手の移動情報を抽出する手法を用いたので、外部から取得するのは3Dオブジェクトのみになり、既存の放送インフラはほぼ変更することなく位置関係を再現する3DCG空間の作成が可能になった。

(4)認識不能人物の推定を行うので、選手の移動情報の正確さが向上した。
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。例えばサッカーコートにおける人物（主に審判等を除いた選手）を取り上げたが、テニスコートにおける人物やボールを対象とするものでもよい。また、コートという場所に限らず、陸上のトラック競技のトラック近辺や、フィールド競技の競技場所近辺における人物等を捉えて同様のことを行えばよい。

また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係る構成要素を適宜組み合わせても良いものである。

本発明の一実施形態を示す概略構成図。 同実施形態のwebから3Dオブジェクトを取得する場合の概略構成図。 同実施形態の予めTV内部で3Dオブジェクトを保持していて、それを読み出す形態の概略構成図。 同実施形態の現行放送から3DCG空間を生成する概略フローチャート。 同実施形態の現行放送の各フレームから移動ベクトルを抽出するフローチャート。 同実施形態の移動ベクトルを決定するフローチャート。 同実施形態の人物認識できなかった移動ベクトルの人物を推定するフローチャート。 同実施形態の移動情報のない期間をAIによって補間するフローチャート。 同実施形態のAIによる移動ベクトル補間イメージ図（サッカーの例）。 同実施形態の認識不能人物移動ベクトル推定のイメージ図（サッカーの例）。

符号の説明

１，２，３…3Dview-TV、１１，２１…放送波受信部、１２，２２，３２…メモリ、１３，３３…移動ベクトル抽出部、１４…認識不能人物推定部、１５…移動ベクトル補間部、１６…ディスプレイ鑑賞用映像生成部、１７…ディスプレイ、２６…３Ｄオブジェクト配置部。

Claims (5)

1. 外部からの放送波による映像内の人物の移動情報を抽出し、
   外部から指定された視点からの前記移動情報を表現した映像を映写する
   ことを特徴とするテレビジョン受像方法。
2. 外部からの放送波による映像を録画し、
   この録画された映像から人物の移動情報を抽出し、
   外部から指定された視点からの前記移動情報を表現した映像を映写する
   ことを特徴とするテレビジョン受像方法。
3. 前記人物の時間的に離散な移動情報の欠落した部分を補間することにより、時間連続な移動情報にすることを特徴とする請求項１に記載のテレビジョン受像方法。
4. 前記人物が認識できなかった移動情報が誰の移動情報であるのかを推測し、この人物の移動情報の生成に利用することを特徴とする請求項１に記載のテレビジョン受像方法。
5. 外部からの放送波による映像内の人物の移動情報を抽出する抽出手段と、
   外部から指定された視点からの前記移動情報を表現した映像を映写する移動情報表現手段とを
   備えたことを特徴とするテレビジョン受像装置。

Images