JP2010034699A - Broadcast transmitter, broadcast receiver, and broadcast transmission and reception system - Google Patents
Broadcast transmitter, broadcast receiver, and broadcast transmission and reception system Download PDFInfo
- Publication number
- JP2010034699A JP2010034699A JP2008192564A JP2008192564A JP2010034699A JP 2010034699 A JP2010034699 A JP 2010034699A JP 2008192564 A JP2008192564 A JP 2008192564A JP 2008192564 A JP2008192564 A JP 2008192564A JP 2010034699 A JP2010034699 A JP 2010034699A
- Authority
- JP
- Japan
- Prior art keywords
- broadcast
- additional information
- main video
- signal
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
本発明は、放送送信装置および放送受信装置および放送送受信システムに関し、特に、主映像中の特定の物体が、放送受信装置の表示画面上で認識が容易な放送送信装置および放送受信装置および放送送受信システムに関する。 The present invention relates to a broadcast transmission device, a broadcast reception device, and a broadcast transmission / reception system, and in particular, a broadcast transmission device, a broadcast reception device, and a broadcast transmission / reception in which a specific object in a main video is easily recognized on a display screen of the broadcast reception device. About the system.
放送受信装置、たとえば、テレビジョン受信機、の表示画面において、視聴者が画面内で絶えず動き続ける物体の位置を把握するのは容易ではないことがあった。たとえば、サッカー試合の放送映像では、視聴者は、選手がボールと重なる映像が表示されることにより、ボールの位置を見失うことがある。または、視聴者は、表示画面から目を離すことにより次の瞬間のボールの位置を見失うこともある。特に、サッカー試合の放送映像では、広い競技場を広範囲に表示するために、表示画面ではボールは相対的に小さく表示される。このため、移動し続ける小さなボールを、表示画面上で追跡することは、視聴者にとって容易ではなく、疲労の原因となることもあった。 In the display screen of a broadcast receiving apparatus, for example, a television receiver, it may not be easy for the viewer to grasp the position of an object that constantly moves within the screen. For example, in a broadcast video of a soccer game, a viewer may lose sight of the position of the ball by displaying an image in which a player overlaps the ball. Alternatively, the viewer may lose sight of the ball position at the next moment by keeping an eye on the display screen. In particular, in a broadcast video of a soccer game, the ball is displayed relatively small on the display screen in order to display a wide stadium over a wide range. For this reason, it is not easy for the viewer to track a small ball that continues to move on the display screen, which may cause fatigue.
なお、録画放送においては、放送局における処理により、特定の物体に対して、視聴者の認識を補助するために、マーカを付加して表示する等の映像効果を付加することは行われている。しかし、生放送では特定の物体に対して、映像効果を付加することは容易ではなく、かつ、それぞれの視聴者が注目したい、それぞれ異なる物体に映像効果を付加することはできなかった。 Note that in the recorded broadcast, video effects such as adding a marker to a specific object and displaying it are performed on a specific object in order to assist the viewer's recognition. . However, in live broadcasting, it is not easy to add a video effect to a specific object, and it has not been possible to add a video effect to different objects that each viewer wants to pay attention to.
なお、特開2005−130462号公報には、複数のカメラで異なる位置から撮影された複数の映像チャンネルのうちの一つを、視聴者が見たい被写体にあわせて次々と選択して表示する表示装置が開示されている。また、特開2003−153250号公報には、全方位映像の中から、視聴者が選択した被写体の映像を含む画角の映像を画面表示する自動追尾表示方法等が開示されている。
本発明は、視聴者が表示画面上に表示されている特定の物体を容易に認識できる放送送信装置および放送受信装置および放送送受信システムを提供することを目的とする。 An object of the present invention is to provide a broadcast transmission device, a broadcast reception device, and a broadcast transmission / reception system in which a viewer can easily recognize a specific object displayed on a display screen.
本願発明の一態様によれば、主映像を撮影し主映像信号を出力する主映像撮影手段と、物体を特定する外観情報を処理する付加情報処理手段と、付加情報処理手段により処理された外観情報を付加情報として、主映像信号に付加する合成手段と、主映像信号に付加情報が付加された放送信号を送信する送信手段とを有することを特徴とする放送送信装置が提供される。 According to one aspect of the present invention, a main video photographing means for photographing a main video and outputting a main video signal, an additional information processing means for processing appearance information for specifying an object, and an appearance processed by the additional information processing means There is provided a broadcast transmission apparatus characterized by comprising combining means for adding information as additional information to a main video signal and transmission means for transmitting a broadcast signal in which additional information is added to the main video signal.
また、本願発明の別の一態様によれば、主映像を撮影し主映像信号を出力する主映像撮影手段と、物体を特定する外観情報を処理する付加情報処理手段と、付加情報処理手段により処理された外観情報を付加情報として、主映像信号に付加する合成手段と、主映像信号に付加情報が付加された放送信号を送信する送信手段とを有することを特徴とする放送送信装置からの放送信号を受信する受信手段と、受信手段が受信した放送信号から、表示手段に主映像を表示し、かつ付加情報を処理する信号処理手段と、付加情報により特定可能な一の物体を選択可能な選択手段と、付加情報を用いて、主映像中の、選択手段により選択された物体を検出する検出手段と、表示手段に表示された主映像中に、検出手段が検出した物体の位置を示すマーカを表示するマーカ表示手段とを有することを特徴とする放送受信装置が提供される。 According to another aspect of the present invention, there is provided a main video photographing means for photographing a main video and outputting a main video signal, an additional information processing means for processing appearance information for specifying an object, and the additional information processing means. From a broadcast transmitting apparatus, comprising: a combining means for adding the processed appearance information as additional information to the main video signal; and a transmission means for transmitting a broadcast signal in which the additional information is added to the main video signal. A receiving means for receiving a broadcast signal, a signal processing means for displaying the main video on the display means and processing the additional information, and one object that can be specified by the additional information can be selected from the broadcast signal received by the receiving means. The position of the object detected by the detection means in the main video displayed on the display means and the detection means for detecting the object selected by the selection means in the main video using the additional selection means. Marker to indicate Broadcast receiving apparatus is provided, characterized in that it comprises a marker display means for displaying.
本発明によれば、視聴者が表示画面に表示されている特定の物体を容易に認識できる放送送信装置および放送受信装置および放送送受信システムを提供することができる。 According to the present invention, it is possible to provide a broadcast transmission device, a broadcast reception device, and a broadcast transmission / reception system in which a viewer can easily recognize a specific object displayed on a display screen.
<第1の実施の形態>
以下、図面を参照して本発明の第1の実施の形態の、放送送信装置1および放送受信装置2を有する放送送受信システム3について説明する。図1は、本実施の形態の放送送信装置および放送受信装置を有する放送送受信システムの概略構成図である。
<First Embodiment>
Hereinafter, a broadcast transmission /
図1に示すように、本実施の形態の、放送送受信システム3は放送送信装置1と放送受信装置2とを有する。なお、以下、放送送受信システム、放送送信装置、または放送受信装置を「放送送受信システム等」ともいう。そして、放送送信装置1では、主映像を撮影する主映像撮影手段であるTVカメラA(12)が主映像信号S1を出力する。そして、放送送信装置1では、主映像信号S1に、第1の付加情報A1および第2の付加情報A2を付加した合成信号を合成手段である合成回路13により合成して、送信手段である送信回路14により放送信号として送信する。もちろん、放送信号には、主映像信号S1に、第1の付加情報A1および、A2だけでなく、音声信号や各種の制御信号が付加されている。なお、送信方法はデジタルTV放送の無線による送信方法でもよいし、ケーブルTV回線またはインターネット回線等の有線による送信方法でもよい。
As shown in FIG. 1, the broadcast transmission /
ここで、第1の付加情報A1および第2の付加情報A2は、放送を視聴する視聴者が放送受信装置2のディスプレイ25の表示画面25Aに表示されている特定の目標物体(以下、「目標体」という。)を容易に認識できるように処理するための付加情報である。すなわち、放送送受信システム3においては、目標体は、放送送信装置1、言い換えれば放送局により予め決定されている。そして、放送送信装置1は、定められた目標体に関する付加情報を、主映像信号S1に付加して放送信号として送信する。
Here, the first additional information A1 and the second additional information A2 are the specific target object (hereinafter referred to as “target”) displayed on the
ここで、第1の付加情報A1は、第1の付加情報処理手段である付加情報1処理回路15により処理される、目標体を特定する目標体の外観の特徴情報、すなわち、映像から目標体を特定できる情報である。一方、第2の付加情報A2は、第2の付加情報処理手段である付加情報2処理回路16により処理される、補助映像撮影手段、たとえば、3台のTVカメラ、すなわちTVカメラB(17)、TVカメラC(18)およびTVカメラD(19)、が撮影した3種類の補助映像と、それぞれのTVカメラの位置情報とである。放送送受信システム3においては、補助映像撮影手段は少なくとも1台必要である。補助映像撮影手段の台数が多いほど放送受信装置2が目標体を特定可能な場合が多くなるが、放送送受信システム3が複雑となるため、放送内容および目標体に応じて、放送局が適宜選択する。
Here, the first additional information A1 is processed by the
そして、放送受信装置2は、放送送信装置1からの、放送信号を受信する受信手段である受信回路21と、受信した信号を復号処理する復号回路22と、復号信号を処理し、映像をディスプレイ25に表示し、音声をスピーカー24から出力する信号処理回路23とを有する。なお、信号処理回路23は、受信した信号に付加されている付加情報も処理する信号処理手段である。
Then, the
そして、放送受信装置2は、付加情報である、第1の付加情報A1および第2の付加情報A2、を用いて、視聴者がディスプレイ25に表示されている目標体を容易に認識できるようにする認識処理のための、一覧表示回路26と、目標体選択装置27と、表示制御回路31と、マーカ表示回路32と、検出回路28と、追跡回路29と、記憶装置30とを有する。
Then, the
選択手段である目標体選択装置27は、一覧表示手段である一覧表示回路26によりディスプレイ25に表示されている目標体の一覧の中から、視聴者が目標体を選択可能な装置であり、たとえば、リモコンまたはマウス等を用いることができる。
The target
検出回路28は、第1の付加情報A1および第2の付加情報A2を用いて、主映像中の目標体を検出する検出手段である。追跡回路29は、過去の映像、すなわち過去のフレーム映像が記憶されている記憶装置30の情報等をもとに、差分解析等により、検出された目標体を連続して追跡する追跡手段である。マーカ表示回路32は、視聴者がディスプレイ25の表示画面25A上での検出した目標体の認識を容易化するため、目標体の位置を示すマーカ40(図2参照)を表示するマーカ表示手段であり、表示制御回路31は、一覧表示回路26またはマーカ表示回路32等からの信号を処理して、主映像信号と重畳表示する。
The
本実施の形態の放送送受信システム3、放送送信装置1および放送受信装置2は、表示画面25A上の指定された目標体にマーカ40を付し追跡する。これにより、視聴者は選択した着目した目標体の位置を明確に把握することが可能、すなわち、視聴者が表示画面に表示されている特定の物体を容易に認識できる。
The broadcast transmission /
次に図面を参照して、本発明の第1の実施の形態の放送送受信システム3について、サッカー試合の中継放送を例に、より詳細に説明する。図2は本実施の形態の放送受信装置のディスプレイの表示画面の一例を説明するための説明図であり、図3は本実施の形態の放送送受信システムの第1の付加情報を説明するための説明図であり、図4は本実施の形態の放送送受信システムの第2の付加情報を説明するための説明図である。
Next, with reference to the drawings, the broadcast transmission /
図2は、視聴者が目標体として、サッカーボール(以下、「ボール」という。)42を選択した場合の、ディスプレイ25の表示画面25Aの一例を示している。表示画面25A中のボール42には、矢印のマーカ40が表示されているため、視聴者は、競技フィールド(ピッチ)41の広い範囲が表示されている表示画面25Aの中で、選手43A〜43Gにより、移動する小さなボール42であっても、ボール42を容易に認識できる。
FIG. 2 shows an example of a
なお、図2では、マーカとして矢印のマーカ40を例示したが、マーカとしてボール42を全体に取り囲む円形にしたり、ボール42を特定の色で表示したりしてもよい。なお、マーカ40は表示画面25Aの中でより容易に認識できるように、視聴者が、色を選択可能としたり、点滅表示したりしてもよい。
In FIG. 2, the
次に、付加情報について説明する。本実施の形態の放送送受信システム3においては、付加情報として、第1の付加情報A1と、第2の付加情報A2とを用いる。第1の付加情報A1は、目標体を特定する目標体の外観の特徴情報、すなわち、映像から目標体を特定できる情報である。
Next, additional information will be described. In the broadcast transmission /
すなわち、図3に例示するように、第1の付加情報A1は、目標体が試合で使用されるボール42の場合には、ボール42の写真と、大きさと、模様と、色彩等とからなる情報であり、目標体が選手43の場合には、その選手43の写真と、身長、体型、肌の色等の身体データ情報と、ユニフォームの色および模様と、背番号等とからなる情報である。第1の付加情報A1として、どのような情報を用いるかは、放送番組により異なり、放送送信装置1を用いる放送局が選択し管理する。また、どの物体を目標体として選択するかも、放送局が選択し、放送局は選択した目標体についての第1の付加情報A1を放送開始前に収集しておく。
That is, as illustrated in FIG. 3, the first additional information A1 includes a photograph, a size, a pattern, a color, and the like of the
次に、図4を用いて、第2の付加情報A2について説明する。第2の付加情報A2は、映像撮影装置が撮影した視点からの補助映像と、映像撮影装置の位置情報とである。図4では、第2の付加情報A2は、図4(A)に示すように競技フィールド5のゴール裏に配置したTVカメラB(17)と、センターライン横に配置したTVカメラC(18)と、および、センターマーカ真上に配置したTVカメラD(19)とからなる3台の映像撮影装置が撮影した3種類の補助映像である図4(B)、図4(C)図4(D)と、それぞれのTVカメラ17〜19の位置情報とである。位置情報は、たとえば、センターマーカを原点とする座標値で表示される。
Next, the second additional information A2 will be described with reference to FIG. The second additional information A2 is an auxiliary video from the viewpoint captured by the video imaging device and position information of the video imaging device. In FIG. 4, the second additional information A2 includes the TV camera B (17) arranged behind the goal of the
なお、図4(A)において、TVカメラA(12)が主映像を撮影する主映像撮影手段であり、主映像の一例が図4(E)である。すなわち、放送送受信システム3は、1台の主映像撮影手段と3台の補助映像撮影手段とを有している。もちろん、主映像を撮影する主映像撮影手段は1台でなく、通常の放送番組のように、数台のTVカメラを切り替えながら用いてもよい。なお、主映像装置の位置情報も第2の付加情報A2に含まれている。
In FIG. 4A, the TV camera A (12) is a main video photographing means for photographing the main video, and an example of the main video is FIG. 4E. In other words, the broadcast transmission /
次に、図5を用いて放送受信装置2における処理の流れについて説明する。図5は、本実施の形態の放送受信装置2における処理の流れについて説明するためのフローチャートである。以下。図5のフローチャートに従い説明する。
Next, the flow of processing in the
<ステップS10>
放送受信装置2は、放送送信装置1から放送された放送信号を受信回路21によりを受信する。そして、復号回路22は、放送信号を複合し、主映像信号S1と、付加情報とを信号処理回路23に送信する。
<Step S10>
The
<ステップS11>
表示制御回路31は、一覧表示回路26が生成した、付加情報により特定可能な目標体の一覧を、ディスプレイ25に表示する。
<Step S11>
The
ここで、図6は、本実施の形態の放送受信装置における目標体の一覧表示画面の一例である。図6では、表示画面25Aに、主映像表示領域49と、選択可能な目標体として、ボール選択領域50と、選手選択領域51とが表示されている状態を示している。視聴者は、目標体の一覧表示画面に表示されている複数の目標体の中から、注目して視聴したい一の目標体を目標体選択装置27の入力装置であるリモコンにより選択する。
Here, FIG. 6 is an example of the target list display screen in the broadcast receiving apparatus of the present embodiment. FIG. 6 shows a state in which a main
たとえば、図6においては、チームAのNo.6の選手が、カーソル27Aにより、強調表示されている状態を示しており、この状態で視聴者により、リモコンの選択ボタンが押圧されると、目標体としてチームAのNo.6の選手が選択される。カーソル27Aは、リモコンの上下左右移動ボタン等で移動可能であり、視聴者は視聴したい目標体を確実に、そして、簡単な操作で選択することができる。なお、選択された目標体が、どの物体であるかの情報は、記憶装置30等に保持される。
For example, in FIG. 6 shows a state in which the
なお、目標体の選択方法は、上記説明のように目標体の一覧表示画面による方法ではなく、主映像中に表示されている選択可能な目標体の近傍に表示されている、それぞれの目標体用の選択マーカ等を、視聴者がリモコン等で選択する方法でもよい。 The target object selection method is not the method using the target object list display screen as described above, but each target object displayed in the vicinity of the selectable target object displayed in the main video. Alternatively, the viewer may select a selection marker or the like using a remote controller or the like.
なお、放送番組によっては、放送送信装置1が予め一の目標体を選択しておき、その選択情報が選択初期値として放送信号に付加されていてもよい。その場合には、視聴者が目標体の選択を行わなくても、目標体選択装置27が自動的に、選択初期値を用いて目標体を特定することもできる。さらには、目標体が1個のみの場合には目標体選択装置27が自動的に、目標体を特定したものとみなすことができる。
Depending on the broadcast program, the
<ステップS12>
ステップS11において、目標体が選択されなかった場合(No)には、放送受信装置2は、ステップS13以降の目標体の認識処理を行わない。これに対して、放送受信装置2は、視聴者が一の目標体を選択した場合(Yes)には、ステップS13以降の目標体の認識処理を開始する。
<Step S12>
In step S11, when a target body is not selected (No), the
<ステップS13>
信号処理回路23は、選択された目標体に関する付加情報を、一時メモリ(不図示)等から呼び出す。すなわち、全ての目標体に関する付加情報の中から、選択された目標体に関する付加情報を選択して、以降のステップにおいて利用可能な状態とする。
<Step S13>
The
<ステップS14、S15>
放送番組がCM(コマーシャル)中の場合は、放送受信装置2は、CMが終了するまで待機する。なお、放送番組がCMか否かの検出について、画面の変化や音声レベルの変動などに注目した公知の手法を用いることができる。
<Steps S14 and S15>
When the broadcast program is in a CM (commercial), the
<ステップS16>
検出回路28は、第1の付加情報A1および第2の付加情報A2を用いて、主映像の中の目標体の検出を行う。なお、検出方法については、後に詳述する。
<Step S16>
The
<ステップS17>
主映像の中に、目標体がない場合(No)には、放送受信装置2はステップS14からの処理により、再検出を行う。
<Step S17>
When there is no target object in the main video (No), the
<ステップS18>
マーカ表示回路32は、主映像の中に表示するマーカ40の位置および形状等を表示制御回路31に出力し、信号処理回路23は、その情報をもとに目標体の位置を示すマーカ40を主映像に重畳してディスプレイ25に表示する。
<Step S18>
The
<ステップS19、S20>
放送受信装置2は、視聴者による、目標体認識処理の終了指示が入力された場合、または、チャンネルの切り替えにより主映像が変更された場合には、処理終了のメッセージをディスプレイ25に表示して、処理を終了する。
<Steps S19 and S20>
The
<ステップS21、S22>
途中で、主映像がCMに切り替わった場合(Yes)には、放送受信装置2は、ディスプレイ25に表示していたマーカ40の表示を解除し、ステップS14からの処理を行う。
<Steps S21 and S22>
In the middle, when the main video is switched to CM (Yes), the
<ステップS23>
追跡回路29が、目標体を追跡する。なお、目標体の追跡については、後に詳述する。
<Step S23>
A tracking
<ステップS24>
追跡回路29が、目標体を追跡できた場合(Yes)には、放送受信装置2は、ステップS18からの処理を継続する。追跡回路29が、目標体を追跡できなかった場合(No)には、放送受信装置2は、ステップS22において、ディスプレイ25に表示していたマーカ40の表示を解除し、ステップS14からの処理を行う。
<Step S24>
When the
次に、図7を用いて、図5に示したフローチャートのステップS16において、検出回路28が行う、主映像の中の目標体の検出を行う検出方法について詳述する。図7は、本実施の形態の放送受信装置の検出回路が行う目標体の検出処理の流れを説明するためのフローチャートである。以下、図7のフローチャートに従い説明する。
Next, a detection method for detecting a target object in the main video performed by the
<ステップS30>
検出回路28は、最初に、主映像の中で第1の付加情報A1を用いて、目標体の検出を行う。
<Step S30>
First, the
<ステップS31>
検出回路28は、視聴者による、目標体認識処理の終了指示が入力された場合、または、チャンネルの切り替えにより主映像が変更された場合には、処理を終了する。
<Step S31>
The
<ステップS32>
検出回路28は、主映像の中に目標体が検出できた場合(Yes)には、検出処理を完了する。検出回路28は、目標体が検出できなかった場合(No)には、ステップS33からの処理で、第2の付加情報A2を参照して目標体の検出を行う。
<Step S32>
The
<ステップS33〜S39>
検出回路28は、第2の付加情報A2を順に参照する。ここで、第2の付加情報A2は、図4に示したように、3台の補助映像撮影手段であるTVカメラB(17)、TVカメラC(18)、TVカメラD(19)が撮影した3種類の補助映像と、それぞれのTVカメラの位置情報とである。検出回路28は、いずれかのTVカメラが撮影した補助映像から、目標体を検出できた場合には、そのTVカメラの位置情報をもとに、主映像での目標体の位置を割り出す。
<Steps S33 to S39>
The
<ステップS40〜S41>
検出回路28は、所定の閾値回数N回以上(N≧2)、言い換えれば、ある時間から続くN枚以上の主映像フレーム映像から、目標体検出に失敗した場合、ディスプレイ25に「検出中」である旨のメッセージを表示し、再び、ステップS30からの主映像の解析を繰り返す。所定の閾値回数は、2回以上であればよく、好ましくは3回程度である。
<Steps S40 to S41>
The
なお、目標体としては、ボール42のように主映像中で固有の外観を持つために、比較的、検出が容易な物体O1と、同じ服装をしている複数の選手の中の特定の選手のように検出するには外観を詳細に解析する必要がある物体O2とがある。検出回路28は、物体O1を検出するには、第1の付加情報A1のうち、形状または色のいずれか1つを参照するだけでも検出できる場合も多い、これに対して、検出回路28は、物体O2を検出するには、第1の付加情報A1のうち、ユニフォームの色、背番号、顔、肌の色およびその他身体的特徴の全ての情報を駆使して精査する必要がある。検出の具体的な方法としては、形体の類似性から同一性を判断するパターンマッチング方式による映像認識、テクスチャ解析による映像解析、色素情報による近似色の判定技術等の、公知の技術手法を使用することができる。
Note that the target body has a unique appearance in the main video like the
次に、図8を用いて、図5に示したフローチャートのステップS23において、追跡回路29が行う、主映像の中の目標体の追跡を行う追跡方法について詳述する。図8は、放送受信装置の追跡回路が行う目標体の追跡処理の流れを説明するためのフローチャートである。以下、図8のフローチャートに従い説明する。
Next, a tracking method for tracking the target object in the main video performed by the
<ステップS50>
追跡回路29は、前時間の主映像、すなわち前フレーム映像と、現時間の映像すなわち現フレーム映像とを比較し、動きベクトル解析等の公知の差分解析することにより、目標体の追跡処理を行う。追跡処理は、検出処理と比べて処理が簡単であるため、検出処理よりも処理速度が速い。このため、放送受信装置2は、検出処理により検出できた目標体に対しては追跡処理を行う。
<Step S50>
The
<ステップS51>
追跡回路29は、主映像の画面の切り替えがあったかを判定する。画面の切り替えがあった場合(Yes)には、目標体の位置が大きく変化している可能性が高いため、追跡回路29は、ステップS54以降の第2の付加情報A2による解析を行う。これに対して、画面の切り替えがなかった場合(No)には、追跡回路29はステップS52以降の処理を行う。
<Step S51>
The
<ステップS52>
追跡回路29は、主映像の前フレーム映像と、現フレーム映像とを比較し、たとえば、パターンマッチングによる映像認識またはテクスチャ解析等による差分解析をする。なお差分解析に用いるフレーム映像は全フレームについて行うだけでなく、所定のフレーム間隔で差分解析を行ってもよい。
<Step S52>
The
<ステップS53>
追跡回路29は、主映像の前フレーム映像と、現フレーム映像とを比較する差分解析にて目標体の位置を認識できた場合(Yes)には、追跡処理を完了する。この場合には、図5、ステップS24において、「Yes」となり、主映像にマーカ40を表示する。追跡回路29は、主映像の差分解析にて目標体の位置を認識できなかった場合(No)には、ステップS54以降の第2の付加情報A2による解析を行う。
<Step S53>
The
<ステップS54〜S60>
追跡回路29は、第2の付加情報A2を順に参照する。ここで、第2の付加情報A2は、図4に示したように、補助映像撮影手段である3台のTVカメラ17〜19が撮影した3種類の補助映像と、それぞれのTVカメラの位置情報とである。検出回路28は、いずれかのTVカメラの補助映像の差分解析にて目標体の位置を解析する。追跡回路29は、目標体を追跡できた場合(S54;Yes)には、そのTVカメラの位置情報をもとに、主映像での目標体の位置を割り出すことができる。追跡回路29は、目標体を追跡できなかった場合(S54;No)には、ステップS61において、「追跡失敗」と判断し、追跡処理を終了する。この場合には、図5、ステップS24において、「No」となり、主映像のマーカ表示を解除し、検出回路28が検出処理を開始する。
<Steps S54 to S60>
The
以上の説明のように、放送送受信システム等は、視聴者は自ら選択した目標体を表示画面25A上で、マーカ40により容易に認識できる
<第2の実施の形態>
以下、図9から図11を参照して本発明の第2の実施の形態の、放送送信装置1Bおよび放送受信装置2Bを有する放送送受信システム3Bについて説明する。放送送信装置1Bおよび放送受信装置2Bを有する放送送受信システム3Bは、放送送信装置1および放送受信装置2を有する放送送受信システム3と類似しているため、同じ構成要素には同じ符号を付し説明は省略する。
As described above, in the broadcast transmission / reception system or the like, the viewer can easily recognize the target selected by the viewer on the
A broadcast transmission / reception system 3B having a broadcast transmission device 1B and a broadcast reception device 2B according to the second embodiment of the present invention will be described below with reference to FIGS. Since the broadcast transmission / reception system 3B having the broadcast transmission device 1B and the broadcast reception device 2B is similar to the broadcast transmission /
図9は、本実施の形態の放送送信装置および放送受信装置を有する放送送受信システムの概略構成図であり、図10は、本実施の形態の放送受信装置の検出回路が行う目標体の検出処理の流れを説明するためのフローチャートであり、図11は、本実施の形態の放送受信装置の追跡回路が行う目標体の追跡処理の流れを説明するためのフローチャートである。 FIG. 9 is a schematic configuration diagram of a broadcast transmission / reception system having a broadcast transmission apparatus and a broadcast reception apparatus according to the present embodiment. FIG. 10 is a target detection process performed by the detection circuit of the broadcast reception apparatus according to the present embodiment. FIG. 11 is a flowchart for explaining the flow of the target tracking process performed by the tracking circuit of the broadcast receiving apparatus according to the present embodiment.
図9に示すように、本実施の形態の、放送送信装置1Bは、付加情報として第1の付加情報A1しか付加しない。このため、放送受信装置2Bは、付加情報として第1の付加情報A1のみをもとに、目標体の検出処理および追跡処理を行う。 As shown in FIG. 9, the broadcast transmitting apparatus 1B according to the present embodiment adds only the first additional information A1 as additional information. For this reason, the broadcast receiving apparatus 2B performs target object detection processing and tracking processing based on only the first additional information A1 as additional information.
そして図10に示すように、放送受信装置2Bの検出回路28は、第1の付加情報A1を利用して、目標体が検出できるまで繰り返す。そして、検出回路28は所定の閾値回数のK回以上検出に失敗した場合は、「検出不可」として検出処理を終了する。所定の閾値回数Kは、2回以上であればよく、好ましくは3回程度である。また、図11に示すように、放送受信装置2Bの追跡回路29は、主映像の差分解析のみを行う。
Then, as shown in FIG. 10, the
本実施の形態の放送受信装置2Bの目標体検出能力および目標体追跡能力は、第1の実施の形態の放送受信装置2よりも劣っている。しかし、目標体がボール42のような比較的検出および追跡が容易な物体O1の場合には、放送受信装置2Bは、放送受信装置2と同様の効果を奏することができる。そして、放送送受信システム3B等は構成が放送送受信システム3等よりも単純であり主映像を撮影するTVカメラ以外の映像撮影装置を必要としないため、システム全体のコストが低減できると同時に、補助映像を撮影するTVカメラが設置不可能な場合にも、効果を奏することができる。
The target body detection capability and target body tracking capability of the broadcast receiving apparatus 2B of this embodiment are inferior to those of the
<第3の実施の形態>
以下、図12および図13を用いて、本発明の第3の実施の形態の、放送送信装置1Cおよび放送受信装置2Cを有する放送送受信システム3Cについて説明する。図12は、本実施の形態の放送受信装置のディスプレイの表示画面の一例を説明するための説明図であり、図13は、本実施の形態の放送受信装置2における処理の流れについて説明するためのフローチャートである。放送送信装置1Cおよび放送受信装置2Cを有する放送送受信システム3Cは、放送送受信システム3等と類似しているため、同じ構成要素には同じ符号を付し説明は省略する。なお、放送送受信システム3Cの構成は、図1に示した放送送受信システム3と同じである。
<Third Embodiment>
Hereinafter, a broadcast transmission / reception system 3C having the broadcast transmission device 1C and the broadcast reception device 2C according to the third embodiment of the present invention will be described with reference to FIGS. FIG. 12 is an explanatory diagram for explaining an example of a display screen on the display of the broadcast receiving apparatus according to the present embodiment, and FIG. 13 is a flowchart for explaining a processing flow in the
放送受信装置2においては、主映像の中に目標体がない場合には、マーカ40を表示しなかった。これに対して、放送受信装置2Cでは主映像で目標体が障害物により隠れている場合であっても、補助映像から目標体が検出できた場合には、隠れている目標体の位置をマーカ40Bによる表示する。
In the
すなわち、図12のフローチャートにおいて、ステップS17において、主映像に目標体がなかった場合(No)でも、ステップS25において、補助映像をもとに目標体を検出できた場合には、ステップS18においてマーカ40Bを表示する。 That is, in the flowchart of FIG. 12, even if there is no target object in the main video in Step S17 (No), if the target object can be detected based on the auxiliary video in Step S25, the marker in Step S18. 40B is displayed.
たとえば、図13に示すように放送受信装置2Cでは、主映像撮影手段が撮影した主映像では、目標体であるボール42と選手43Aとが重なり、ボール42が隠れてしまい検出回路28が検出できない場合でも、第2の付加情報A2、すなわち、補助映像撮影手段が撮影した補助映像では、ボール42の位置が検出できる場合もある。この場合に、放送受信装置2Cでは、表示画面25Aには表示されていないボール42の位置をマーカ40Bにより表示する。
For example, as shown in FIG. 13, in the broadcast receiving apparatus 2C, in the main video captured by the main video imaging means, the
放送送受信システム3C等は、放送送受信システム3等が有する効果に加えて、表示画面25Aでは表示されていない目標体の位置をマーカ40Bにより視聴者は認識することができる。
In the broadcast transmission / reception system 3C and the like, in addition to the effects of the broadcast transmission /
なお、放送受信装置2Cは、主映像撮影手段が撮影した主映像から目標体が検出できなかったが、補助映像撮影手段が撮影した補助映像からは目標体が検出できた場合には、主映像撮影手段が撮影した主映像から目標体が検出できた場合のマーカ40とは、異なるマーカ、たとえば、点滅状態のマーカ40Bを表示することが好ましい。異なるマーカを用いることで、視聴者がマーカの種類により目標体が表示画面25Aに表示されているか否かを、認識することができる。
Note that the broadcast receiving apparatus 2C cannot detect the target object from the main video captured by the main video image capturing unit, but can detect the target image from the auxiliary video image captured by the auxiliary video image capturing unit. It is preferable to display a marker different from the
以上の説明のように、本実施の形態の放送受信装置2Cは、主映像を撮影し主映像信号を出力する主映像撮影手段と、補助映像を撮影し補助映像信号を出力する補助映像撮影手段と、物体を特定する外観情報を処理し、第1の付加情報を生成する第1の付加情報処理手段と、前記補助映像信号と前記補助映像撮影手段の位置情報とを処理し、第2の付加情報を生成する第2の付加情報処理手段と、前記第1の付加情報処理手段および前記第2の付加情報処理手段により処理された前記外観情報および前記補助映像信号および前記補助映像撮影手段の位置情報を付加情報として、前記主映像信号に付加する合成手段と、前記主映像信号に前記付加情報が付加された放送信号を送信する送信手段とを有することを特徴とする放送送信装置からの放送信号を受信する受信手段と、前記受信手段が受信した前記放送信号から、表示手段に主映像を表示し、かつ前記付加情報を処理する信号処理手段と、前記付加情報により特定可能な一の前記物体を選択可能な選択手段と、前記付加情報を用いて、前記主映像中の、前記選択手段により選択された前記物体を検出する検出手段と、前記表示手段に表示された前記主映像中に、前記検出手段が検出した前記物体の位置を示すマーカを表示するマーカ表示手段とを有し、前記マーカ表示手段は、前記主映像からは検出不可能だが、前記補助映像からは検出可能な前記物体の位置を示す前記マーカを表示する、ことを特徴とする放送受信装置であり、さらには、前記主映像から検出された前記物体用の前記マーカと、前記補助映像からのみ検出可能な前記物体用の前記マーカとが異なることを特徴とする放送受信装置である。 As described above, the broadcast receiving apparatus 2C according to the present embodiment includes a main video photographing unit that photographs a main video and outputs a main video signal, and an auxiliary video photographing unit that captures an auxiliary video and outputs an auxiliary video signal. A first additional information processing means for processing appearance information for identifying an object and generating first additional information; a process for processing the auxiliary video signal and the position information of the auxiliary video photographing means; A second additional information processing means for generating additional information; the appearance information processed by the first additional information processing means and the second additional information processing means; the auxiliary video signal; and the auxiliary video photographing means. From a broadcast transmitting apparatus, comprising: combining means for adding position information as additional information to the main video signal; and transmitting means for transmitting a broadcast signal in which the additional information is added to the main video signal. Release A receiving means for receiving a signal; a signal processing means for displaying a main video on a display means and processing the additional information from the broadcast signal received by the receiving means; In the main image displayed on the display means, a selection means capable of selecting an object, a detection means for detecting the object selected by the selection means in the main video using the additional information. Marker display means for displaying a marker indicating the position of the object detected by the detection means, and the marker display means cannot be detected from the main video but can be detected from the auxiliary video. A broadcast receiving apparatus that displays the marker indicating the position of an object, and can be detected only from the marker for the object detected from the main video and the auxiliary video And the marker for the object is a broadcast receiving apparatus according to claim different.
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。 The present invention is not limited to the above-described embodiments, and various changes and modifications can be made without departing from the scope of the present invention.
1、1B、1C…放送送信装置、2、2B、2C…放送受信装置、3、3B、3C…放送送受信システム、5…競技フィールド、12…TVカメラA、13…合成回路、14…送信回路、15…第1の付加情報処理回路、16…第2の付加情報処理回路、17…TVカメラB、18…TVカメラC、19…TVカメラD、21…受信回路、22…復号回路、23…信号処理回路、24…スピーカー、25…ディスプレイ、25A…表示画面、26…一覧表示回路、27…目標体選択装置、27A…カーソル、28…検出回路、29…追跡回路、30…記憶装置、31…表示制御回路、32…マーカ表示回路、40…マーカ、42…ボール、43…選手、49…主映像表示領域、50…ボール選択領域、51…選手選択領域、A1…第1の付加情報、A2…第2の付加情報、N…閾値回数、O1…物体、O2…物体、S1…主映像信号
DESCRIPTION OF
Claims (5)
物体を特定する外観情報を処理する付加情報処理手段と、
前記付加情報処理手段により処理された前記外観情報を付加情報として、前記主映像信号に付加する合成手段と、
前記主映像信号に前記付加情報が付加された放送信号を送信する送信手段とを有することを特徴とする放送送信装置。 Main video shooting means for shooting the main video and outputting the main video signal;
Additional information processing means for processing appearance information for identifying an object;
Synthesizing means for adding the appearance information processed by the additional information processing means as additional information to the main video signal;
A broadcast transmission apparatus comprising: a transmission unit configured to transmit a broadcast signal in which the additional information is added to the main video signal.
補助映像を撮影し補助映像信号を出力する補助映像撮影手段と、
物体を特定する外観情報を処理し、第1の付加情報を生成する第1の付加情報処理手段と、
前記補助映像信号と前記補助映像撮影手段の位置情報とを処理し、第2の付加情報を生成する第2の付加情報処理手段と、
前記第1の付加情報処理手段および前記第2の付加情報処理手段により処理された前記外観情報および前記補助映像信号および前記補助映像撮影手段の位置情報を付加情報として、前記主映像信号に付加する合成手段と、
前記主映像信号に前記付加情報が付加された放送信号を送信する送信手段とを有することを特徴とする放送送信装置。 Main video shooting means for shooting the main video and outputting the main video signal;
Auxiliary video shooting means for shooting auxiliary video and outputting auxiliary video signals;
First additional information processing means for processing appearance information for identifying an object and generating first additional information;
A second additional information processing means for processing the auxiliary video signal and the position information of the auxiliary video photographing means to generate second additional information;
The appearance information processed by the first additional information processing means and the second additional information processing means, the auxiliary video signal, and the position information of the auxiliary video photographing means are added as additional information to the main video signal. Combining means;
A broadcast transmission apparatus comprising: a transmission unit configured to transmit a broadcast signal in which the additional information is added to the main video signal.
前記受信手段が受信した前記放送信号から、表示手段に主映像を表示し、かつ前記付加情報を処理する信号処理手段と、
前記付加情報により特定可能な一の前記物体を選択可能な選択手段と、
前記付加情報を用いて、前記主映像中の、前記選択手段により選択された前記物体を検出する検出手段と、
前記表示手段に表示された前記主映像中に、前記検出手段が検出した前記物体の位置を示すマーカを表示するマーカ表示手段とを有することを特徴とする放送受信装置。 Main video photographing means for photographing a main video and outputting a main video signal, additional information processing means for processing appearance information for specifying an object, and the appearance information processed by the additional information processing means as additional information, Receiving means for receiving a broadcast signal from a broadcast transmitting apparatus, comprising: combining means for adding to the main video signal; and transmitting means for transmitting the broadcast signal with the additional information added to the main video signal;
Signal processing means for displaying a main video on a display means and processing the additional information from the broadcast signal received by the receiving means;
A selection means capable of selecting one of the objects that can be specified by the additional information;
Detecting means for detecting the object selected by the selecting means in the main video using the additional information;
A broadcast receiving apparatus comprising: marker display means for displaying a marker indicating the position of the object detected by the detection means in the main video displayed on the display means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008192564A JP2010034699A (en) | 2008-07-25 | 2008-07-25 | Broadcast transmitter, broadcast receiver, and broadcast transmission and reception system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008192564A JP2010034699A (en) | 2008-07-25 | 2008-07-25 | Broadcast transmitter, broadcast receiver, and broadcast transmission and reception system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010034699A true JP2010034699A (en) | 2010-02-12 |
Family
ID=41738715
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008192564A Pending JP2010034699A (en) | 2008-07-25 | 2008-07-25 | Broadcast transmitter, broadcast receiver, and broadcast transmission and reception system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010034699A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9338429B2 (en) | 2009-12-21 | 2016-05-10 | Canon Kabushiki Kaisha | Video processing apparatus capable of reproducing video content including a plurality of videos and control method therefor |
JP2016123069A (en) * | 2014-12-25 | 2016-07-07 | パナソニックIpマネジメント株式会社 | Video distribution method, video reception method, server and terminal apparatus |
WO2020095648A1 (en) * | 2018-11-07 | 2020-05-14 | キヤノン株式会社 | Image processing device, image processing method, computer program, and storage medium |
-
2008
- 2008-07-25 JP JP2008192564A patent/JP2010034699A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9338429B2 (en) | 2009-12-21 | 2016-05-10 | Canon Kabushiki Kaisha | Video processing apparatus capable of reproducing video content including a plurality of videos and control method therefor |
JP2016123069A (en) * | 2014-12-25 | 2016-07-07 | パナソニックIpマネジメント株式会社 | Video distribution method, video reception method, server and terminal apparatus |
WO2020095648A1 (en) * | 2018-11-07 | 2020-05-14 | キヤノン株式会社 | Image processing device, image processing method, computer program, and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6715441B2 (en) | Augmented reality display system, terminal device and augmented reality display method | |
JP7123523B2 (en) | Method and system for automatically producing television programs | |
US8249305B2 (en) | Information processing apparatus, information processing method, program, and recording medium | |
US10515471B2 (en) | Apparatus and method for generating best-view image centered on object of interest in multiple camera images | |
CN107005654A (en) | System and method for the sportsman in optical tracking athletic ground | |
KR20170107424A (en) | Interactive binocular video display | |
JP6720587B2 (en) | Video processing device, video processing method, and video processing program | |
US20160073013A1 (en) | Handheld multi vantage point player | |
JP2008005208A (en) | Camera automatic control system for athletics, camera automatic control method, camera automatic control unit, and program | |
JP2020086983A (en) | Image processing device, image processing method, and program | |
JPH11252411A (en) | Tv sound controller | |
US20180176628A1 (en) | Information device and display processing method | |
JP2016127377A (en) | Image processing apparatus and image processing method, image reproducer and image reproducing method and program | |
US20210258505A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2010034699A (en) | Broadcast transmitter, broadcast receiver, and broadcast transmission and reception system | |
JP2008244922A (en) | Video generating method and video generating apparatus | |
JP2024001268A (en) | Control apparatus | |
JP2012151688A (en) | Video reproduction device and method of controlling the same, program, and storage medium | |
US20090073322A1 (en) | Digital broadcast receiver | |
JP7235098B2 (en) | Information distribution device, information distribution method, information distribution program | |
KR101865161B1 (en) | Video recording method and apparatus for controlling the same | |
JP2006174124A (en) | Video distributing and reproducing system, video distribution device, and video reproduction device | |
JP2009165035A (en) | Display control device, method, program, and recording medium | |
WO2020095647A1 (en) | Image processing device, image processing server, image processing method, computer program, and storage medium | |
JP7282519B2 (en) | Image processing device or image processing server |