JP2010034699A - Broadcast transmitter, broadcast receiver, and broadcast transmission and reception system - Google Patents

Broadcast transmitter, broadcast receiver, and broadcast transmission and reception system Download PDF

Info

Publication number
JP2010034699A
JP2010034699A JP2008192564A JP2008192564A JP2010034699A JP 2010034699 A JP2010034699 A JP 2010034699A JP 2008192564 A JP2008192564 A JP 2008192564A JP 2008192564 A JP2008192564 A JP 2008192564A JP 2010034699 A JP2010034699 A JP 2010034699A
Authority
JP
Japan
Prior art keywords
broadcast
additional information
main video
signal
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008192564A
Other languages
Japanese (ja)
Inventor
Yuki Kamata
裕基 鎌田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2008192564A priority Critical patent/JP2010034699A/en
Publication of JP2010034699A publication Critical patent/JP2010034699A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a broadcast transmission and reception system 3 for allowing a viewer to easily recognize a target object being displayed on a display screen 25A of a display 25. <P>SOLUTION: The broadcast transmission and reception system 3 comprises the broadcast transmitter 1 and the broadcast receiver 2. The broadcast transmitter 1 transmits a broadcast signal including a main image signal with first additional information A1 and second additional information A2 added thereto, the first additional information A1 being appearance information for specifying a target object, and the second additional information A2 comprising auxiliary video images captured by TV cameras 17-19. The broadcast receiver 2 comprises: a target object selecting device 27 for allowing the viewer to select one target object which can be specified from the additional information, a detection circuit 28 for detecting the target object within the main video image, and a marker display circuit 32 for displaying a marker 40 showing the position of the target object in order to facilitate recognition of the target object on the display screen 25A on which the main video image including the target object is displayed. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、放送送信装置および放送受信装置および放送送受信システムに関し、特に、主映像中の特定の物体が、放送受信装置の表示画面上で認識が容易な放送送信装置および放送受信装置および放送送受信システムに関する。   The present invention relates to a broadcast transmission device, a broadcast reception device, and a broadcast transmission / reception system, and in particular, a broadcast transmission device, a broadcast reception device, and a broadcast transmission / reception in which a specific object in a main video is easily recognized on a display screen of the broadcast reception device. About the system.

放送受信装置、たとえば、テレビジョン受信機、の表示画面において、視聴者が画面内で絶えず動き続ける物体の位置を把握するのは容易ではないことがあった。たとえば、サッカー試合の放送映像では、視聴者は、選手がボールと重なる映像が表示されることにより、ボールの位置を見失うことがある。または、視聴者は、表示画面から目を離すことにより次の瞬間のボールの位置を見失うこともある。特に、サッカー試合の放送映像では、広い競技場を広範囲に表示するために、表示画面ではボールは相対的に小さく表示される。このため、移動し続ける小さなボールを、表示画面上で追跡することは、視聴者にとって容易ではなく、疲労の原因となることもあった。   In the display screen of a broadcast receiving apparatus, for example, a television receiver, it may not be easy for the viewer to grasp the position of an object that constantly moves within the screen. For example, in a broadcast video of a soccer game, a viewer may lose sight of the position of the ball by displaying an image in which a player overlaps the ball. Alternatively, the viewer may lose sight of the ball position at the next moment by keeping an eye on the display screen. In particular, in a broadcast video of a soccer game, the ball is displayed relatively small on the display screen in order to display a wide stadium over a wide range. For this reason, it is not easy for the viewer to track a small ball that continues to move on the display screen, which may cause fatigue.

なお、録画放送においては、放送局における処理により、特定の物体に対して、視聴者の認識を補助するために、マーカを付加して表示する等の映像効果を付加することは行われている。しかし、生放送では特定の物体に対して、映像効果を付加することは容易ではなく、かつ、それぞれの視聴者が注目したい、それぞれ異なる物体に映像効果を付加することはできなかった。   Note that in the recorded broadcast, video effects such as adding a marker to a specific object and displaying it are performed on a specific object in order to assist the viewer's recognition. . However, in live broadcasting, it is not easy to add a video effect to a specific object, and it has not been possible to add a video effect to different objects that each viewer wants to pay attention to.

なお、特開2005−130462号公報には、複数のカメラで異なる位置から撮影された複数の映像チャンネルのうちの一つを、視聴者が見たい被写体にあわせて次々と選択して表示する表示装置が開示されている。また、特開2003−153250号公報には、全方位映像の中から、視聴者が選択した被写体の映像を含む画角の映像を画面表示する自動追尾表示方法等が開示されている。
特開2005−130462号公報 特開2003−153250号公報
Japanese Patent Laid-Open No. 2005-130462 discloses a display in which one of a plurality of video channels photographed from different positions by a plurality of cameras is selected and displayed one after another according to the subject that the viewer wants to see. An apparatus is disclosed. Japanese Patent Application Laid-Open No. 2003-153250 discloses an automatic tracking display method for displaying a video of an angle of view including a video of a subject selected by a viewer from omnidirectional video.
JP 2005-130462 A JP 2003-153250 A

本発明は、視聴者が表示画面上に表示されている特定の物体を容易に認識できる放送送信装置および放送受信装置および放送送受信システムを提供することを目的とする。   An object of the present invention is to provide a broadcast transmission device, a broadcast reception device, and a broadcast transmission / reception system in which a viewer can easily recognize a specific object displayed on a display screen.

本願発明の一態様によれば、主映像を撮影し主映像信号を出力する主映像撮影手段と、物体を特定する外観情報を処理する付加情報処理手段と、付加情報処理手段により処理された外観情報を付加情報として、主映像信号に付加する合成手段と、主映像信号に付加情報が付加された放送信号を送信する送信手段とを有することを特徴とする放送送信装置が提供される。   According to one aspect of the present invention, a main video photographing means for photographing a main video and outputting a main video signal, an additional information processing means for processing appearance information for specifying an object, and an appearance processed by the additional information processing means There is provided a broadcast transmission apparatus characterized by comprising combining means for adding information as additional information to a main video signal and transmission means for transmitting a broadcast signal in which additional information is added to the main video signal.

また、本願発明の別の一態様によれば、主映像を撮影し主映像信号を出力する主映像撮影手段と、物体を特定する外観情報を処理する付加情報処理手段と、付加情報処理手段により処理された外観情報を付加情報として、主映像信号に付加する合成手段と、主映像信号に付加情報が付加された放送信号を送信する送信手段とを有することを特徴とする放送送信装置からの放送信号を受信する受信手段と、受信手段が受信した放送信号から、表示手段に主映像を表示し、かつ付加情報を処理する信号処理手段と、付加情報により特定可能な一の物体を選択可能な選択手段と、付加情報を用いて、主映像中の、選択手段により選択された物体を検出する検出手段と、表示手段に表示された主映像中に、検出手段が検出した物体の位置を示すマーカを表示するマーカ表示手段とを有することを特徴とする放送受信装置が提供される。   According to another aspect of the present invention, there is provided a main video photographing means for photographing a main video and outputting a main video signal, an additional information processing means for processing appearance information for specifying an object, and the additional information processing means. From a broadcast transmitting apparatus, comprising: a combining means for adding the processed appearance information as additional information to the main video signal; and a transmission means for transmitting a broadcast signal in which the additional information is added to the main video signal. A receiving means for receiving a broadcast signal, a signal processing means for displaying the main video on the display means and processing the additional information, and one object that can be specified by the additional information can be selected from the broadcast signal received by the receiving means. The position of the object detected by the detection means in the main video displayed on the display means and the detection means for detecting the object selected by the selection means in the main video using the additional selection means. Marker to indicate Broadcast receiving apparatus is provided, characterized in that it comprises a marker display means for displaying.

本発明によれば、視聴者が表示画面に表示されている特定の物体を容易に認識できる放送送信装置および放送受信装置および放送送受信システムを提供することができる。   According to the present invention, it is possible to provide a broadcast transmission device, a broadcast reception device, and a broadcast transmission / reception system in which a viewer can easily recognize a specific object displayed on a display screen.

<第1の実施の形態>
以下、図面を参照して本発明の第1の実施の形態の、放送送信装置1および放送受信装置2を有する放送送受信システム3について説明する。図1は、本実施の形態の放送送信装置および放送受信装置を有する放送送受信システムの概略構成図である。
<First Embodiment>
Hereinafter, a broadcast transmission / reception system 3 having a broadcast transmission apparatus 1 and a broadcast reception apparatus 2 according to a first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a schematic configuration diagram of a broadcast transmission / reception system having a broadcast transmission apparatus and a broadcast reception apparatus according to the present embodiment.

図1に示すように、本実施の形態の、放送送受信システム3は放送送信装置1と放送受信装置2とを有する。なお、以下、放送送受信システム、放送送信装置、または放送受信装置を「放送送受信システム等」ともいう。そして、放送送信装置1では、主映像を撮影する主映像撮影手段であるTVカメラA(12)が主映像信号S1を出力する。そして、放送送信装置1では、主映像信号S1に、第1の付加情報A1および第2の付加情報A2を付加した合成信号を合成手段である合成回路13により合成して、送信手段である送信回路14により放送信号として送信する。もちろん、放送信号には、主映像信号S1に、第1の付加情報A1および、A2だけでなく、音声信号や各種の制御信号が付加されている。なお、送信方法はデジタルTV放送の無線による送信方法でもよいし、ケーブルTV回線またはインターネット回線等の有線による送信方法でもよい。   As shown in FIG. 1, the broadcast transmission / reception system 3 of this embodiment includes a broadcast transmission device 1 and a broadcast reception device 2. Hereinafter, a broadcast transmission / reception system, a broadcast transmission device, or a broadcast reception device is also referred to as a “broadcast transmission / reception system”. In the broadcast transmitting apparatus 1, the TV camera A (12), which is a main video shooting unit for shooting the main video, outputs the main video signal S1. In the broadcast transmitting apparatus 1, a synthesized signal obtained by adding the first additional information A1 and the second additional information A2 to the main video signal S1 is synthesized by the synthesizing circuit 13 which is a synthesizing means, and is transmitted as the transmitting means. The signal is transmitted as a broadcast signal by the circuit 14. Of course, in the broadcast signal, not only the first additional information A1 and A2 but also an audio signal and various control signals are added to the main video signal S1. The transmission method may be a digital TV broadcast wireless transmission method or a wired transmission method such as a cable TV line or an Internet line.

ここで、第1の付加情報A1および第2の付加情報A2は、放送を視聴する視聴者が放送受信装置2のディスプレイ25の表示画面25Aに表示されている特定の目標物体(以下、「目標体」という。)を容易に認識できるように処理するための付加情報である。すなわち、放送送受信システム3においては、目標体は、放送送信装置1、言い換えれば放送局により予め決定されている。そして、放送送信装置1は、定められた目標体に関する付加情報を、主映像信号S1に付加して放送信号として送信する。   Here, the first additional information A1 and the second additional information A2 are the specific target object (hereinafter referred to as “target”) displayed on the display screen 25A of the display 25 of the broadcast receiver 2 by the viewer who views the broadcast. It is additional information for processing so that it can be easily recognized. That is, in the broadcast transmission / reception system 3, the target body is determined in advance by the broadcast transmission device 1, in other words, the broadcast station. Then, the broadcast transmission device 1 adds additional information related to the determined target object to the main video signal S1 and transmits it as a broadcast signal.

ここで、第1の付加情報A1は、第1の付加情報処理手段である付加情報1処理回路15により処理される、目標体を特定する目標体の外観の特徴情報、すなわち、映像から目標体を特定できる情報である。一方、第2の付加情報A2は、第2の付加情報処理手段である付加情報2処理回路16により処理される、補助映像撮影手段、たとえば、3台のTVカメラ、すなわちTVカメラB(17)、TVカメラC(18)およびTVカメラD(19)、が撮影した3種類の補助映像と、それぞれのTVカメラの位置情報とである。放送送受信システム3においては、補助映像撮影手段は少なくとも1台必要である。補助映像撮影手段の台数が多いほど放送受信装置2が目標体を特定可能な場合が多くなるが、放送送受信システム3が複雑となるため、放送内容および目標体に応じて、放送局が適宜選択する。   Here, the first additional information A1 is processed by the additional information 1 processing circuit 15 which is the first additional information processing means, and the feature information of the appearance of the target body for specifying the target body, that is, the target body from the video. It is information that can specify. On the other hand, the second additional information A2 is processed by the additional information 2 processing circuit 16 which is the second additional information processing means, and auxiliary video photographing means, for example, three TV cameras, that is, TV camera B (17). , TV camera C (18) and TV camera D (19) are three types of auxiliary video and position information of each TV camera. In the broadcast transmission / reception system 3, at least one auxiliary video photographing means is required. The larger the number of auxiliary video photographing means, the more often the broadcast receiver 2 can identify the target, but the broadcast transmission / reception system 3 becomes complicated, so the broadcast station appropriately selects according to the broadcast content and target To do.

そして、放送受信装置2は、放送送信装置1からの、放送信号を受信する受信手段である受信回路21と、受信した信号を復号処理する復号回路22と、復号信号を処理し、映像をディスプレイ25に表示し、音声をスピーカー24から出力する信号処理回路23とを有する。なお、信号処理回路23は、受信した信号に付加されている付加情報も処理する信号処理手段である。   Then, the broadcast receiving device 2 receives the broadcast signal from the broadcast transmitting device 1 as a reception means 21, a decoding circuit 22 that decodes the received signal, and processes the decoded signal to display the video. 25, and a signal processing circuit 23 that outputs sound from the speaker 24. The signal processing circuit 23 is signal processing means for processing additional information added to the received signal.

そして、放送受信装置2は、付加情報である、第1の付加情報A1および第2の付加情報A2、を用いて、視聴者がディスプレイ25に表示されている目標体を容易に認識できるようにする認識処理のための、一覧表示回路26と、目標体選択装置27と、表示制御回路31と、マーカ表示回路32と、検出回路28と、追跡回路29と、記憶装置30とを有する。   Then, the broadcast receiving apparatus 2 uses the first additional information A1 and the second additional information A2, which are additional information, so that the viewer can easily recognize the target object displayed on the display 25. For the recognition processing to be performed, it includes a list display circuit 26, a target object selection device 27, a display control circuit 31, a marker display circuit 32, a detection circuit 28, a tracking circuit 29, and a storage device 30.

選択手段である目標体選択装置27は、一覧表示手段である一覧表示回路26によりディスプレイ25に表示されている目標体の一覧の中から、視聴者が目標体を選択可能な装置であり、たとえば、リモコンまたはマウス等を用いることができる。   The target object selection device 27 as selection means is an apparatus that allows the viewer to select a target object from a list of target objects displayed on the display 25 by the list display circuit 26 as list display means. A remote control or a mouse can be used.

検出回路28は、第1の付加情報A1および第2の付加情報A2を用いて、主映像中の目標体を検出する検出手段である。追跡回路29は、過去の映像、すなわち過去のフレーム映像が記憶されている記憶装置30の情報等をもとに、差分解析等により、検出された目標体を連続して追跡する追跡手段である。マーカ表示回路32は、視聴者がディスプレイ25の表示画面25A上での検出した目標体の認識を容易化するため、目標体の位置を示すマーカ40(図2参照)を表示するマーカ表示手段であり、表示制御回路31は、一覧表示回路26またはマーカ表示回路32等からの信号を処理して、主映像信号と重畳表示する。   The detection circuit 28 is detection means for detecting a target body in the main video using the first additional information A1 and the second additional information A2. The tracking circuit 29 is tracking means for continuously tracking a detected target object by differential analysis or the like based on information of the storage device 30 in which past images, that is, past frame images are stored. . The marker display circuit 32 is marker display means for displaying a marker 40 (see FIG. 2) indicating the position of the target body in order to facilitate recognition of the target body detected by the viewer on the display screen 25A of the display 25. Yes, the display control circuit 31 processes signals from the list display circuit 26, the marker display circuit 32, etc., and superimposes them on the main video signal.

本実施の形態の放送送受信システム3、放送送信装置1および放送受信装置2は、表示画面25A上の指定された目標体にマーカ40を付し追跡する。これにより、視聴者は選択した着目した目標体の位置を明確に把握することが可能、すなわち、視聴者が表示画面に表示されている特定の物体を容易に認識できる。   The broadcast transmission / reception system 3, the broadcast transmission device 1, and the broadcast reception device 2 of the present embodiment attach and track the marker 40 to the specified target body on the display screen 25A. Thus, the viewer can clearly grasp the position of the selected target object, that is, the viewer can easily recognize a specific object displayed on the display screen.

次に図面を参照して、本発明の第1の実施の形態の放送送受信システム3について、サッカー試合の中継放送を例に、より詳細に説明する。図2は本実施の形態の放送受信装置のディスプレイの表示画面の一例を説明するための説明図であり、図3は本実施の形態の放送送受信システムの第1の付加情報を説明するための説明図であり、図4は本実施の形態の放送送受信システムの第2の付加情報を説明するための説明図である。   Next, with reference to the drawings, the broadcast transmission / reception system 3 according to the first embodiment of the present invention will be described in more detail using a soccer game relay broadcast as an example. FIG. 2 is an explanatory diagram for explaining an example of the display screen of the display of the broadcast receiving apparatus of this embodiment, and FIG. 3 is a diagram for explaining the first additional information of the broadcast transmission / reception system of this embodiment. FIG. 4 is an explanatory diagram, and FIG. 4 is an explanatory diagram for explaining second additional information of the broadcast transmission / reception system of the present embodiment.

図2は、視聴者が目標体として、サッカーボール(以下、「ボール」という。)42を選択した場合の、ディスプレイ25の表示画面25Aの一例を示している。表示画面25A中のボール42には、矢印のマーカ40が表示されているため、視聴者は、競技フィールド(ピッチ)41の広い範囲が表示されている表示画面25Aの中で、選手43A〜43Gにより、移動する小さなボール42であっても、ボール42を容易に認識できる。   FIG. 2 shows an example of a display screen 25A of the display 25 when the viewer selects a soccer ball (hereinafter referred to as “ball”) 42 as the target body. Since the arrow marker 40 is displayed on the ball 42 in the display screen 25 </ b> A, the viewer can select the players 43 </ b> A to 43 </ b> G in the display screen 25 </ b> A in which a wide range of the competition field (pitch) 41 is displayed. Thus, even the small ball 42 that moves can be easily recognized.

なお、図2では、マーカとして矢印のマーカ40を例示したが、マーカとしてボール42を全体に取り囲む円形にしたり、ボール42を特定の色で表示したりしてもよい。なお、マーカ40は表示画面25Aの中でより容易に認識できるように、視聴者が、色を選択可能としたり、点滅表示したりしてもよい。   In FIG. 2, the arrow marker 40 is exemplified as the marker. However, the marker may be a circle that surrounds the entire ball 42, or the ball 42 may be displayed in a specific color. It should be noted that the marker 40 may be selectable or blinked by the viewer so that the marker 40 can be easily recognized in the display screen 25A.

次に、付加情報について説明する。本実施の形態の放送送受信システム3においては、付加情報として、第1の付加情報A1と、第2の付加情報A2とを用いる。第1の付加情報A1は、目標体を特定する目標体の外観の特徴情報、すなわち、映像から目標体を特定できる情報である。   Next, additional information will be described. In the broadcast transmission / reception system 3 according to the present embodiment, first additional information A1 and second additional information A2 are used as additional information. The first additional information A1 is characteristic information of the appearance of the target body that identifies the target body, that is, information that can identify the target body from the video.

すなわち、図3に例示するように、第1の付加情報A1は、目標体が試合で使用されるボール42の場合には、ボール42の写真と、大きさと、模様と、色彩等とからなる情報であり、目標体が選手43の場合には、その選手43の写真と、身長、体型、肌の色等の身体データ情報と、ユニフォームの色および模様と、背番号等とからなる情報である。第1の付加情報A1として、どのような情報を用いるかは、放送番組により異なり、放送送信装置1を用いる放送局が選択し管理する。また、どの物体を目標体として選択するかも、放送局が選択し、放送局は選択した目標体についての第1の付加情報A1を放送開始前に収集しておく。   That is, as illustrated in FIG. 3, the first additional information A1 includes a photograph, a size, a pattern, a color, and the like of the ball 42 when the target body is a ball 42 used in a game. Information, when the target body is a player 43, it is information consisting of a photograph of the player 43, body data information such as height, body type, skin color, etc., uniform color and pattern, and a spine number. is there. What information is used as the first additional information A1 differs depending on the broadcast program, and is selected and managed by the broadcast station using the broadcast transmitting apparatus 1. Also, the broadcast station selects which object is selected as the target object, and the broadcast station collects the first additional information A1 about the selected target object before the start of broadcasting.

次に、図4を用いて、第2の付加情報A2について説明する。第2の付加情報A2は、映像撮影装置が撮影した視点からの補助映像と、映像撮影装置の位置情報とである。図4では、第2の付加情報A2は、図4(A)に示すように競技フィールド5のゴール裏に配置したTVカメラB(17)と、センターライン横に配置したTVカメラC(18)と、および、センターマーカ真上に配置したTVカメラD(19)とからなる3台の映像撮影装置が撮影した3種類の補助映像である図4(B)、図4(C)図4(D)と、それぞれのTVカメラ17〜19の位置情報とである。位置情報は、たとえば、センターマーカを原点とする座標値で表示される。   Next, the second additional information A2 will be described with reference to FIG. The second additional information A2 is an auxiliary video from the viewpoint captured by the video imaging device and position information of the video imaging device. In FIG. 4, the second additional information A2 includes the TV camera B (17) arranged behind the goal of the competition field 5 and the TV camera C (18) arranged beside the center line as shown in FIG. 4 (A). 4B, FIG. 4C, and FIG. 4B, which are three types of auxiliary images captured by the three image capturing devices including the TV camera D (19) disposed directly above the center marker. D) and position information of the respective TV cameras 17 to 19. The position information is displayed, for example, as a coordinate value with the center marker as the origin.

なお、図4(A)において、TVカメラA(12)が主映像を撮影する主映像撮影手段であり、主映像の一例が図4(E)である。すなわち、放送送受信システム3は、1台の主映像撮影手段と3台の補助映像撮影手段とを有している。もちろん、主映像を撮影する主映像撮影手段は1台でなく、通常の放送番組のように、数台のTVカメラを切り替えながら用いてもよい。なお、主映像装置の位置情報も第2の付加情報A2に含まれている。   In FIG. 4A, the TV camera A (12) is a main video photographing means for photographing the main video, and an example of the main video is FIG. 4E. In other words, the broadcast transmission / reception system 3 has one main video photographing unit and three auxiliary video photographing units. Of course, the main video photographing means for photographing the main video is not limited to one, and several TV cameras may be used while switching like a normal broadcast program. The position information of the main video device is also included in the second additional information A2.

次に、図5を用いて放送受信装置2における処理の流れについて説明する。図5は、本実施の形態の放送受信装置2における処理の流れについて説明するためのフローチャートである。以下。図5のフローチャートに従い説明する。   Next, the flow of processing in the broadcast receiving apparatus 2 will be described with reference to FIG. FIG. 5 is a flowchart for explaining the flow of processing in the broadcast receiving apparatus 2 of the present embodiment. Less than. This will be described with reference to the flowchart of FIG.

<ステップS10>
放送受信装置2は、放送送信装置1から放送された放送信号を受信回路21によりを受信する。そして、復号回路22は、放送信号を複合し、主映像信号S1と、付加情報とを信号処理回路23に送信する。
<Step S10>
The broadcast receiving device 2 receives the broadcast signal broadcast from the broadcast transmitting device 1 by the receiving circuit 21. Then, the decoding circuit 22 combines the broadcast signal and transmits the main video signal S1 and the additional information to the signal processing circuit 23.

<ステップS11>
表示制御回路31は、一覧表示回路26が生成した、付加情報により特定可能な目標体の一覧を、ディスプレイ25に表示する。
<Step S11>
The display control circuit 31 displays a list of target objects that can be specified by the additional information generated by the list display circuit 26 on the display 25.

ここで、図6は、本実施の形態の放送受信装置における目標体の一覧表示画面の一例である。図6では、表示画面25Aに、主映像表示領域49と、選択可能な目標体として、ボール選択領域50と、選手選択領域51とが表示されている状態を示している。視聴者は、目標体の一覧表示画面に表示されている複数の目標体の中から、注目して視聴したい一の目標体を目標体選択装置27の入力装置であるリモコンにより選択する。   Here, FIG. 6 is an example of the target list display screen in the broadcast receiving apparatus of the present embodiment. FIG. 6 shows a state in which a main video display area 49 and a ball selection area 50 and a player selection area 51 are displayed as selectable target bodies on the display screen 25A. The viewer selects one target object that he / she wants to watch from among a plurality of target objects displayed on the target object list display screen by using a remote controller as an input device of the target object selecting device 27.

たとえば、図6においては、チームAのNo.6の選手が、カーソル27Aにより、強調表示されている状態を示しており、この状態で視聴者により、リモコンの選択ボタンが押圧されると、目標体としてチームAのNo.6の選手が選択される。カーソル27Aは、リモコンの上下左右移動ボタン等で移動可能であり、視聴者は視聴したい目標体を確実に、そして、簡単な操作で選択することができる。なお、選択された目標体が、どの物体であるかの情報は、記憶装置30等に保持される。   For example, in FIG. 6 shows a state in which the player 27 is highlighted by the cursor 27A. When the viewer presses the selection button on the remote controller in this state, the No. of Team A is set as the target body. Six players are selected. The cursor 27A can be moved with the up / down / left / right movement buttons or the like of the remote controller, and the viewer can select the target object he / she wishes to view reliably and with a simple operation. Information about which object the selected target body is is stored in the storage device 30 or the like.

なお、目標体の選択方法は、上記説明のように目標体の一覧表示画面による方法ではなく、主映像中に表示されている選択可能な目標体の近傍に表示されている、それぞれの目標体用の選択マーカ等を、視聴者がリモコン等で選択する方法でもよい。   The target object selection method is not the method using the target object list display screen as described above, but each target object displayed in the vicinity of the selectable target object displayed in the main video. Alternatively, the viewer may select a selection marker or the like using a remote controller or the like.

なお、放送番組によっては、放送送信装置1が予め一の目標体を選択しておき、その選択情報が選択初期値として放送信号に付加されていてもよい。その場合には、視聴者が目標体の選択を行わなくても、目標体選択装置27が自動的に、選択初期値を用いて目標体を特定することもできる。さらには、目標体が1個のみの場合には目標体選択装置27が自動的に、目標体を特定したものとみなすことができる。   Depending on the broadcast program, the broadcast transmission apparatus 1 may select one target in advance, and the selection information may be added to the broadcast signal as a selection initial value. In this case, even if the viewer does not select the target body, the target body selection device 27 can automatically specify the target body using the selection initial value. Furthermore, when there is only one target body, the target body selection device 27 can be regarded as having automatically identified the target body.

<ステップS12>
ステップS11において、目標体が選択されなかった場合(No)には、放送受信装置2は、ステップS13以降の目標体の認識処理を行わない。これに対して、放送受信装置2は、視聴者が一の目標体を選択した場合(Yes)には、ステップS13以降の目標体の認識処理を開始する。
<Step S12>
In step S11, when a target body is not selected (No), the broadcast receiving apparatus 2 does not perform the target body recognition process after step S13. On the other hand, when the viewer selects one target object (Yes), the broadcast receiving apparatus 2 starts the target object recognition process after step S13.

<ステップS13>
信号処理回路23は、選択された目標体に関する付加情報を、一時メモリ(不図示)等から呼び出す。すなわち、全ての目標体に関する付加情報の中から、選択された目標体に関する付加情報を選択して、以降のステップにおいて利用可能な状態とする。
<Step S13>
The signal processing circuit 23 calls additional information related to the selected target body from a temporary memory (not shown) or the like. That is, the additional information related to the selected target object is selected from the additional information related to all target objects, and is made available in the subsequent steps.

<ステップS14、S15>
放送番組がCM(コマーシャル)中の場合は、放送受信装置2は、CMが終了するまで待機する。なお、放送番組がCMか否かの検出について、画面の変化や音声レベルの変動などに注目した公知の手法を用いることができる。
<Steps S14 and S15>
When the broadcast program is in a CM (commercial), the broadcast receiving apparatus 2 stands by until the CM is finished. For detecting whether a broadcast program is a CM, a publicly known method that pays attention to a change in a screen, a change in an audio level, or the like can be used.

<ステップS16>
検出回路28は、第1の付加情報A1および第2の付加情報A2を用いて、主映像の中の目標体の検出を行う。なお、検出方法については、後に詳述する。
<Step S16>
The detection circuit 28 detects the target body in the main video using the first additional information A1 and the second additional information A2. The detection method will be described in detail later.

<ステップS17>
主映像の中に、目標体がない場合(No)には、放送受信装置2はステップS14からの処理により、再検出を行う。
<Step S17>
When there is no target object in the main video (No), the broadcast receiving apparatus 2 performs redetection by the processing from step S14.

<ステップS18>
マーカ表示回路32は、主映像の中に表示するマーカ40の位置および形状等を表示制御回路31に出力し、信号処理回路23は、その情報をもとに目標体の位置を示すマーカ40を主映像に重畳してディスプレイ25に表示する。
<Step S18>
The marker display circuit 32 outputs the position and shape of the marker 40 displayed in the main video to the display control circuit 31, and the signal processing circuit 23 displays the marker 40 indicating the position of the target body based on the information. It is superimposed on the main video and displayed on the display 25.

<ステップS19、S20>
放送受信装置2は、視聴者による、目標体認識処理の終了指示が入力された場合、または、チャンネルの切り替えにより主映像が変更された場合には、処理終了のメッセージをディスプレイ25に表示して、処理を終了する。
<Steps S19 and S20>
The broadcast receiving device 2 displays a message indicating the end of the process on the display 25 when an instruction to end the target object recognition process is input by the viewer or when the main video is changed due to channel switching. The process is terminated.

<ステップS21、S22>
途中で、主映像がCMに切り替わった場合(Yes)には、放送受信装置2は、ディスプレイ25に表示していたマーカ40の表示を解除し、ステップS14からの処理を行う。
<Steps S21 and S22>
In the middle, when the main video is switched to CM (Yes), the broadcast receiving apparatus 2 cancels the display of the marker 40 displayed on the display 25 and performs the processing from step S14.

<ステップS23>
追跡回路29が、目標体を追跡する。なお、目標体の追跡については、後に詳述する。
<Step S23>
A tracking circuit 29 tracks the target body. The tracking of the target will be described in detail later.

<ステップS24>
追跡回路29が、目標体を追跡できた場合(Yes)には、放送受信装置2は、ステップS18からの処理を継続する。追跡回路29が、目標体を追跡できなかった場合(No)には、放送受信装置2は、ステップS22において、ディスプレイ25に表示していたマーカ40の表示を解除し、ステップS14からの処理を行う。
<Step S24>
When the tracking circuit 29 can track the target body (Yes), the broadcast receiving apparatus 2 continues the process from step S18. When the tracking circuit 29 cannot track the target body (No), the broadcast receiving apparatus 2 cancels the display of the marker 40 displayed on the display 25 in step S22, and performs the processing from step S14. Do.

次に、図7を用いて、図5に示したフローチャートのステップS16において、検出回路28が行う、主映像の中の目標体の検出を行う検出方法について詳述する。図7は、本実施の形態の放送受信装置の検出回路が行う目標体の検出処理の流れを説明するためのフローチャートである。以下、図7のフローチャートに従い説明する。   Next, a detection method for detecting a target object in the main video performed by the detection circuit 28 in step S16 of the flowchart shown in FIG. 5 will be described in detail with reference to FIG. FIG. 7 is a flowchart for explaining the flow of target body detection processing performed by the detection circuit of the broadcast receiving apparatus of the present embodiment. Hereinafter, description will be made with reference to the flowchart of FIG.

<ステップS30>
検出回路28は、最初に、主映像の中で第1の付加情報A1を用いて、目標体の検出を行う。
<Step S30>
First, the detection circuit 28 detects the target body using the first additional information A1 in the main video.

<ステップS31>
検出回路28は、視聴者による、目標体認識処理の終了指示が入力された場合、または、チャンネルの切り替えにより主映像が変更された場合には、処理を終了する。
<Step S31>
The detection circuit 28 ends the process when an instruction to end the target object recognition process is input by the viewer or when the main video is changed by switching the channel.

<ステップS32>
検出回路28は、主映像の中に目標体が検出できた場合(Yes)には、検出処理を完了する。検出回路28は、目標体が検出できなかった場合(No)には、ステップS33からの処理で、第2の付加情報A2を参照して目標体の検出を行う。
<Step S32>
The detection circuit 28 completes the detection process when the target body is detected in the main video (Yes). When the target body cannot be detected (No), the detection circuit 28 detects the target body with reference to the second additional information A2 in the processing from step S33.

<ステップS33〜S39>
検出回路28は、第2の付加情報A2を順に参照する。ここで、第2の付加情報A2は、図4に示したように、3台の補助映像撮影手段であるTVカメラB(17)、TVカメラC(18)、TVカメラD(19)が撮影した3種類の補助映像と、それぞれのTVカメラの位置情報とである。検出回路28は、いずれかのTVカメラが撮影した補助映像から、目標体を検出できた場合には、そのTVカメラの位置情報をもとに、主映像での目標体の位置を割り出す。
<Steps S33 to S39>
The detection circuit 28 sequentially refers to the second additional information A2. Here, as shown in FIG. 4, the second additional information A2 is shot by the TV camera B (17), the TV camera C (18), and the TV camera D (19), which are three auxiliary video shooting means. The three types of auxiliary video and the position information of each TV camera. When the target circuit can be detected from the auxiliary image captured by any TV camera, the detection circuit 28 determines the position of the target object in the main image based on the position information of the TV camera.

<ステップS40〜S41>
検出回路28は、所定の閾値回数N回以上(N≧2)、言い換えれば、ある時間から続くN枚以上の主映像フレーム映像から、目標体検出に失敗した場合、ディスプレイ25に「検出中」である旨のメッセージを表示し、再び、ステップS30からの主映像の解析を繰り返す。所定の閾値回数は、2回以上であればよく、好ましくは3回程度である。
<Steps S40 to S41>
The detection circuit 28 is “detecting” on the display 25 when the target object detection fails from a predetermined threshold number of times N or more (N ≧ 2), in other words, from N or more main video frame images continuing from a certain time. Is displayed, and the analysis of the main video from step S30 is repeated again. The predetermined threshold number may be two times or more, and preferably about three times.

なお、目標体としては、ボール42のように主映像中で固有の外観を持つために、比較的、検出が容易な物体O1と、同じ服装をしている複数の選手の中の特定の選手のように検出するには外観を詳細に解析する必要がある物体O2とがある。検出回路28は、物体O1を検出するには、第1の付加情報A1のうち、形状または色のいずれか1つを参照するだけでも検出できる場合も多い、これに対して、検出回路28は、物体O2を検出するには、第1の付加情報A1のうち、ユニフォームの色、背番号、顔、肌の色およびその他身体的特徴の全ての情報を駆使して精査する必要がある。検出の具体的な方法としては、形体の類似性から同一性を判断するパターンマッチング方式による映像認識、テクスチャ解析による映像解析、色素情報による近似色の判定技術等の、公知の技術手法を使用することができる。   Note that the target body has a unique appearance in the main video like the ball 42, so that it is relatively easy to detect the object O1 and a specific player among a plurality of players wearing the same clothes. In order to detect as described above, there is an object O2 whose appearance needs to be analyzed in detail. In many cases, the detection circuit 28 can detect the object O1 by simply referring to any one of the shape and the color in the first additional information A1. In order to detect the object O2, it is necessary to scrutinize all the information on the color of the uniform, the back number, the face, the color of the skin, and other physical characteristics in the first additional information A1. As a specific method of detection, a known technique such as image recognition by a pattern matching method for determining identity from similarity of features, image analysis by texture analysis, and an approximate color determination technique by pigment information is used. be able to.

次に、図8を用いて、図5に示したフローチャートのステップS23において、追跡回路29が行う、主映像の中の目標体の追跡を行う追跡方法について詳述する。図8は、放送受信装置の追跡回路が行う目標体の追跡処理の流れを説明するためのフローチャートである。以下、図8のフローチャートに従い説明する。   Next, a tracking method for tracking the target object in the main video performed by the tracking circuit 29 in step S23 of the flowchart shown in FIG. 5 will be described in detail with reference to FIG. FIG. 8 is a flowchart for explaining the flow of the target tracking process performed by the tracking circuit of the broadcast receiving apparatus. Hereinafter, a description will be given according to the flowchart of FIG.

<ステップS50>
追跡回路29は、前時間の主映像、すなわち前フレーム映像と、現時間の映像すなわち現フレーム映像とを比較し、動きベクトル解析等の公知の差分解析することにより、目標体の追跡処理を行う。追跡処理は、検出処理と比べて処理が簡単であるため、検出処理よりも処理速度が速い。このため、放送受信装置2は、検出処理により検出できた目標体に対しては追跡処理を行う。
<Step S50>
The tracking circuit 29 compares the main video of the previous time, that is, the previous frame video, with the current time of the video, that is, the current frame video, and performs a target object tracking process by performing known difference analysis such as motion vector analysis. . Since the tracking process is simpler than the detection process, the processing speed is faster than the detection process. For this reason, the broadcast receiving apparatus 2 performs a tracking process on the target object that can be detected by the detection process.

<ステップS51>
追跡回路29は、主映像の画面の切り替えがあったかを判定する。画面の切り替えがあった場合(Yes)には、目標体の位置が大きく変化している可能性が高いため、追跡回路29は、ステップS54以降の第2の付加情報A2による解析を行う。これに対して、画面の切り替えがなかった場合(No)には、追跡回路29はステップS52以降の処理を行う。
<Step S51>
The tracking circuit 29 determines whether the main video screen has been switched. When the screen is switched (Yes), the tracking circuit 29 performs analysis based on the second additional information A2 after step S54 because there is a high possibility that the position of the target body has changed significantly. On the other hand, when the screen is not switched (No), the tracking circuit 29 performs the processing from step S52.

<ステップS52>
追跡回路29は、主映像の前フレーム映像と、現フレーム映像とを比較し、たとえば、パターンマッチングによる映像認識またはテクスチャ解析等による差分解析をする。なお差分解析に用いるフレーム映像は全フレームについて行うだけでなく、所定のフレーム間隔で差分解析を行ってもよい。
<Step S52>
The tracking circuit 29 compares the previous frame image of the main image with the current frame image, and performs difference analysis by, for example, image recognition by pattern matching or texture analysis. Note that the frame image used for the difference analysis is not only performed for all frames, but the difference analysis may be performed at a predetermined frame interval.

<ステップS53>
追跡回路29は、主映像の前フレーム映像と、現フレーム映像とを比較する差分解析にて目標体の位置を認識できた場合(Yes)には、追跡処理を完了する。この場合には、図5、ステップS24において、「Yes」となり、主映像にマーカ40を表示する。追跡回路29は、主映像の差分解析にて目標体の位置を認識できなかった場合(No)には、ステップS54以降の第2の付加情報A2による解析を行う。
<Step S53>
The tracking circuit 29 completes the tracking process when the position of the target object can be recognized by the difference analysis comparing the previous frame video of the main video and the current frame video (Yes). In this case, “Yes” is displayed in step S24 of FIG. 5, and the marker 40 is displayed on the main video. When the position of the target body cannot be recognized by the main video difference analysis (No), the tracking circuit 29 performs analysis based on the second additional information A2 after step S54.

<ステップS54〜S60>
追跡回路29は、第2の付加情報A2を順に参照する。ここで、第2の付加情報A2は、図4に示したように、補助映像撮影手段である3台のTVカメラ17〜19が撮影した3種類の補助映像と、それぞれのTVカメラの位置情報とである。検出回路28は、いずれかのTVカメラの補助映像の差分解析にて目標体の位置を解析する。追跡回路29は、目標体を追跡できた場合(S54;Yes)には、そのTVカメラの位置情報をもとに、主映像での目標体の位置を割り出すことができる。追跡回路29は、目標体を追跡できなかった場合(S54;No)には、ステップS61において、「追跡失敗」と判断し、追跡処理を終了する。この場合には、図5、ステップS24において、「No」となり、主映像のマーカ表示を解除し、検出回路28が検出処理を開始する。
<Steps S54 to S60>
The tracking circuit 29 refers to the second additional information A2 in order. Here, as shown in FIG. 4, the second additional information A2 includes three types of auxiliary images captured by the three TV cameras 17 to 19 serving as auxiliary image capturing means, and position information of each TV camera. It is. The detection circuit 28 analyzes the position of the target body by differential analysis of the auxiliary video of any TV camera. When the tracking circuit 29 can track the target body (S54; Yes), the tracking circuit 29 can determine the position of the target body in the main video based on the position information of the TV camera. When the target circuit cannot be tracked (S54; No), the tracking circuit 29 determines “tracking failure” in step S61 and ends the tracking process. In this case, “No” is obtained in step S24 in FIG. 5, the marker display of the main video is canceled, and the detection circuit 28 starts the detection process.

以上の説明のように、放送送受信システム等は、視聴者は自ら選択した目標体を表示画面25A上で、マーカ40により容易に認識できる
<第2の実施の形態>
以下、図9から図11を参照して本発明の第2の実施の形態の、放送送信装置1Bおよび放送受信装置2Bを有する放送送受信システム3Bについて説明する。放送送信装置1Bおよび放送受信装置2Bを有する放送送受信システム3Bは、放送送信装置1および放送受信装置2を有する放送送受信システム3と類似しているため、同じ構成要素には同じ符号を付し説明は省略する。
As described above, in the broadcast transmission / reception system or the like, the viewer can easily recognize the target selected by the viewer on the display screen 25A by the marker 40 <Second Embodiment>
A broadcast transmission / reception system 3B having a broadcast transmission device 1B and a broadcast reception device 2B according to the second embodiment of the present invention will be described below with reference to FIGS. Since the broadcast transmission / reception system 3B having the broadcast transmission device 1B and the broadcast reception device 2B is similar to the broadcast transmission / reception system 3 having the broadcast transmission device 1 and the broadcast reception device 2, the same components are denoted by the same reference numerals. Is omitted.

図9は、本実施の形態の放送送信装置および放送受信装置を有する放送送受信システムの概略構成図であり、図10は、本実施の形態の放送受信装置の検出回路が行う目標体の検出処理の流れを説明するためのフローチャートであり、図11は、本実施の形態の放送受信装置の追跡回路が行う目標体の追跡処理の流れを説明するためのフローチャートである。   FIG. 9 is a schematic configuration diagram of a broadcast transmission / reception system having a broadcast transmission apparatus and a broadcast reception apparatus according to the present embodiment. FIG. 10 is a target detection process performed by the detection circuit of the broadcast reception apparatus according to the present embodiment. FIG. 11 is a flowchart for explaining the flow of the target tracking process performed by the tracking circuit of the broadcast receiving apparatus according to the present embodiment.

図9に示すように、本実施の形態の、放送送信装置1Bは、付加情報として第1の付加情報A1しか付加しない。このため、放送受信装置2Bは、付加情報として第1の付加情報A1のみをもとに、目標体の検出処理および追跡処理を行う。   As shown in FIG. 9, the broadcast transmitting apparatus 1B according to the present embodiment adds only the first additional information A1 as additional information. For this reason, the broadcast receiving apparatus 2B performs target object detection processing and tracking processing based on only the first additional information A1 as additional information.

そして図10に示すように、放送受信装置2Bの検出回路28は、第1の付加情報A1を利用して、目標体が検出できるまで繰り返す。そして、検出回路28は所定の閾値回数のK回以上検出に失敗した場合は、「検出不可」として検出処理を終了する。所定の閾値回数Kは、2回以上であればよく、好ましくは3回程度である。また、図11に示すように、放送受信装置2Bの追跡回路29は、主映像の差分解析のみを行う。   Then, as shown in FIG. 10, the detection circuit 28 of the broadcast receiving apparatus 2B repeats until the target body can be detected using the first additional information A1. If the detection circuit 28 fails to detect the predetermined threshold number of times K or more, the detection circuit 28 ends the detection process as “not detectable”. The predetermined threshold number K may be two or more, and preferably about three. Further, as shown in FIG. 11, the tracking circuit 29 of the broadcast receiving device 2B performs only the difference analysis of the main video.

本実施の形態の放送受信装置2Bの目標体検出能力および目標体追跡能力は、第1の実施の形態の放送受信装置2よりも劣っている。しかし、目標体がボール42のような比較的検出および追跡が容易な物体O1の場合には、放送受信装置2Bは、放送受信装置2と同様の効果を奏することができる。そして、放送送受信システム3B等は構成が放送送受信システム3等よりも単純であり主映像を撮影するTVカメラ以外の映像撮影装置を必要としないため、システム全体のコストが低減できると同時に、補助映像を撮影するTVカメラが設置不可能な場合にも、効果を奏することができる。   The target body detection capability and target body tracking capability of the broadcast receiving apparatus 2B of this embodiment are inferior to those of the broadcast receiving apparatus 2 of the first embodiment. However, when the target body is an object O1 that is relatively easy to detect and track, such as the ball 42, the broadcast receiving apparatus 2B can achieve the same effects as the broadcast receiving apparatus 2. The broadcast transmission / reception system 3B has a simpler configuration than the broadcast transmission / reception system 3 and does not require a video imaging device other than a TV camera that captures the main video. Even when a TV camera that captures images cannot be installed, the effect can be obtained.

<第3の実施の形態>
以下、図12および図13を用いて、本発明の第3の実施の形態の、放送送信装置1Cおよび放送受信装置2Cを有する放送送受信システム3Cについて説明する。図12は、本実施の形態の放送受信装置のディスプレイの表示画面の一例を説明するための説明図であり、図13は、本実施の形態の放送受信装置2における処理の流れについて説明するためのフローチャートである。放送送信装置1Cおよび放送受信装置2Cを有する放送送受信システム3Cは、放送送受信システム3等と類似しているため、同じ構成要素には同じ符号を付し説明は省略する。なお、放送送受信システム3Cの構成は、図1に示した放送送受信システム3と同じである。
<Third Embodiment>
Hereinafter, a broadcast transmission / reception system 3C having the broadcast transmission device 1C and the broadcast reception device 2C according to the third embodiment of the present invention will be described with reference to FIGS. FIG. 12 is an explanatory diagram for explaining an example of a display screen on the display of the broadcast receiving apparatus according to the present embodiment, and FIG. 13 is a flowchart for explaining a processing flow in the broadcast receiving apparatus 2 according to the present embodiment. It is a flowchart of. Since the broadcast transmission / reception system 3C having the broadcast transmission device 1C and the broadcast reception device 2C is similar to the broadcast transmission / reception system 3 and the like, the same components are denoted by the same reference numerals and description thereof is omitted. The configuration of the broadcast transmission / reception system 3C is the same as that of the broadcast transmission / reception system 3 shown in FIG.

放送受信装置2においては、主映像の中に目標体がない場合には、マーカ40を表示しなかった。これに対して、放送受信装置2Cでは主映像で目標体が障害物により隠れている場合であっても、補助映像から目標体が検出できた場合には、隠れている目標体の位置をマーカ40Bによる表示する。   In the broadcast receiving device 2, the marker 40 is not displayed when there is no target in the main video. On the other hand, in the broadcast receiving device 2C, even if the target object is hidden by an obstacle in the main image, if the target object can be detected from the auxiliary image, the position of the hidden target object is indicated as a marker. Display by 40B.

すなわち、図12のフローチャートにおいて、ステップS17において、主映像に目標体がなかった場合(No)でも、ステップS25において、補助映像をもとに目標体を検出できた場合には、ステップS18においてマーカ40Bを表示する。   That is, in the flowchart of FIG. 12, even if there is no target object in the main video in Step S17 (No), if the target object can be detected based on the auxiliary video in Step S25, the marker in Step S18. 40B is displayed.

たとえば、図13に示すように放送受信装置2Cでは、主映像撮影手段が撮影した主映像では、目標体であるボール42と選手43Aとが重なり、ボール42が隠れてしまい検出回路28が検出できない場合でも、第2の付加情報A2、すなわち、補助映像撮影手段が撮影した補助映像では、ボール42の位置が検出できる場合もある。この場合に、放送受信装置2Cでは、表示画面25Aには表示されていないボール42の位置をマーカ40Bにより表示する。   For example, as shown in FIG. 13, in the broadcast receiving apparatus 2C, in the main video captured by the main video imaging means, the target ball 42 and the player 43A overlap, and the ball 42 is hidden and the detection circuit 28 cannot detect. Even in this case, the position of the ball 42 may be detected from the second additional information A2, that is, the auxiliary image captured by the auxiliary image capturing means. In this case, in the broadcast receiving device 2C, the position of the ball 42 not displayed on the display screen 25A is displayed by the marker 40B.

放送送受信システム3C等は、放送送受信システム3等が有する効果に加えて、表示画面25Aでは表示されていない目標体の位置をマーカ40Bにより視聴者は認識することができる。   In the broadcast transmission / reception system 3C and the like, in addition to the effects of the broadcast transmission / reception system 3 and the like, the viewer can recognize the position of the target object not displayed on the display screen 25A by the marker 40B.

なお、放送受信装置2Cは、主映像撮影手段が撮影した主映像から目標体が検出できなかったが、補助映像撮影手段が撮影した補助映像からは目標体が検出できた場合には、主映像撮影手段が撮影した主映像から目標体が検出できた場合のマーカ40とは、異なるマーカ、たとえば、点滅状態のマーカ40Bを表示することが好ましい。異なるマーカを用いることで、視聴者がマーカの種類により目標体が表示画面25Aに表示されているか否かを、認識することができる。   Note that the broadcast receiving apparatus 2C cannot detect the target object from the main video captured by the main video image capturing unit, but can detect the target image from the auxiliary video image captured by the auxiliary video image capturing unit. It is preferable to display a marker different from the marker 40 when the target body is detected from the main video imaged by the imaging means, for example, the blinking marker 40B. By using different markers, the viewer can recognize whether or not the target body is displayed on the display screen 25A depending on the type of the marker.

以上の説明のように、本実施の形態の放送受信装置2Cは、主映像を撮影し主映像信号を出力する主映像撮影手段と、補助映像を撮影し補助映像信号を出力する補助映像撮影手段と、物体を特定する外観情報を処理し、第1の付加情報を生成する第1の付加情報処理手段と、前記補助映像信号と前記補助映像撮影手段の位置情報とを処理し、第2の付加情報を生成する第2の付加情報処理手段と、前記第1の付加情報処理手段および前記第2の付加情報処理手段により処理された前記外観情報および前記補助映像信号および前記補助映像撮影手段の位置情報を付加情報として、前記主映像信号に付加する合成手段と、前記主映像信号に前記付加情報が付加された放送信号を送信する送信手段とを有することを特徴とする放送送信装置からの放送信号を受信する受信手段と、前記受信手段が受信した前記放送信号から、表示手段に主映像を表示し、かつ前記付加情報を処理する信号処理手段と、前記付加情報により特定可能な一の前記物体を選択可能な選択手段と、前記付加情報を用いて、前記主映像中の、前記選択手段により選択された前記物体を検出する検出手段と、前記表示手段に表示された前記主映像中に、前記検出手段が検出した前記物体の位置を示すマーカを表示するマーカ表示手段とを有し、前記マーカ表示手段は、前記主映像からは検出不可能だが、前記補助映像からは検出可能な前記物体の位置を示す前記マーカを表示する、ことを特徴とする放送受信装置であり、さらには、前記主映像から検出された前記物体用の前記マーカと、前記補助映像からのみ検出可能な前記物体用の前記マーカとが異なることを特徴とする放送受信装置である。   As described above, the broadcast receiving apparatus 2C according to the present embodiment includes a main video photographing unit that photographs a main video and outputs a main video signal, and an auxiliary video photographing unit that captures an auxiliary video and outputs an auxiliary video signal. A first additional information processing means for processing appearance information for identifying an object and generating first additional information; a process for processing the auxiliary video signal and the position information of the auxiliary video photographing means; A second additional information processing means for generating additional information; the appearance information processed by the first additional information processing means and the second additional information processing means; the auxiliary video signal; and the auxiliary video photographing means. From a broadcast transmitting apparatus, comprising: combining means for adding position information as additional information to the main video signal; and transmitting means for transmitting a broadcast signal in which the additional information is added to the main video signal. Release A receiving means for receiving a signal; a signal processing means for displaying a main video on a display means and processing the additional information from the broadcast signal received by the receiving means; In the main image displayed on the display means, a selection means capable of selecting an object, a detection means for detecting the object selected by the selection means in the main video using the additional information. Marker display means for displaying a marker indicating the position of the object detected by the detection means, and the marker display means cannot be detected from the main video but can be detected from the auxiliary video. A broadcast receiving apparatus that displays the marker indicating the position of an object, and can be detected only from the marker for the object detected from the main video and the auxiliary video And the marker for the object is a broadcast receiving apparatus according to claim different.

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。   The present invention is not limited to the above-described embodiments, and various changes and modifications can be made without departing from the scope of the present invention.

第1の実施の形態の放送送信装置および放送受信装置を有する放送送受信システムの概略構成図である。It is a schematic block diagram of the broadcast transmission / reception system which has the broadcast transmission apparatus and broadcast reception apparatus of 1st Embodiment. 第1の実施の形態の放送受信装置のディスプレイの表示画面の一例を説明するための説明図である。It is explanatory drawing for demonstrating an example of the display screen of the display of the broadcast receiving apparatus of 1st Embodiment. 第1の実施の形態の放送送受信システムの第1の付加情報を説明するための説明図である。It is explanatory drawing for demonstrating the 1st additional information of the broadcast transmission / reception system of 1st Embodiment. 第1の実施の形態の放送送受信システムの第2の付加情報を説明するための説明図である。It is explanatory drawing for demonstrating the 2nd additional information of the broadcast transmission / reception system of 1st Embodiment. 第1の実施の形態の放送受信装置における処理の流れについて説明するためのフローチャートである。It is a flowchart for demonstrating the flow of a process in the broadcast receiving apparatus of 1st Embodiment. 第1の実施の形態の放送受信装置における目標体の一覧表示画面の一例である。It is an example of the list display screen of the target body in the broadcast receiving apparatus of 1st Embodiment. 第1の実施の形態の放送受信装置の検出回路が行う目標体の検出処理の流れを説明するためのフローチャートである。It is a flowchart for demonstrating the flow of the detection process of the target body which the detection circuit of the broadcast receiver of 1st Embodiment performs. 第1の実施の形態の放送受信装置の追跡回路が行う目標体の追跡処理の流れを説明するためのフローチャートである。It is a flowchart for demonstrating the flow of the tracking process of the target body which the tracking circuit of the broadcast receiver of 1st Embodiment performs. 第2の実施の形態の放送送信装置および放送受信装置を有する放送送受信システムの概略構成図である。It is a schematic block diagram of the broadcast transmission / reception system which has the broadcast transmission apparatus and broadcast reception apparatus of 2nd Embodiment. 第2の実施の形態の放送受信装置の検出回路が行う目標体の検出処理の流れを説明するためのフローチャートである。It is a flowchart for demonstrating the flow of the detection process of the target body which the detection circuit of the broadcast receiver of 2nd Embodiment performs. 第2の実施の形態の放送受信装置の追跡回路が行う目標体の追跡処理の流れを説明するためのフローチャートである。It is a flowchart for demonstrating the flow of the tracking process of the target body which the tracking circuit of the broadcast receiver of 2nd Embodiment performs. 第3の実施の形態の放送受信装置のディスプレイの表示画面の一例を説明するための説明図である。It is explanatory drawing for demonstrating an example of the display screen of the display of the broadcast receiving apparatus of 3rd Embodiment. 第3の実施の形態の放送受信装置における処理の流れについて説明するためのフローチャートである。It is a flowchart for demonstrating the flow of the process in the broadcast receiving apparatus of 3rd Embodiment.

符号の説明Explanation of symbols

1、1B、1C…放送送信装置、2、2B、2C…放送受信装置、3、3B、3C…放送送受信システム、5…競技フィールド、12…TVカメラA、13…合成回路、14…送信回路、15…第1の付加情報処理回路、16…第2の付加情報処理回路、17…TVカメラB、18…TVカメラC、19…TVカメラD、21…受信回路、22…復号回路、23…信号処理回路、24…スピーカー、25…ディスプレイ、25A…表示画面、26…一覧表示回路、27…目標体選択装置、27A…カーソル、28…検出回路、29…追跡回路、30…記憶装置、31…表示制御回路、32…マーカ表示回路、40…マーカ、42…ボール、43…選手、49…主映像表示領域、50…ボール選択領域、51…選手選択領域、A1…第1の付加情報、A2…第2の付加情報、N…閾値回数、O1…物体、O2…物体、S1…主映像信号 DESCRIPTION OF SYMBOLS 1, 1B, 1C ... Broadcast transmission apparatus, 2, 2B, 2C ... Broadcast reception apparatus, 3, 3B, 3C ... Broadcast transmission / reception system, 5 ... Competition field, 12 ... TV camera A, 13 ... Synthesis circuit, 14 ... Transmission circuit , 15 ... 1st additional information processing circuit, 16 ... 2nd additional information processing circuit, 17 ... TV camera B, 18 ... TV camera C, 19 ... TV camera D, 21 ... Reception circuit, 22 ... Decoding circuit, 23 DESCRIPTION OF SYMBOLS ... Signal processing circuit, 24 ... Speaker, 25 ... Display, 25A ... Display screen, 26 ... List display circuit, 27 ... Target body selection device, 27A ... Cursor, 28 ... Detection circuit, 29 ... Tracking circuit, 30 ... Storage device, 31 ... Display control circuit, 32 ... Marker display circuit, 40 ... Marker, 42 ... Ball, 43 ... Player, 49 ... Main video display area, 50 ... Ball selection area, 51 ... Player selection area, A1 ... First addition Distribution, A2 ... second additional information, N ... threshold number, O1 ... object, O2 ... object, S1 ... main video signal

Claims (5)

主映像を撮影し主映像信号を出力する主映像撮影手段と、
物体を特定する外観情報を処理する付加情報処理手段と、
前記付加情報処理手段により処理された前記外観情報を付加情報として、前記主映像信号に付加する合成手段と、
前記主映像信号に前記付加情報が付加された放送信号を送信する送信手段とを有することを特徴とする放送送信装置。
Main video shooting means for shooting the main video and outputting the main video signal;
Additional information processing means for processing appearance information for identifying an object;
Synthesizing means for adding the appearance information processed by the additional information processing means as additional information to the main video signal;
A broadcast transmission apparatus comprising: a transmission unit configured to transmit a broadcast signal in which the additional information is added to the main video signal.
主映像を撮影し主映像信号を出力する主映像撮影手段と、
補助映像を撮影し補助映像信号を出力する補助映像撮影手段と、
物体を特定する外観情報を処理し、第1の付加情報を生成する第1の付加情報処理手段と、
前記補助映像信号と前記補助映像撮影手段の位置情報とを処理し、第2の付加情報を生成する第2の付加情報処理手段と、
前記第1の付加情報処理手段および前記第2の付加情報処理手段により処理された前記外観情報および前記補助映像信号および前記補助映像撮影手段の位置情報を付加情報として、前記主映像信号に付加する合成手段と、
前記主映像信号に前記付加情報が付加された放送信号を送信する送信手段とを有することを特徴とする放送送信装置。
Main video shooting means for shooting the main video and outputting the main video signal;
Auxiliary video shooting means for shooting auxiliary video and outputting auxiliary video signals;
First additional information processing means for processing appearance information for identifying an object and generating first additional information;
A second additional information processing means for processing the auxiliary video signal and the position information of the auxiliary video photographing means to generate second additional information;
The appearance information processed by the first additional information processing means and the second additional information processing means, the auxiliary video signal, and the position information of the auxiliary video photographing means are added as additional information to the main video signal. Combining means;
A broadcast transmission apparatus comprising: a transmission unit configured to transmit a broadcast signal in which the additional information is added to the main video signal.
主映像を撮影し主映像信号を出力する主映像撮影手段と、物体を特定する外観情報を処理する付加情報処理手段と、前記付加情報処理手段により処理された前記外観情報を付加情報として、前記主映像信号に付加する合成手段と、前記主映像信号に前記付加情報が付加された放送信号を送信する送信手段とを有する放送送信装置からの放送信号を受信する受信手段と、
前記受信手段が受信した前記放送信号から、表示手段に主映像を表示し、かつ前記付加情報を処理する信号処理手段と、
前記付加情報により特定可能な一の前記物体を選択可能な選択手段と、
前記付加情報を用いて、前記主映像中の、前記選択手段により選択された前記物体を検出する検出手段と、
前記表示手段に表示された前記主映像中に、前記検出手段が検出した前記物体の位置を示すマーカを表示するマーカ表示手段とを有することを特徴とする放送受信装置。
Main video photographing means for photographing a main video and outputting a main video signal, additional information processing means for processing appearance information for specifying an object, and the appearance information processed by the additional information processing means as additional information, Receiving means for receiving a broadcast signal from a broadcast transmitting apparatus, comprising: combining means for adding to the main video signal; and transmitting means for transmitting the broadcast signal with the additional information added to the main video signal;
Signal processing means for displaying a main video on a display means and processing the additional information from the broadcast signal received by the receiving means;
A selection means capable of selecting one of the objects that can be specified by the additional information;
Detecting means for detecting the object selected by the selecting means in the main video using the additional information;
A broadcast receiving apparatus comprising: marker display means for displaying a marker indicating the position of the object detected by the detection means in the main video displayed on the display means.
前記検出手段が検出した前記主映像中の前記物体を、連続して検出する追跡手段を有することを特徴とする請求項3に記載の放送受信装置。   4. The broadcast receiving apparatus according to claim 3, further comprising a tracking unit that continuously detects the object in the main video detected by the detection unit. 請求項1または請求項2に記載の放送送信装置、および、請求項3または請求項4に記載の放送受信装置を有することを特徴とする放送送受信システム。   A broadcast transmission / reception system comprising the broadcast transmission device according to claim 1 or 2 and the broadcast reception device according to claim 3 or 4.
JP2008192564A 2008-07-25 2008-07-25 Broadcast transmitter, broadcast receiver, and broadcast transmission and reception system Pending JP2010034699A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008192564A JP2010034699A (en) 2008-07-25 2008-07-25 Broadcast transmitter, broadcast receiver, and broadcast transmission and reception system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008192564A JP2010034699A (en) 2008-07-25 2008-07-25 Broadcast transmitter, broadcast receiver, and broadcast transmission and reception system

Publications (1)

Publication Number Publication Date
JP2010034699A true JP2010034699A (en) 2010-02-12

Family

ID=41738715

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008192564A Pending JP2010034699A (en) 2008-07-25 2008-07-25 Broadcast transmitter, broadcast receiver, and broadcast transmission and reception system

Country Status (1)

Country Link
JP (1) JP2010034699A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9338429B2 (en) 2009-12-21 2016-05-10 Canon Kabushiki Kaisha Video processing apparatus capable of reproducing video content including a plurality of videos and control method therefor
JP2016123069A (en) * 2014-12-25 2016-07-07 パナソニックIpマネジメント株式会社 Video distribution method, video reception method, server and terminal apparatus
WO2020095648A1 (en) * 2018-11-07 2020-05-14 キヤノン株式会社 Image processing device, image processing method, computer program, and storage medium

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9338429B2 (en) 2009-12-21 2016-05-10 Canon Kabushiki Kaisha Video processing apparatus capable of reproducing video content including a plurality of videos and control method therefor
JP2016123069A (en) * 2014-12-25 2016-07-07 パナソニックIpマネジメント株式会社 Video distribution method, video reception method, server and terminal apparatus
WO2020095648A1 (en) * 2018-11-07 2020-05-14 キヤノン株式会社 Image processing device, image processing method, computer program, and storage medium

Similar Documents

Publication Publication Date Title
JP6715441B2 (en) Augmented reality display system, terminal device and augmented reality display method
JP7123523B2 (en) Method and system for automatically producing television programs
US8249305B2 (en) Information processing apparatus, information processing method, program, and recording medium
US10515471B2 (en) Apparatus and method for generating best-view image centered on object of interest in multiple camera images
CN107005654A (en) System and method for the sportsman in optical tracking athletic ground
KR20170107424A (en) Interactive binocular video display
JP6720587B2 (en) Video processing device, video processing method, and video processing program
US20160073013A1 (en) Handheld multi vantage point player
JP2008005208A (en) Camera automatic control system for athletics, camera automatic control method, camera automatic control unit, and program
JP2020086983A (en) Image processing device, image processing method, and program
JPH11252411A (en) Tv sound controller
US20180176628A1 (en) Information device and display processing method
JP2016127377A (en) Image processing apparatus and image processing method, image reproducer and image reproducing method and program
US20210258505A1 (en) Image processing apparatus, image processing method, and storage medium
JP2010034699A (en) Broadcast transmitter, broadcast receiver, and broadcast transmission and reception system
JP2008244922A (en) Video generating method and video generating apparatus
JP2024001268A (en) Control apparatus
JP2012151688A (en) Video reproduction device and method of controlling the same, program, and storage medium
US20090073322A1 (en) Digital broadcast receiver
JP7235098B2 (en) Information distribution device, information distribution method, information distribution program
KR101865161B1 (en) Video recording method and apparatus for controlling the same
JP2006174124A (en) Video distributing and reproducing system, video distribution device, and video reproduction device
JP2009165035A (en) Display control device, method, program, and recording medium
WO2020095647A1 (en) Image processing device, image processing server, image processing method, computer program, and storage medium
JP7282519B2 (en) Image processing device or image processing server