JP2016163311A - ビデオ処理装置、ビデオ処理システムおよびビデオ処理方法 - Google Patents

ビデオ処理装置、ビデオ処理システムおよびビデオ処理方法 Download PDF

Info

Publication number
JP2016163311A
JP2016163311A JP2015043556A JP2015043556A JP2016163311A JP 2016163311 A JP2016163311 A JP 2016163311A JP 2015043556 A JP2015043556 A JP 2015043556A JP 2015043556 A JP2015043556 A JP 2015043556A JP 2016163311 A JP2016163311 A JP 2016163311A
Authority
JP
Japan
Prior art keywords
video
position information
time
video signal
storage unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015043556A
Other languages
English (en)
Inventor
秀喜 新井
Hideki Arai
秀喜 新井
泉三郎 中村
Senzaburo Nakamura
泉三郎 中村
中山　淳
Atsushi Nakayama
淳 中山
宮内　敦
Atsushi Miyauchi
敦 宮内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2015043556A priority Critical patent/JP2016163311A/ja
Priority to US15/552,531 priority patent/US10362266B2/en
Priority to PCT/JP2016/000730 priority patent/WO2016139898A1/ja
Publication of JP2016163311A publication Critical patent/JP2016163311A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4524—Management of client data or end-user data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Circuits (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】入力されたビデオ信号からフレーム解像度の異なるビデオデータを生成する処理の効率および精度の向上、さらには機能的な向上を図る。【解決手段】この装置は、カメラによって第１のフレーム解像度で撮影され、フレーム毎の時刻データが付加された第１のビデオ信号を入力するビデオ入力部と、第１のビデオ信号のフレーム毎の第１のビデオデータを時刻データと対応付けて記憶するビデオ記憶部と、第１のビデオ信号に被写体の一部として含まれる特定の移動体の位置情報を受信する位置情報入力部と、受信された位置情報と時刻とを対応付けて記憶する位置情報記憶部と、位置情報記憶部から特定の時間区間毎に１以上の位置情報を読み出し、これらの情報が各々示す１以上の位置を含む切り出し領域を算出し、時間区間の第１のビデオデータから切り出し領域のビデオデータを切り出し、第２のフレーム解像度の第２のビデオデータを生成するコントローラとを備える。【選択図】図３

Description

本技術は、ビデオ処理装置に関し、特にスポーツ競技などの様子をカメラで撮影した第１のビデオ信号から少なくとも一部の領域を切り出して第２のビデオ信号を出力するビデオ処理装置、ビデオ処理システムおよびビデオ処理方法に関する。
スポーツ映像など、被写体の一部として移動体を含む映像から新たなカメラワークの映像を自動的に生成する技術が知られる。例えば、特許文献１には、スポーツ映像を入力し、入力したスポーツ映像から、各選手の移動情報を検出し、各選手の移動情報に含まれる各選手の複数のフレームにわたる各位置に基づき、最も各選手が集中しかつ各選手の動きが大きい領域を求めこれを新たなカメラワークの映像のフレーム位置として設定すること、さらには、設定されたフレーム位置に基づき、スポーツ映像から新たなカメラワークの映像を切り出し、切り出した映像を出力するデジタルカメラワーク装置が開示されている。また、特許文献１では、スポーツ映像からボールの位置を検出し、検出したボールの位置を加味してフレーム位置を算出することとされている。
特開２００５−２２３４８７号公報（段落［０００６］、［００１０］）
しかし、この種のカメラ処理システムでは、機能的に未だ改善すべき課題が多々残されている。
上記の課題を解決するために、本技術に係る一形態のビデオ処理装置は、ビデオ入力部、ビデオ記憶部、位置情報入力部、指定開始時刻記憶部、指定終了時刻記憶部およびコントローラを備える。
ビデオ入力部は、カメラによって第１のフレーム解像度で撮影され、フレーム毎の時刻データが付加された第１のビデオ信号を入力するように構成される。
ビデオ記憶部は、前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けて記憶するように構成される。
位置情報入力部は、前記第１のビデオ信号に被写体の一部として含まれる特定の移動体の位置情報を受信するように構成される。
位置情報記憶部は、前記受信された位置情報と時刻とを対応付けて記憶するように構成される。
指定開始時刻記憶部は、時間区間の始まりを特定する時刻を記憶するように構成される。
指定終了時刻記憶部は、前記時間区間の終わりを特定する時刻を記憶するように構成される。
そしてコントローラは、前記位置情報記憶部から前記指定開始時刻記憶部と前記指定終了時刻記憶部により特定される時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成するように構成される。
本技術に係る一形態のビデオ処理装置は、このような構成を有するので、第１のフレーム解像度を有する第１のビデオ信号のフレームから、時間区間における移動体の１以上の位置を含む領域を切り出した第２のフレーム解像度の第２のビデオデータを、各々の時間区間毎に連続的に生成できる。これにより、一台のカメラで撮影された被写体全体の第１のビデオ信号から様々な位置とサイズの画枠の第２のビデオデータを自動生成できる。
また、このビデオ処理装置は、特定の移動体の位置情報と時刻データを位置情報入力部が外部より受信し、コントローラは、この外部より取得した位置情報等をもとに切り出し領域の算出を行う。このため、移動情報の検出や移動体の位置情報の算出などの処理がコントローラの処理の速度的なボトルネックとならず、第１のビデオ信号からライブ放送用の第２のビデオ信号が出力されるまでの遅延時間を短縮できる。
さらに、第１のビデオ信号のフレームと移動体の位置情報とは互いに同期したまたは略同期した時刻データによって対応付けられるので、コントローラは、移動体の位置情報をもとに算出された切り出し領域を適用してビデオデータを切り出す対象のフレームを正しく判断できる。すなわち、第１のビデオデータからのタイミング的な切り出しの誤りを抑制できる。
上記のビデオ処理装置において、前記コントローラは、前記第２のフレーム解像度の縦横比を有する前記切り出し領域を算出するように構成されてもよい。
上記のビデオ処理装置において、前記コントローラは、１つの前記時間区間の１以上の位置情報と次の時間区間の少なくとも先頭よりの１以上の位置情報が各々示す複数の位置を含む前記切り出し領域を算出するように構成されてもよい。
これにより、ビデオデータを切り出す対象の時間区間の最後の時刻から、移動体がその後さらに移動していく先の領域を含めた切り出し領域が算出されるので、例えば、サッカー競技などの場合には、ロングパスを出す先の領域のパス直前の様子、すなわちロングパスを受ける競技者の動きの様子を含めたビデオデータの切り出しが行われる。よって、ダイジェストとして視聴価値の高いビデオデータが得られる。
上記のビデオ処理装置は、前記時間区間の変更の指示を操作者より受け付ける操作入力部をさらに具備し、記コントローラは、前記操作入力部で受け付けた指示に従って前記時間区間を変更するように構成されてよい。
時間区間をマニュアルで変更できるので、スポーツ競技における動きの大きさや早さに合せて適切な時間区間を設定できる。
上記のビデオ処理装置において、前記コントローラは、次の前記切り出し領域を算出するために用いられる次の時間区間の前記移動体の位置のうち、現在の切り出し領域の端に最も近い位置が、現在の切り出し領域の端から予め定められた距離以上の内側にある場合、切り出し領域の算出をスキップして現在の切り出し領域を有効とするように構成される。
これにより、切り出し領域の余計な更新のための算出処理を省き、第１のビデオ信号からライブ放送用の第２のビデオ信号が出力されるまでの遅延時間をより短縮できる。また出力ビデオの視聴者の疲労を低減できる。
上記のビデオ処理装置において、前記コントローラは、外部から、前記被写体の場所を特定する情報を含むイベント情報を受けて、前記第１のビデオ信号の画枠において前記イベント情報により特定される場所を含む領域を前記切り出し領域として設定するように構成されてよい。
この仕組みによっても切り出し領域の算出を省けることになり、第１のビデオ信号からライブ放送用の第２のビデオ信号が出力されるまでの遅延時間をより短縮できる。
上記のビデオ処理装置において、前記ビデオ入力部は、共通の前記被写体を異なる方向から撮影する複数のカメラによって各々撮影され、第１のフレーム解像度を有し、フレーム毎の時刻データが付加された複数の第１のビデオ信号の１つを選択する切替部を有し、
前記コントローラは、前記位置情報記憶部から少なくとも１つの前記時間区間の１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置をもとに前記移動体の移動方向を判定し、前記判定された移動体の移動方向に対して撮影方向が対向または略対向する１つの前記カメラの第１のビデオ信号を前記切替部に選択させるように構成されてよい。
この構成により、移動体が例えばサーカー競技のボールや競技者などである場合、競技者の略正面側を捕えた迫力のある映像が得られる。
上記のビデオ処理装置において、前記ビデオ入力部の前記切替部は、前記複数の第１のビデオ信号に加え、前記被写体の特定の領域を前記第２のフレーム解像度で撮影する１以上の領域撮影用カメラによって撮影され、フレーム毎の時刻データが付加された第３のビデオ信号の中から１つを選択可能に構成され、前記コントローラは、前記位置情報記憶部から読み出された１以上の位置情報が各々示す１以上の位置をもとに算出された前記切り出し領域が前記特定の領域を含む場合、前記切替部に前記領域撮影用カメラの前記第３のビデオ信号を選択させるように構成されてもよい。
第３のビデオ信号が切替部によって選択された場合には、コントローラによって切り出し領域の算出、ビデオデータの切り出し、第２のフレーム解像化などは不要となる。すなわち、切替部によって選択された第３のビデオ信号のビデオデータはそのまま第２のビデオデータとして得られる。したがって、このことによっても、第１のビデオ信号からライブ放送用の第２のビデオ信号が出力されるまでの遅延時間をより短縮できる。また、領域撮影用カメラによって、例えば、ゴールエリア内の攻撃側の選手を略正面から撮影するように配置することなどによって、迫力のある映像が得られる。
また、本技術に係る他の形態のビデオ処理システムは、カメラ、位置情報生成装置およびビデオ処理装置を有する。
カメラは、移動体を含む被写体を第１のフレーム解像度で定点撮影し、フレーム毎の時刻データが付加された第１のビデオ信号を出力する少なくとも１つのカメラである。
位置情報生成装置は、前記移動体の位置情報を生成するように構成される。
ビデオ処理装置は、ビデオ入力部と、ビデオ記憶部と、位置情報入力部と、位置情報記憶部と、指定開始時刻記憶部と、指定終了時刻記憶部と、コントローラとを有する。
ビデオ入力部は、前記第１のビデオ信号を入力するように構成される。
ビデオ記憶部は、前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けて記憶するように構成される。
位置情報入力部は、前記位置情報生成装置によって生成された位置情報を受信するように構成される。
位置情報記憶部は、前記受信された位置情報と時刻とを対応付けて記憶するように構成される。
指定開始時刻記憶部は、時間区間の始まりを特定する時刻を記憶するように構成される。
指定終了時刻記憶部は、前記時間区間の終わりを特定する時刻を記憶するように構成される。
コントローラは、前記位置情報記憶部から前記指定開始時刻記憶部と前記指定終了時刻記憶部により特定される時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成するように構成される。
上記のビデオ処理システムにおいて、前記カメラは、共通の前記被写体を異なる方向から撮影するように各々配置され、前記ビデオ処理装置の前記ビデオ入力部は、前記複数のカメラによって各々撮影された複数の第１のビデオ信号の１つを選択する切替部を有し、
前記コントローラは、前記位置情報記憶部から読み出された１以上の位置情報が各々示す１以上の位置をもとに前記移動体の移動方向を判定し、前記判定された移動体の移動方向に対して撮影方向が対向または略対向する１つの前記カメラの第１のビデオ信号を前記切替部に選択させるように構成されてよい。
上記のビデオ処理システムは、前記被写体の特定の領域を前記第２のフレーム解像度で撮影して第３のビデオ信号を時刻データと対応付けて送信する特定領域用カメラをさらに有し、前記切替部は、前記第１のビデオ信号および前記第３のビデオ信号の中から１つのビデオ信号を選択可能に構成され、前記コントローラは、前記位置情報記憶部から読み出された１以上の位置情報が各々示す１以上の位置をもとに算出された前記切り出し領域が前記特定の領域を含む場合、前記切替部に前記１以上の第３のビデオ信号のいずれかを選択させるように構成されてよい。
本技術に係る他の形態のビデオ処理方法は、ビデオ信号入力ステップと、ビデオ記憶ステップと、位置情報入力ステップと、位置情報記憶ステップと、切り出しビデオデータ生成ステップとを有する。
ビデオ信号入力ステップは、カメラによって第１のフレーム解像度で撮影され、フレーム毎の時刻データが付加された第１のビデオ信号を入力する。
ビデオ記憶ステップは、前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けてビデオ記憶部に記憶する。
位置情報入力ステップは、前記第１のビデオ信号に被写体の一部として含まれる特定の移動体の位置情報を受信する。
位置情報記憶ステップは、前記取得された位置情報を時刻と対応付けて位置情報記憶部に記憶する。
切り出しビデオデータ生成ステップは、コントローラにより、前記位置情報記憶部から少なくとも特定の時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成する。
また、本技術に係る他の形態のビデオ処理装置は、ビデオ入力部、ビデオ記憶部、位置情報入力部、位置情報記憶部およびコントローラを備える。
ビデオ入力部は、カメラによって第１のフレーム解像度で撮影され、フレーム毎に時刻データが付加された第１のビデオ信号を入力する。
ビデオ記憶部は、前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けて記憶する。
位置情報入力部は、前記第１のビデオ信号に被写体の一部として含まれる特定の移動体の時刻データ付きの位置情報を受信する。
位置情報記憶部は、前記受信された位置情報と前記時刻データとを対応付けて記憶する。
コントローラは、前記位置情報記憶部から少なくとも特定の時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成するように構成される。
以上のように、本技術によれば、入力されたビデオ信号からビデオデータを生成する処理の機能的な向上を図ることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本実施形態のビデオ処理システムにおけるカメラ１と競技エリア２と位置関係の例を示す図である。 図１に示すカメラ１から出力される第１のビデオ信号の第１のフレーム解像度に相当する全体の画枠１１と、本実施形態のビデオ処理装置によって算出されるビデオデータの矩形の切り出し領域１２との関係を示す図である。 本技術に係る第１の実施形態のビデオ処理装置の構成を機能的に示すブロック図である。 ビデオデータを切り出す時間区間の開始と終了の各時刻を設定する時間区間設定部１２０の構成を示すブロック図である。 第１の実施形態のビデオ処理システム１０の構成とビデオ処理装置１００のより具体的な構成を示すブロック図である。 第１の実施形態のビデオ処理装置１００によるビデオ入力処理のフローチャートである。 第１の実施形態のビデオ処理装置１００による位置情報入力処理のフローチャートである。 第１の実施形態のビデオ処理装置１００によるビデオクリップ作成処理のフローチャートである。 遅延ライブ処理Ａのタイミング図である。 遅延ライブ処理Ａにおいてt1-t2区間とt2-t3区間の処理において生成される２つの切り出し領域の例を示す図である。 t1-t2区間の３つの位置P1,P2,P3によって決まるマージン付加前の矩形領域１２Ａを示す図である。 矩形領域１２Ａにマージンを付加した矩形領域１２Ｂを示す図である。 マージンを付加した矩形領域１２Ｂを第２のフレーム解像度の縦横比に調整することによって作成された切り出し領域１２を示す図である。 遅延ライブ処理Ｂを示すタイミング図である。 遅延ライブ処理Ｂでt1-t3区間の位置情報をもとに算出された切り出し領域を示す図である。 遅延ライブ処理Ｂの手順を示すフローチャートである。 切り出し領域を変化させる際に用いられる第２のビデオ信号N個の補間矩形の例を示す図である。 複数のカメラを用いたビデオ処理システムを説明する図である。 俯瞰用の４機のカメラの切替方法を説明する図である。 ビデオ処理装置１００Ａの変形例３の構成を示すブロック図である。 図２０のビデオ処理装置１００Ａによる遅延ライブ処理のタイミング図である。
以下、本技術に係る実施の形態を説明する。
＜第１の実施形態＞
この実施形態は、ビデオ送信部より送信された第１のフレーム解像度を有する第１のビデオ信号の少なくとも一部の時間区間のビデオデータから、被写体に含まれる対象の移動体が移動した範囲を含む第２のフレーム解像度の第２のビデオ信号を生成するビデオ処理装置およびビデオ処理システムに関する。
本技術に係る実施形態のビデオ処理装置およびビデオ処理システムにおいて、ビデオ送信部から送信される第１のビデオ信号のフレーム解像度はビデオ処理装置により生成される第２のビデオ信号のフレーム解像度よりも高い。一例として、第１のビデオ信号のフレーム解像度が8K(7680×4320)であり、第２のビデオ信号のフレーム解像度がフルHD(1920×1080)である場合などが挙げられる。なお、本実施形態において「フレーム」と説明しているものは、インターレース方式においては「フィールド」としてもよい。
以下の説明においては、第１のビデオ信号が、カメラによって競技エリア２全体のサッカー競技の様子を定点撮影することによって得られたビデオ信号である場合を想定する。ビデオ送信部はカメラに内蔵されたものであってよいし、カメラから送信された第１のビデオ信号を中継してビデオ処理装置に伝送するものであってもよい。以下、ビデオ送信部はカメラに内蔵されていることを想定して説明を行う。
図１は、本実施形態のビデオ処理システムにおけるカメラ１とサッカーの競技エリア２と位置関係の例を示す図である。
同図に示すように、カメラ１は、サッカーの競技エリア２の全体を定点撮影することのできる位置に固定される。
図２は、カメラ１から出力される第１のビデオ信号の第１のフレーム解像度に相当する全体の画枠１１と、本実施形態のビデオ処理装置によって算出されるビデオデータの矩形の切り出し領域１２との関係を示す図である。
ここで、切り出し領域１２のサイズと位置は、第１のビデオ信号の一部の時間区間に対象の移動体（例えばボール３）が移動した範囲などをもとに決定される。切り出し領域１２は第２のフレーム解像度の縦横比を有する領域とされる。
［ビデオ処理装置の構成］
図３は、本技術に係る第１の実施形態のビデオ処理装置の構成を機能的に示すブロック図である。
このビデオ処理装置１００は、ビデオ入力部１０１、ビデオ記憶部１０２、位置情報入力部１０３、位置情報記憶部１０４、変換部１０５、切り出し領域算出部１０６、指定開始時刻記憶部１０７、指定終了時刻記憶部１０８、切り出しビデオ生成部１０９、ビデオ出力部１１０、およびクリップ記憶部１１１を有する。
ビデオ入力部１０１は、カメラ１から伝送された第１のフレーム解像度を有する第１のビデオ信号を受信する。例えば、8Kのフレーム解像度の第１のビデオ信号の伝送には、例えば複数の3G-SDI（Serial Digital Interface）インタフェースなどが用いられる。
カメラ１は、被写体である競技エリア２を定点撮像してフレーム毎のタイムコードが付加された第１のビデオ信号を送信する。タイムコードは、例えばインターネット上の時刻サーバなどより取得される標準の時刻に定期的に同期がとられるカメラ１内の時計によって与えられる。
ビデオ入力部１０１は、カメラ１より伝送された第１のビデオ信号を受信し、この第１のビデオ信号の各フレームをタイムコードと対応付けてビデオ記憶部１０２に記憶させる。
なお、ビデオ入力部１０１は、第１のビデオ信号に付加されたタイムコードを利用するのではなく、内蔵のリアルタイム・クロックあるいは、インターネット上の時刻サーバなどの外部から与えられる時刻に定期的に同期がとられるコンピュータ１３０内の時計から与えられる時刻をもとに与えられるタイムコードを利用してもよい。
ビデオ記憶部１０２は、ビデオ入力部１０１に入力された第１のビデオ信号の各フレームをタイムコードと対応付けて記憶する。ビデオ記憶部１０２には、第１のビデオ信号の各フレームのビデオデータが第１のフレーム解像度のまま記憶される。あるいは、可逆圧縮方式により第１のビデオ信号の各フレームのビデオデータが圧縮されたものが記憶されてもよい。
位置情報入力部１０３は、外部の位置情報生成装置１４０（図５）から送信される移動体の位置情報とこれに対応付けられたタイムコードを周期的に受信する。
この実施形態では、位置情報入力部１０３に受信される移動体の位置情報は、ボール３と１以上の競技者４の地上座標系における位置情報、または第１のビデオ信号の画枠の座標系における位置情報である。あるいは、ボール３の位置情報だけが位置情報入力部１０３に受信されてもよい。
第１のビデオ信号のフレーム毎のタイムコードと、位置情報に対応付けられているタイムコードは互いに同期していることが好ましいが、完全に同期していなくても、処理上問題はない。
移動体の位置情報と、移動体がその位置にあるときの第１のビデオ信号は同じタイミングでビデオ処理装置１００にて入力されることが好ましいが、移動体の位置情報の方がやや遅れて（例えば、数秒程度遅れて）供給されても、切り出したビデオデータの出力時期に影響するだけで処理上問題はない。
位置情報記憶部１０４は、位置情報入力部１０３にて受信された各移動体の位置情報とタイムコードとを対応付けて記憶する。
変換部１０５は、位置情報記憶部１０４から各移動体の位置情報を読み出し、この位置情報が地上座標系における位置情報である場合に、これを第１のビデオ信号の画枠１１内の座標系における位置情報に変換する。但し、入力される位置情報が、元々、第１のビデオ信号の画枠の座標系における位置情報である場合には変換部１０５による変換は不要である。
指定開始時刻記憶部１０７は、切り出しを開始するフレームのタイムコードを記憶する領域である。
指定終了時刻記憶部１０８は、切り出しを終了するフレームのタイムコードを記憶する領域である。開始フレームのタイムコードおよび終了フレームのタイムコードは、例えば本ビデオ処理装置１００の操作者などによって人為的に与えられるトリガによって指定されてよい。あるいは、本ビデオ処理装置１００の外部から与えられるイベント情報などをトリガとして指定されてもよい。
切り出し領域算出部１０６は、指定開始時刻記憶部１０７から開始フレームのタイムコードを読み出すとともに指定終了時刻記憶部１０８から終了フレームのタイムコードを読み出す。切り出し領域算出部１０６は、開始フレームのタイムコードが示す時刻から終了フレームのタイムコードが示す時刻までの時間区間の、移動体の１以上の位置情報を位置情報記憶部１０４から読み出す。切り出し領域算出部１０６は、位置情報記憶部１０４から読み出した１以上の位置情報が示す１以上の位置を含む第２のフレーム解像度の縦横比を有する領域を切り出し領域として算出する。この切り出し領域の算出方法は、後でさらに詳しく説明する。
切り出しビデオ生成部１０９は、指定開始時刻記憶部１０７から開始フレームのタイムコードを読み出すとともに指定終了時刻記憶部１０８から終了フレームのタイムコードを読み出す。切り出しビデオ生成部１０９は、開始フレームのタイムコードから終了フレームのタイムコードが示す時刻までの時間区間の各フレームをビデオ記憶部１０２から読み出し、読み出した各フレームの切り出し領域にあたる部分のビデオデータを切り出す。
これによって、開始フレームのタイムコードが示す時刻から終了フレームのタイムコードが示す時刻までの時間区間に移動体が移動した範囲を少なくとも含む第２のフレーム解像度の縦横比を有する矩形領域１２の上記時間区間分のビデオデータが、第１のビデオ信号の上記時間区間の各フレームから切り出される。
切り出しビデオ生成部１０９は、各フレームから切り出された各ビデオデータをフルHDなどの第２のフレーム解像度となるように拡大（画素補間）または縮小（画素間引き）することによって第２のビデオデータを生成する。
ビデオ出力部１１０は、切り出しビデオ生成部１０９によって切り出された第２のビデオデータを第２のビデオ信号である例えばHD-SDI信号などに変換して出力する。HD-SDIはhigh-definition serial digital interfaceという伝送規格である。
ビデオ出力部１１０はバッファを有する。ビデオ出力部１１０は、切り出しビデオ生成部１０９から間欠的に供給される第２のビデオデータをバッファで遅延させて連続的なHD-SDI信号などの第２のビデオ信号として出力する。
以上により、カメラ１より伝送された第１のフレーム解像度を有する第１のビデオ信号から、時間区間に移動体が移動した範囲を少なくとも含む第２のフレーム解像度を有する上記時間区間分の第２のビデオ信号が得られる。この第２のビデオ信号は、上記時間区間に移動体が移動した矩形の範囲を含む範囲を第１のビデオ信号の映像に対してズームインした映像となる。
ビデオ出力部１１０より出力されたHD-SDI信号は、外部の例えばHD放送機器等に、ビデオ入力部１０１に入力される第１のビデオ信号と同じフレームレートで伝送される。
クリップ記憶部１１１は、切り出しビデオ生成部１０９によって生成された第２のフレーム解像度を有する第２のビデオデータをファイル化してランダムアクセス可能な状態のビデオクリップとして記憶する。
［時間区間の開始／終了時刻の設定方法］
サッカーなどのスポーツのライブ放送では、コーナーキックやフリーキックなどの注目プレイのビデオクリップを迅速に作成して視聴者に提供できることが望まれる。そこで、本ビデオ処理装置１００は、競技が進行する中で、ビデオデータを切り出す時間区間の開始と終了の各時刻を操作者がリアルタイムに指定できるように構成されている。
図４は、ビデオデータを切り出す時間区間の開始と終了の各時刻を設定する時間区間設定部１２０の構成を示すブロック図である。
時間区間設定部１２０は、時刻提供部１２１と、開始時刻トリガ受信部１２２と、終了時刻トリガ受信部１２３とを有する。
時刻提供部１２１は、時計機能を有し、ビデオ入力部１０１に入力された第１のビデオ信号に付加されたタイムコード、あるいはインターネット上の時刻サーバにアクセスして取得した時刻に時計機能を同期させる。
開始時刻トリガ受信部１２２は、ビデオデータを切り出す時間区間の開始の時刻を指定する外部からのトリガを受けると、時刻提供部１２１に時刻を問い合わせ、時刻提供部１２１から応答された時刻を示すタイムコードを指定開始時刻記憶部１０７に設定する。
終了時刻トリガ受信部１２３は、ビデオデータを切り出す時間区間の終了の時刻を指定する外部からのトリガを受けると、時刻提供部１２１に時刻を問い合わせ、時刻提供部１２１から応答された時刻を示すタイムコードを指定終了時刻記憶部１０８に設定する。
外部のトリガを発生させる方法としては、操作者がマニュアルでトリガを入力する方法のほか、例えばコーナーキックやフリーキックなどの注目プレイが行われることを第１のビデオ信号に対する画像認識や競技場に設置されたセンサーにより検出することによってトリガを発生する方法などがある。
このような時間区間設定部１２０を設けたことによって、ビデオデータを切り出す時間区間の開始と終了の各時刻をリアルタイムで指定することができ、ビデオクリップを迅速に作成して視聴者に提供できる。
［ビデオ処理システム１０の構成とビデオ処理装置１００のより具体的な構成］
図５は、第１の実施形態のビデオ処理装置１００を用いたビデオ処理システム１０の構成とビデオ処理装置１００のより具体的な構成を示すブロック図である。
ビデオ処理システム１０は、主にカメラ１と、位置情報生成装置１４０と、ビデオ処理装置１００からなる。
ビデオ処理装置１００はコンピュータ１３０により実現可能である。
コンピュータ１３０は、CPU（Central Processing Unit）１３１、ROM（Read Only Memory）１３２、RAM（Random Access Memory）１３３、GPU（Graphics Processing Unit）１３４、操作入力部１３５、ディスプレイ１３６、ストレージデバイス１３７、ネットワークインタフェース１３８、バス回路１３９などを備える。コンピュータ１３０は、さらに、ビデオ入力部１０１である第１のビデオ信号の入力インタフェース、位置情報入力部１０３である位置情報の入力インタフェース、ビデオ出力部１１０である第２のビデオ信号の出力インタフェースなどを備える。
CPU１３１は、コンピュータ１３０のメインメモリとして用いられるRAM１３３に格納されたプログラムを実行することによって、上記のビデオ処理装置１００の少なくとも変換部１０５、切り出し領域算出部１０６、切り出しビデオ生成部１０９などとして動作する。
RAM１３３は、コンピュータ１３０のメインメモリとして用いられる。メインメモリは、上記のビデオ処理装置１００のビデオ記憶部１０２、位置情報記憶部１０４、指定開始時刻記憶部１０７および指定終了時刻記憶部１０８などとしても用いられる。
GPU１３４は、CPU１３１と共に動作して、ビデオデータの各種編集処理を行う。すなわち、GPU１３４は上記のビデオ処理装置１００の例えば切り出しビデオ生成部１０９におけるビデオデータの拡大処理および縮小処理などにも用いられてもよい。
操作入力部１３５は、キーボード、マウス、マイクロホンなどの、操作者が各種の情報や指令をコンピュータ１３０に入力するためのインタフェースである。操作入力部１３５は、上記の時間区間設定部１２０に、操作者がビデオデータを切り出す時間区間の開始の時刻を指定するトリガを入力するための手段として用いられてよい。
ディスプレイ１３６は、液晶ディスプレイなど、操作者に各種の情報を提示するためのインタフェースである。
ストレージデバイス１３７は、例えばHDD（Hard Disk Drive）やSSD（Solid State Drive）などの大容量の不揮発性記憶装置である。ストレージデバイス１３７は、上記のクリップ記憶部１１１などとして用いられる。また、第１のビデオ信号の第１のビデオデータ、第１のビデオデータから切り出されたビデオデータ、さらには第２のフレーム解像度を有する第２のビデオデータの記憶領域として用いられてもよい。
ネットワークインタフェース１３８は、LAN（Local Area Network）、WAN（Wide Area Network）などのネットワーク２０との接続を処理するインタフェースである。
［位置情報生成装置１４０の構成］
次に、ビデオ処理システム１０に属する位置情報生成装置１４０の構成について説明する。
位置情報生成装置１４０は、各移動体の位置情報を周期的に生成し、生成された位置情報にタイムコードを付加してビデオ処理装置１００に送信する装置である。位置情報を供給する周期は例えば0.2秒程度でよい。但し、この周期は短いほど好ましい。
位置情報生成装置１４０は、画像認識部１４１、移動体ＧＰＳ情報受信部１４２、センサー出力受信部１４３および位置情報算定部１４４などで構成される。
画像認識部１４１は、第１のビデオ信号の被写体における対象の移動体（ボール３と各競技者４）の位置情報（第１のビデオ信号の画枠１１内の座標系における位置情報）を画像認識技術により算出し、位置情報算定部１４４に出力する。画像認識部１４１は、例えば、0.2秒程度の周期で各移動体の位置情報を算出し、認識対象のフレームのタイムコードを上記位置情報に付加して位置情報算定部１４４に出力する。
移動体ＧＰＳ情報受信部１４２は、図１に示したように、例えば各競技者４に取り付けられたＧＰＳ発信機５から発信された時刻データ付きの移動体ＧＰＳ情報を受信し、位置情報算定部１４４に出力する。
センサー出力受信部１４３は、図１に示したように、競技エリア２のゴールラインなどの特定の位置を対象の各移動体が通過したことを検出する移動体通過センサー６の時刻データ付きの通過検出データを受信し、位置情報算定部１４４に通過検出情報を送信する。
位置情報算定部１４４は、画像認識部１４１、移動体ＧＰＳ情報受信部１４２およびセンサー出力受信部１４３から受信した各情報を個別にまたは総合的に処理することによって移動体の位置情報を算定する。
位置情報算定部１４４による画像認識部１４１、移動体ＧＰＳ情報受信部１４２およびセンサー出力受信部１４３から受信した各情報の総合的な処理の例を説明する。
１．位置情報決定部１４４は、画像認識部１４１によって認識されたボール３などの移動体のタイムコード付きの位置情報を、センサー出力受信部１４３より受信した時刻データ付きの通過検出データ（例えば、ボール３などの移動体が競技エリア２のエンドラインを何時通過したかを示すデータなど）と照合するなどして確定する。
２．位置情報算定部１４４は、移動体ＧＰＳ情報受信部１４２より供給された競技者４の競技エリア２の地上座標系における時刻データ付き位置情報を第１のビデオ信号の画枠の座標系の位置情報に変換し、これを画像認識部１４１によって認識された各競技者４のタイムコード付きの位置情報や、センサー出力受信部１４３より供給された時刻データ付きの通過検出データと照合するなどして、各競技者４の位置情報を確定する。
なお、画像認識部１４１、移動体ＧＰＳ情報受信部１４２およびセンサー出力受信部１４３の間で相互に情報を交換するようにしてもよい。これにより、各々の方法による位置情報の計算精度の向上を期待できる。
［ビデオクリップ作成処理］
次に、ビデオ処理装置１００によるビデオクリップ作成処理について説明する。
図６は、ビデオクリップ作成処理の前段のビデオ入力処理のフローチャートである。
図７は、ビデオクリップ作成処理の前段の位置情報入力処理のフローチャートである。
図８は、ビデオクリップ作成処理のフローチャートである。
（ビデオ入力処理）
図６に示すように、ビデオ入力部１０１は、カメラ１より伝送されたタイムコード付きの第１のフレーム解像度を有する第１のビデオ信号を入力する（ステップＳ１０１）。ビデオ入力部１０１は、入力した第１のビデオ信号における各フレームの第１のビデオデータを、ビデオ信号に付加されたタイムコードと対応付けてビデオ記憶部１０２に記憶する（ステップＳ１０２）。
（位置情報入力処理）
図７に示すように、位置情報入力部１０３は、位置情報生成装置１４０からタイムコードが付加された移動体の位置情報を受信する（ステップＳ２０１）。ここで、位置情報に付加されたタイムコードは、ビデオ信号に付加されたタイムコードと同期したものであることが好ましいが、略同期したものであってもよい。位置情報入力部１０３は、受信した移動体の位置情報をタイムコードと対応付けてメインメモリ内の位置情報記憶部１０４に記憶する（ステップＳ２０２）。
（ビデオクリップ作成処理）
図８に示すように、ビデオ処理装置１００のコンピュータ１３０において、CPU１３１（時間区間設定部１２０の時刻提供部１２１）は、ビデオ入力部１０１に入力された第１のビデオ信号に付加されたタイムコードが示す時刻に、内蔵時計（リアルタイム・クロック）の時刻を同期させる（ステップＳ３０１）。なお、タイムコードは、ネットワークインタフェース１３８を用いてネットワーク２０上の時刻サーバから取得してもよい。あるいは、カメラ１と通信してカメラ１の内蔵時計と同期させてもよい。
次に、CPU１３１（時間区間設定部１２０の開始時刻トリガ受信部１２２）は、ビデオデータの切り出し開始時刻を指定するためのトリガの入力を待つ（ステップＳ３０２）。
ビデオデータの切り出し開始時刻を指定するためのトリガが入力されると、CPU１３１（開始時刻トリガ受信部１２２）は、そのトリガが入力された時刻を時刻提供部１２１に問い合わせ、応答された時刻を示すタイムコードt1をRAM１３３（指定開始時刻記憶部１０７）に切り出し開始時刻Tsとして記憶させる（ステップＳ３０３）。
続いて、CPU１３１（時間区間設定部１２０の終了時刻トリガ受信部１２３）は、ビデオデータの切り出し終了時刻を指定するためのトリガの入力を待つ（ステップＳ３０４）。
ビデオデータの切り出し終了時刻を指定するためのトリガが入力されると、CPU１３１（終了時刻トリガ受信部１２３）は、そのトリガが入力された時刻を時刻提供部１２１に問い合わせ、応答された時刻を示すタイムコードt2をRAM１３３（指定終了時刻記憶部１０８）に切り出し終了時刻Teとして記憶させる（ステップＳ３０５）。
CPU１３１（切り出し領域算出部１０６）は、RAM１３３（指定開始時刻記憶部１０７）からタイムコードt1を読み出すとともにRAM１３３（指定終了時刻記憶部１０８）からタイムコードt2を読み出す。CPU１３１（切り出し領域算出部１０６）は、タイムコードt1からタイムコードt2までの時間区間の位置情報を位置情報シーケンスPaとしてRAM１３３（位置情報記憶部１０４）から読み出す（ステップＳ３０６）。タイムコードt1からタイムコードt2までの時間区間とは、t1以後からt2前（t2は含まない。）までの時間区間である。以降これをt1-t2区間と表記する。他の時間区間についても同様に表記する。
CPU１３１（変換部１０５）は、位置情報シーケンスPaにおける各位置情報（移動体の地上座標系における位置情報）を第１のビデオ信号の画枠の座標系の位置情報（位置情報シーケンスPp）に変換する（ステップＳ３０７）。
CPU１３１（切り出し領域算出部１０６）は、位置情報シーケンスPpにおける各位置情報が示す各々の位置を含む矩形（t1-t2区間に移動体が移動した矩形範囲）を算出する。この矩形は、より具体的には、各々の位置に外接する矩形であってよい。
CPU１３１（切り出し領域算出部１０６）は、算出した矩形に所定のマージンDmを加えた矩形R12を算出する（ステップＳ３０８）。
CPU１３１（切り出し領域算出部１０６）は、算出された矩形R12を含み、かつ第２のフレーム解像度の縦横比を有する矩形R0を切り出し領域として算出する（ステップＳ３０９）。
CPU１３１（切り出しビデオ生成部１０９）は、RAM１３３（ビデオ記憶部１０２）から、t1-t2区間の各フレームを読み出し、各フレームから切り出し領域R0にあたるビデオデータを切り出す。さらに、CPU１３１（切り出しビデオ生成部１０９）は、切り出された各ビデオデータを、必要に応じて第２のフレーム解像度となるように拡大（画素補間）または縮小（画素間引き）する。これにより、指定された時間区間に移動体が動いた範囲を少なくとも含む、第２のフレーム解像度の第２のビデオデータが得られる（ステップＳ３１０）。
CPU１３１は、t1-t2区間の第２のフレーム解像度の第２のビデオデータをビデオクリップとするためにファイル化し、ストレージデバイス１３７（クリップ記憶部１１１）に保存する（ステップＳ３１１）。
［遅延ライブ処理］
以上、指定された時間区間のビデオクリップを作成する処理について説明したが、本ビデオ処理装置１００は、入力された第１のフレーム解像度の第１のビデオ信号から、予め設定された時間区間毎に、移動体が移動した範囲を含む第２のフレーム解像度を有する第２のビデオ信号を連続的に生成することが可能である。
この場合、時間区間の長さを例えば10秒とすると、本ビデオ処理装置１００に第１のビデオ信号が入力されてから第２のビデオ信号が出力されるまでに、常に10秒以上の遅延が発生する。但し、この程度の遅延時間であれば、概ねライブ放送においては問題はない。被写体の種類（競技）により、好適な時間区間の長さは異なるが、例えば画枠の中で移動する移動体（ボール）の速度などを考慮して、１秒から２０秒の間で設定する構成が可能である。この第１のビデオ信号から予め指定された間隔の時間区間毎に、移動体が移動した範囲の第２のビデオ信号を連続的に生成する処理を以下では「遅延ライブ処理」と呼ぶこととする。なお、時間区間を長めにすることで、画枠が安定する時間が長くなり、視聴者の疲れを減らすことができる。逆に時間区間を短めにすると、より細部を鑑賞・観戦でき視聴者の興奮度を上げることができる。このような調整ができることは、本技術の効果の一つである。
本明細書では、遅延ライブ処理として２種類の遅延ライブ処理Ａと遅延ライブ処理Ｂを開示する。
［遅延ライブ処理Ａ］
図９は、遅延ライブ処理Ａのタイミング図である。
同図の最下部に示すt1,t2,t3,・・・は時計上のタイムコードの時間軸を示している。t1,t2,t3,・・・の各々の間隔は例えば5秒、10秒などである。
t1-t2区間はt1以後からt2前（t2は含まない。）までの区間を意味する。同様に、t2-t3区間はt2以後からt3前（t3は含まない。）までの区間を意味する。
まず、t1-t2区間の第１のビデオ信号の受信および記憶が時刻t1からやや遅れて開始される。また、t1-t2区間の移動体の位置情報の受信および記憶がt1-t2区間の第１のビデオ信号の受信および記憶の開始にやや遅れて開始される。
t1-t2区間の位置情報の受信および記憶が終了すると、t1-t2区間の位置情報を第１のビデオ信号の画枠の座標系の位置情報に変換する処理が開始される。
変換処理が完了すると、この変換されたt1-t2区間の位置情報をもとに切り出し領域が算出される。
切り出し領域が算出されると、t1-t2区間の第１のビデオ信号の各フレームから当該切り出し領域にあたるビデオデータが切り出される。ビデオデータが切り出される毎に、そのビデオデータが第２のフレーム解像度となるように拡大または縮小されて、第２のビデオデータとなる。
第２のフレーム解像度とされた第２のビデオデータは、生成されたものから順に、ビデオ出力部１１０によって第２のビデオ信号にエンコードされて出力される。
t2-t3区間の第１のビデオ信号の受信および記憶は、先行するt1-t2区間の第１のビデオ信号の受信および記憶が終了次第に開始される。同様に、t2-t3区間の移動体の位置情報の受信および記憶も、先行するt1-t2区間の移動体の位置情報の受信および記憶が終了次第に開始される。そして、位置情報の座標系の変換、切り出し領域の算出、ビデオデータの切り出し、第２のビデオ信号の出力が、先行するt1-t2区間の処理と同様に繰り返される。
図１０は、上記２つの時間区間（t1-t2区間とt2-t3区間）の処理において生成される２つの切り出し領域の例を示す図である。
図１０において、実線で示される全体の矩形はカメラ１により撮影された第１のビデオ信号の全体の画枠１１であり、破線で示される矩形領域１２がt1-t2区間に対する切り出し領域であり、同じく破線で示される矩形領域１３がt2-t3区間に対する切り出し領域である。
［切り出し領域の算出方法］
CPU１３１（切り出し領域算出部１０６）は、t1-t2区間の位置情報をもとにt1-t2区間の切り出し領域１２を算出する。この例ではt1-t2区間に位置情報が指す３つの位置P1,P2,P3が存在する。CPU１３１（切り出し領域算出部１０６）は、これら３つの位置P1,P2,P3を含む矩形に所定のマージンを加えた矩形を算出し、このマージンを加えた矩形を含む、第２のフレーム解像度の縦横比の領域を切り出し領域１２として生成する。
同様に、CPU１３１（切り出し領域算出部１０６）は、t2-t3区間の位置情報をもとにt2-t3区間の切り出し領域１３を算出する。この例ではt2-t3区間に位置情報が指す３つの位置P4,P5,P6が存在する。CPU１３１（切り出し領域算出部１０６）は、これら３つの位置P4,P5,P6を含む矩形に所定のマージンを加えた矩形を算出し、このマージンを加えた矩形を含む、第２のフレーム解像度の領域を切り出し領域１３とする。
さらに、詳細に切り出し領域の算出方法を説明する。
図１１は、t1-t2区間の３つの位置P1,P2,P3によって決まるマージン付加前の矩形領域１２Ａを示している。
図１２は、矩形領域１２Ａにマージンを付加した矩形領域１２Ｂを示している。矩形領域１２Ａの左右にマージンＭｈが付加され、上下にマージンＭｖが付加される。ここで、マージンＭｈとマージンＭｖは同一の値でもよいし、異なる値であってもよい。
図１３は、マージンを付加した矩形領域１２Ｂを広げて、第２のフレーム解像度の縦横比に調整することによって作成された切り出し領域１２を示している。
なお、フルHDの縦横比は16:9である。マージンを付加した矩形領域１２Ｂと切り出し領域１２は互いに中心を一致させた位置関係としている。これら限らず、マージンを付加した矩形領域１２Ｂに対して、移動体が移動する方向またはその逆方向に切り出し領域１２をずらしてもよい。
マージンの付加や縦横比の調整によって切り出し領域が第１のビデオ信号の全体の画枠１１から計算上はみ出てしまう場合には、その全体の画枠１１に収まるように、マージンの付加の仕方を変えたり、マージンを付加した矩形領域１２Ｂに対する切り出し領域１２の位置関係を変えてもよい。マージンは、例えば垂直方向は被写体領域の２ｍに相当する長さ以上とし、水平方向は被写体領域の１ｍに相当する長さ以上とすることで、移動体に接している人間が欠けないようにできる。あるいは、切り出し領域の中央から端までの１／３がマージンとなるように単純に決めてもよい。
［遅延ライブ処理Ｂ］
図１４は、遅延ライブ処理Ｂを示すタイミング図である。
ここでは連続する３つの時間区間（t1-t2区間、t2-t3区間、t3-t4区間）が示されている。
この遅延ライブ処理Ｂでは、t1-t3区間の位置情報をもとに算出された切り出し領域を使って、t1-t2区間の第１のビデオ信号のフレームからのビデオデータの切り出しが行われる。すなわち、t1-t2区間から見て未来のt2-t3区間を含むt1-t3区間の位置情報を用いて算出された切り出し領域を使ってt1-t2区間の第１のビデオ信号のフレームからのビデオデータの切り出しが行われるので、移動体であるボール３が移動していく先の領域を含めた第２のビデオ信号が得られる。
次のサイクルでも同様に、t2-t4区間の位置情報をもとに算出された切り出し領域を使って、t2-t3区間の第１のビデオ信号のフレームからのビデオデータの切り出しが行われ、第２のビデオ信号が出力される。
以降同様に処理が繰り返される。
図１５は、上記の遅延ライブ処理Ｂでt1-t3区間の位置情報をもとに算出された切り出し領域を示す図である。
この例ではt1-t2区間に位置情報が指す３つの位置P1,P2,P3が存在し、t2-t3区間に位置情報が指す３つの位置P4,P5,P6が存在する。
CPU１３１（切り出し領域算出部１０６）は、t1-t3区間に存在する位置情報をもとにt1-t2区間の切り出し領域１２を算出する。より詳細には、CPU１３１（切り出し領域算出部１０６）は、t1-t3区間に存在する６つの位置P1,P2,P3,P4,P5,P6を含む矩形に所定のマージンを付加し、マージンを加えた矩形を含む、第２のフレーム解像度の縦横比を有する領域を切り出し領域１４として算出する。この切り出し領域１４は、t1-t2区間の第１のビデオ信号の各フレームからビデオデータを切り出すために使用される。言い換えれば、ボール３がP1の位置からP3の位置にある時間区間に使用される。したがって、t1-t2区間の最後の時刻より、ボール３が移動していく先の領域を含めたビデオデータが得られる。
また、t1-t2区間とt2-t3区間の前半区間に存在する位置情報をもとにt1-t2区間の切り出し領域１４を算出し、t2-t3区間とt3-t4区間の前半区間に存在する位置情報をもとにt2-t3区間の切り出し領域１４を算出してもよい（図２１参照）。あるいは、t1-t2区間の位置情報とt2-t3区間の先頭より１以上の所定の数の位置情報をもとにt1-t2区間の切り出し領域１４を算出してもよい。
また、t1-t(1+n)区間に存在する位置情報をもとにt1-t2区間の切り出し領域１４を算出してもよい。nは１以上の整数である。
［遅延ライブ処理Ｂの動作詳細］
次に、本ビデオ処理装置１００での遅延ライブ処理Ｂの動作の詳細を説明する。
図１６は、この遅延ライブ処理Ｂの手順を示すフローチャートである。
なお、この遅延ライブ処理Ｂの動作詳細では、切り出し領域のサイズが変化する際の視聴者に与え得る違和感を緩和するための処理などが新たに追加されている。
第１のビデオ信号の受信処理および位置情報の受信処理について前述したビデオクリップ作成時と同じであるため、ここでは説明を省く。
まず、CPU１３１（切り出し領域算出部１０６）は、反復動作のための変数の初期化を行う。反復動作のための変数としては、切り出し領域のサイズRvと、切り出し領域のサイズを変化させるフレーム数である補間フレーム数Nがある。これらの変数の初期化は、例えば、Rvを第１のビデオ信号の全体画枠１１のフレーム解像度の値とし、Nを4とすることなどによって行われる（ステップＳ４０１）。
次に、CPU１３１（時間区間設定部１２０の時刻提供部１２１）は、ビデオ入力部１０１に入力された第１のビデオ信号に付加されたタイムコードが示す時刻に、内蔵時計（リアルタイム・クロック）の時刻を同期させる（ステップＳ４０２）。なお、時刻の情報は、ネットワークインタフェース１３８を用いてネットワーク２０上の時刻サーバから取得してもよい。あるいは、カメラ１と通信してカメラ１の内蔵時計と同期させてもよい。
次に、CPU１３１（時刻提供部１２１）は、内蔵時計の現在時刻を示すタイムコードt1を、RAM１３３（指定開始時刻記憶部１０７）に切り出し開始時刻Tsとして記憶させる（ステップＳ４０３）。
なお、上記のようにCPU１３１が動作する一方で、カメラ１より第１のビデオ信号が本ビデオ処理装置１００にビデオ入力部１０１から入力され、RAM１３３（ビデオ記憶部１０２）に記憶される。
CPU１３１（時刻提供部１２１）は、Ts+Tdの時刻を示すタイムコードt2を、RAM１３３（指定終了時刻記憶部１０８）に切り出し終了時刻Teとして記憶させる（ステップＳ４０４）。ここで、Tdは、切り出し領域を算出するための固定の時間区間長であり、例えば、5秒、10秒などである。
CPU１３１（切り出し領域算出部１０６）は、Te+Tdの時刻までの位置情報がRAM１３３（位置情報記憶部１０４）に記憶されるまで待つ（ステップＳ４０５）。
CPU１３１（切り出し領域算出部１０６）は、Te+Tdの時刻までの位置情報がRAM１３３（位置情報記憶部１０４）に記憶されたところで、切り出し開始時刻TsからTe +Tdまでの時間区間の複数の位置情報を位置情報シーケンスPbとしてRAM１３３（ビデオ記憶部１０２）から読み出す（ステップＳ４０６）。TsからTe+Tdまでの時間区間は、時刻Ts以後で、Te+Td前（Te+Tdは含まない。）までの時間区間である。
CPU１３１（変換部１０５）は、位置情報シーケンスPbにおける各位置情報（移動体の地上座標系における位置情報）を第１のビデオ信号の画枠の座標系の位置情報に変換する（ステップＳ４０７）。変換された位置情報の系列を位置情報シーケンスPqとする。
CPU１３１（切り出し領域算出部１０６）は、位置情報シーケンスPqにおける各位置情報が示す各々の位置を含む矩形を算出する。CPU１３１（切り出し領域算出部１０６）は、算出した矩形に所定のマージンDmを加えた矩形R13を算出する（ステップＳ４０８）。
CPU１３１（切り出し領域算出部１０６）は、算出された矩形R13を含み、かつ第２のフレーム解像度の縦横比を有する矩形Rwを切り出し領域として算出する（ステップＳ４０９）。
次に、切り出し領域の位置やサイズの急変に対して視聴者が違和感を覚えることを緩和するために、CPU１３１（切り出し領域算出部１０６）は、切り出し領域を矩形Rvから矩形Rwに(N+1)フレームかけて徐々に変化させるためのN個の補間矩形を算出する（ステップＳ４１０）。
図１７は、N個の補間矩形の例を示す図である。
矩形Rvから矩形Rwにかけて時間順に作成されるN個の矩形R1,R2,R3,R4が補間矩形である。
CPU１３１（切り出しビデオ生成部１０９）は、RAM１３３（ビデオ記憶部１０２）より、切り出し開始時刻TsからN個のフレームを読み出し、切り出し開始時刻Tsのフレームから順番に、そこからR1,R2,R3,R4,Rwの順番に矩形領域を適用してビデオデータを各々切り出す（ステップＳ４１１）。
その後、CPU１３１（切り出しビデオ生成部１０９）は、RAM１３３（ビデオ記憶部１０２）より、時刻Te前までの各フレームを読み出し、これらのフレームから、矩形Rwの領域にあたるビデオデータを各々切り出す（ステップＳ４１２）。
CPU１３１（切り出しビデオ生成部１０９）は、各フレームから切り出された各ビデオデータを、必要に応じて、出力用の所定のフレーム解像度となるように拡大（画素補間）または縮小（画素間引き）する。これにより、時刻Tsから時刻Teの時間区間に移動体が動いた範囲を少なくとも含む第２のフレーム解像度を有する第２のビデオデータが得られる。
第２のフレーム解像度とされた第２のビデオデータは、生成されたものから順に、ビデオ出力部１１０によって第２のビデオ信号にエンコードされて出力される（ステップＳ４１３）。
最後に、CPU１３１は、次の処理サイクルのための準備として、切り出し開始時刻TsをTeフレームに対応する値で更新し、切り出し開始時刻TeをTs+Tdの値で更新し、さらに切り出し領域の変数Rvの値をRwの値で更新する（ステップＳ４１４）。
なお、Te時刻に正確に一致するタイムコードのフレームが存在しない場合は、それ以降で最も近いタイムコードの時刻をTsとする。
図１６のフローチャートとその説明では、時間区間毎の第２のビデオデータは、この時間区間分の生成が完了してからビデオ出力部１１０に供給されることとしたが、第２のビデオデータのフレームが作成される都度、ビデオ出力部１１０に供給されてもよい。このようにすることによって、第１のビデオ信号が入力されてから第２のビデオ信号が出力するまでの遅延時間を減らすことができる。
図１６のフローチャートとその説明では、各処理を順次行う場合を想定したが、パイプライン処理が可能な処理については、用意されたデータから順に、並行して行うようにしてもよい。
さらに、上記の説明では、例えば、t1-t2区間をt1以後からt2前（t2を含まない。）とし、t2-t3区間をt2以後からt3前（t2を含まない。）としたが、t1-t2区間をt1以後からt2以前（t2を含む。）とし、t2-t3区間をt2以後からt3以前（t3を含む。）のように、境界の時刻を前後の各単位区間で共有してもよい。
以上の動作により、第１のビデオ信号の受信とは別に外部から遅れて到着する位置情報を用いて、かつ、時刻情報を有効に利用し、切り出し領域が算出される。例えば競技場のセンサーによるボールの位置の検知結果などを有効に利用することが可能である。
次に、上記の実施形態のビデオ処理装置１００の変形例および補足の説明を行う。
＜変形例１＞
［イベント情報に基づく時間区間の指定］
上記の実施形態のビデオ処理装置１００のCPU１３１は、外部のイベント情報発生装置からのイベント情報を受けて、第１のビデオ信号の画枠においてそのイベント情報に対応する領域を含む領域を切り出し領域を一意に設定してもよい。
イベント情報とは、例えば、サッカー競技にあってはコーナーキック、ペナルティキック、フリーキックなど、注目プレイが行われる場所や注目プレイの種類などをビデオ処理装置１００に通知する情報である。例えば、コーナーキックの場合、このコーナーキックから始まる一連のプレイが行われるゴールエリア付近を含めたエリアを特定する情報などを含むイベント情報がビデオ処理装置１００のCPU１３１に通知される。
なお、このエリアを特定する情報は、例えば、競技エリア２を複数のエリアに区分し、各々のエリアに割り当てられるIDなどであってよい。
図５に示すように、イベント情報は、例えばビデオ処理装置１００とネットワーク２０を通じて通信可能な外部の情報処理装置などのイベント情報発生装置１６０からビデオ処理装置１００に送信されるものであってよい。このイベント情報発生装置１６０は、例えば、操作者からの指令に従って、イベント情報をネットワーク２０を通じてビデオ処理装置１００に送信する。ビデオ処理装置１００のCPU１３１は、このイベント情報を受信すると、例えば、そのイベントの情報に対応する領域を含む領域を切り出し領域として設定する。
また、CPU１３１は、例えば、外部からのイベント終了を指示する情報を受けて、切り出し領域の前記設定を解除し、移動体の位置情報をもとに切り出し領域を算出する動作モードに戻る。
また、イベント情報発生装置１６０からは、操作者からの指令のみならず、第１のビデオ信号に対する画像認識あるいはセンサーからの情報によって注目プレイが行われることを判定し、イベント情報をネットワーク２０を通じてビデオ処理装置１００に送信するものであってよい。
＜変形例２＞
［複数のカメラを用いた方法］
図１８は、複数のカメラ１ａ、１ｂ、１ｃ、１ｄ、１ｅ、１ｆ、１ｇ、１ｈを競技エリア２の周囲に配置した例である。
この例では、競技エリア２の周囲に、競技エリア２を４方向から各々俯瞰するための４機のカメラ１ａ、１ｂ、１ｃ、１ｄと、競技エリア２の一方のゴールエリア付近の領域を競技エリア２の短辺に沿った方向であるＹ１方向およびその逆方向（Ｙ２方向）から撮影可能な２機のカメラ１ｅ、１ｇと、競技エリア２の他方のゴールエリア付近の領域をＹ方向およびその逆方向（Ｙ２方向）から撮影可能な２機のカメラ１ｆ、１ｈの、計８機のカメラが配置されている。
俯瞰用のカメラ１ａ、１ｂ、１ｃ、１ｄは例えば８Ｋ解像度のカメラであり、ゴールエリア撮影用のカメラ１ｅ、１ｆ、１ｇ、１ｈ（特定領域用カメラ）は第２のフレーム解像度と同じ解像度を有するカメラ（例えばHD解像度カメラなど）とされる。
ここで、１機の俯瞰用のカメラ１ａと、２機のゴールエリア撮影用のカメラ１ｅ、１ｆの運用を想定する。これらのカメラ１ａ、１ｅ、１ｆは、競技エリア２の短辺方向（Ｙ２方向）の外側に配置されている。
ビデオ処理装置１００のビデオ入力部１０１は、上記８機のカメラ１ａ、１ｂ、１ｃ、１ｄ、１ｅ、１ｆ、１ｇ、１ｈからビデオ信号を入力するチャンネルをCPU１３１からの指示により切り替える切替部１０１ａを有する。切り替え動作は、ビデオ信号のブランキング区間（Vertical blanking interval）に行われる。
なお、このチャンネルの切替部１０１ａは、８機のカメラ１ａ、１ｂ、１ｃ、１ｄ、１ｅ、１ｆ、１ｇ、１ｈとビデオ処理装置１００のビデオ入力部１０１との各ビデオ信号ラインとの間に設けられた切替装置に代えることが可能である。
ビデオ処理装置１００のコンピュータ１３０におけるRAM１３３には、２機のゴールエリア撮影用のカメラ１ｅ、１ｆの各々の画枠内に存在する、ゴールエリアを含む所定領域１５の、競技エリア２内の地上座標系の位置情報が記憶されている。ビデオ処理装置１００のCPU１３１（切り出し領域算出部１０６）は、指定された時間区間における移動体の複数の位置がすべて２機のゴールエリア撮影用のカメラ１ｅ、１ｆのうちいずれかのカメラの画枠内に含まれるという条件を満足するかどうかを判断する。この条件を満足する場合、CPU１３１は、その一方のゴールエリア撮影用のカメラのビデオ信号（第３のビデオ信号）を選択する。
ゴールエリア撮影用のカメラ１ｅ、１ｆが第２のフレーム解像度と同じ例えばHD解像度のカメラであるため、コンピュータ１３０のCPU１３１は、それらのカメラ１ｅ、１ｆから入力されたビデオ信号の全体画枠のビデオデータをそのまま解像度を変えずにビデオ出力部１１０に供給する。
上記条件を満足しない場合は、CPU１３１（切り出し領域算出部１０６）は、俯瞰用のカメラ１ａのビデオ信号（第１のビデオ信号）を選択し、既述の切り出し領域の算出、ビデオデータの切り出し、拡大／縮小を行う。
このため、ゴールエリア撮影用のカメラ１ｅ、１ｆの選択時と俯瞰用のカメラ１ａの選択時とではビデオ信号の入力から第２のビデオ信号が出力されるまでに要する時間に差が生じる。そこで、ゴールエリア撮影用のカメラ１ｅ、１ｆが選択された場合はCPU１３１は、上記の時間差の分だけビデオデータをビデオ処理装置１００内でバッファリングしてビデオ出力部１１０に供給するようにする。これにより、ゴールエリア撮影用のカメラ１ｅ、１ｆのビデオ信号と俯瞰用のカメラ１ａの第１のビデオ信号が時間区間内に切り替わったときに出力される第２のビデオが途切れることがなくなる。
なお、ここでは、位置情報入力部１０３に入力される外部からの位置情報をもとに上記の条件を満足したかどうかを判断して、ゴールエリア撮影用のカメラ１ｅ、１ｆと俯瞰用のカメラ１ａとを切り替えることとしたが、外部から競技に関するイベント情報をリアルタイムに受信し、このイベントの種類に応じて、ゴールエリア撮影用のカメラ１ｅ、１ｆと俯瞰用のカメラ１ａとを切り替えてもよい。
俯瞰用の４機のカメラ１ａ、１ｂ、１ｃ、１ｄの運用を想定した場合のカメラの選択方法としては、例えば、以下が挙げられる。
CPU１３１（切り出し領域算出部１０６）は位置情報シーケンスをもとに移動体の移動方向を判定する。CPU１３１は、移動体の移動先の方向に配置された俯瞰用のカメラの第１のビデオ信号を選択する。例えば、図１９に示すように、指定された時間区間にボール３がＰ１の位置からＰ２の位置に移動されたとする。この場合、ボール３の移動方向はＹ１方向であるため、競技エリア２をＹ１方向の向かい側より撮影する俯瞰用のカメラ１ｂの第１のビデオ信号が選択される。選択された第１のビデオ信号から、同様に切り出し領域の算出、ビデオデータの切り出し、拡大／縮小が行われて第２のビデオ信号が生成される。
さらに、俯瞰用の４機のカメラ１ａ、１ｂ、１ｃ、１ｄに４機のゴールエリア撮影用のカメラ１ｅ、１ｆ、１ｇ、１ｈが加えられた運用においても、同様の方法で、移動体の移動先の方向に配置されたゴールエリア撮影用のカメラのビデオ信号が選択される。
これにより、例えば、ボール３に絡んだ競技者４の主に正面側を撮影したビデオデータを含む第２のビデオ信号が得られる。
なお、カメラは９機以上配置しても構わない。また、競技エリア２を四隅から斜め方向に撮影するカメラを追加してもよい。また第２のフレーム解像度より高い解像度を有するカメラをゴールエリア撮影用のカメラとし、その出力ビデオに対しても切り出しを行わせる構成としてもよい。
複数のカメラのうち１以上のカメラがカメラマンによってPTZ（雲台）操作される場合であっても本変形例は適用される。この場合、ビデオ処理装置１００のCPU１３１は、第１のビデオ信号の画枠内の座標系における位置情報と競技エリア２内の地上座標系の位置情報との変換をPTZ情報を加味して行う。
また、カメラマンによる操作によって、そのカメラマンが操作するカメラのビデオ信号をCPU１３１に選択させるように選択命令を通信できるようにしてもよい。
＜変形例３＞
［変換部を備えないビデオ処理装置］
図２０は、ビデオ処理装置１００Ａの変形例３の構成を示すブロック図である。
第１の実施形態のビデオ処理装置１００は、移動体の地上座標系における位置情報を第１のビデオ信号の全体画枠の座標系の位置情報に変換する変換部１０５を備える。これに対し、変形例３のビデオ処理装置１００Ａは、変換部２０５を有する外部装置２１０より、移動体の地上座標系から第１のビデオ信号の全体画枠の座標系に変換された位置情報を位置情報入力部１０３Ａが入力するように構成される。
位置情報入力部１０３Ａに入力された位置情報は位置情報記憶部１０４に記憶される。切り出し領域算出部１０６は、位置情報記憶部１０４から位置情報を読み出し、読み出した位置情報をもとに切り出し領域を算出する。
また、移動体の位置情報の検出は、ビデオ入力部１０１に入力されるビデオ信号に含まれるビデオデータを解析することによって行うことも可能である。この場合、ビデオ処理装置１００の内外ともに変換部１０５、２０５を省くことができる。
図２１は、１つの時間区間と次の時間区間の前半に存在する位置情報をもとに切り出し領域を算出する場合であって、かつ、外部から第１のビデオ信号の全体画枠の座標系の位置情報が変形例３のビデオ処理装置１００Ａに入力される場合の遅延ライブ処理のタイミング図である。
t1-t2区間の位置情報が位置情報記憶部１０４へ格納され、続いてt2-t3区間の中間の時刻t2+1/2までに存在する位置情報が位置情報記憶部１０４に格納されたところで、CPU１３１は、位置情報記憶部１０４からt1-t2区間の位置情報とt2-t3区間の中間の時刻t2+1/2までの位置情報を読み出し、これらの位置情報をもとに切り出し領域を算出する。CPU１３１は、この切り出し領域を使って、t1-t2区間の第１のビデオ信号のフレームからビデオデータを切り出し、第２のフレーム解像度となるように拡大または縮小してビデオ出力部１１０に供給する。以後の時間区間についても同様の処理が行われる。
すなわち、t2-t3区間の位置情報が位置情報記憶部１０４へ格納され、続いてt3-t4区間の中間の時刻t3+1/2までに存在する位置情報が位置情報記憶部１０４に格納されたところで、CPU１３１は、位置情報記憶部１０４からt2-t3区間の位置情報とt3-t4区間の中間の時刻t3+1/2までの位置情報を読み出し、これらの位置情報をもとに切り出し領域を算出する。CPU１３１は、この切り出し領域を使って、t2-t3区間の第１のビデオ信号のフレームからビデオデータを切り出し、第２のフレーム解像度となるように拡大または縮小してビデオ出力部１１０に供給する。
＜変形例４＞
［遅延ライブ処理における移動体の位置情報の手動補正］
移動体の位置情報の精度を上げるために、移動体の位置を手動により修正できることが望ましい。
そこで、ビデオ処理装置１００とネットワークを通じて接続された遠隔地のコンピュータ１５０を用いて、位置情報生成装置１４０により生成された移動体の位置情報を手動により修正できるようにしてもよい。
遠隔地のコンピュータ１５０は、ビデオ処理装置１００よりネットワーク２０を通じて位置情報生成装置１４０により生成された移動体の位置情報を受信し、時刻情報と対応付けて画像としてモニターに表示する。遠隔地のコンピュータ１５０の修正担当者は、例えば競技をリアルタイムに見ることのできる場所にてこの画像を確認し、実際の競技と見比べるなどして移動体の算出情報の問題をチェックする。問題を発見したならば修正情報を遠隔地のコンピュータ１５０から入力する。入力された修正情報は遠隔地のコンピュータ１５０からネットワーク２０を通じてビデオ処理装置１００に送信される。ビデオ処理装置１００のCPU１３１は、受信した修正情報をもとに、位置情報記憶部１０４に記憶されている該当する位置情報を修正する。
なお、この遠隔地のコンピュータ１５０を使った修正システムを採用する場合には、人為的な修正操作およびコンピュータ１３０間でのやりとりに必要な時間を加味して、遅延ライブ処理などにおける遅延時間が決められる必要がある。
＜変形例５＞
［切り出し領域の最小サイズ］
指定の時間区間内にボール３が略静止していたときなどに、切り出し領域は最小サイズの制限を受けて生成される必要がある。例えば、切り出し領域の最小サイズとしては、ボール３とその周囲の競技者４の体の全体が含まれるようなサイズとすることが好ましい。あるいは、拡大による画質劣化を制限するために、切り出し領域の水平画素数（解像度）が、第２のビデオ信号の水平画素数（解像度）の例えば１／２以上になるように最小サイズを定めてもよい。そこで、ビデオ処理装置１００では、切り出し領域の最小サイズが制限されている。計算上求められた切り出し領域のサイズがもし最小サイズよりも小さい場合には、CPU１３１は、そのサイズを規定の最小サイズに修正する。
ところで、被写体はカメラ１に近い位置にあるほど大きく映り、カメラ１に遠い位置にあるほど小さく映る。このため、単に人間の体の平均的なサイズを考慮して決められた固定の最小サイズでは、ボール３がカメラ１に遠い位置にあるときは切り出し領域が過大となり、逆にボール３がカメラ１に近い位置にあるときは過小となり例えば切り出し領域から競技者４の体がはみ出てしまうおそれがある。
この問題を軽減するため、例えば設置時に操作により、CPU１３１は、第１のビデオ信号の全体画枠の座標系における競技エリア２とカメラとの位置関係と、PTZから得られる情報から、第１のビデオ信号の全体画枠中の各位置に対して、切り出し領域の最適な最小サイズを算出し、RAM１３３に保存しておく。CPU１３１は、この保存された位置毎の切り出し領域の最適な最小サイズを適用して、切り出し領域の算出を行う。
これにより、切り出し領域の最小サイズを良好に決定することができ、たとえばズームインされたシーンにおいて画枠内に競技者４の体の全体を含めた画像が得られる。
＜変形例６＞
［切り出し領域の補正方法１］
CPU１３１は、算出された切り出し領域を、別の観点から補正してもよい。
例えば、切り出し領域に入れる移動体の数の観点から切り出し領域を補正する方法が挙げられる。具体的には、CPU１３１は、例えば、時間区間の少なくとも一時点に、ボール３に対して所定の距離内にいる競技者４のうち、ボール３により近い位置にある所定の数の競技者４が含まれるように切り出し領域を補正してもよい。
例えば、CPU１３１は、指定された時間区間にボール３から５ｍ以内に３人以上の競技者４がいる瞬間の、ボール３に近いものから少なくとも２人の競技者４の位置が切り出し領域に含まれるように切り出し領域の位置およびサイズを補正する。
＜変形例７＞
［切り出し領域の補正方法２］
また、サッカー競技の場合には、ボール３に影響を与えた競技者４の位置が切り出し領域に入るように切り出し領域を補正する方法が挙げられる。
ボール３に影響を与えた競技者４とは、例えば、ボール３の受け渡しが行われた複数の競技者４などのことである。例えば、CPU１３１は、時間区間において、ボール３の位置に予め設定された距離以内に接近した競技者４をボール３に影響を与えた競技者４として判定し、ボール３に影響を与えた競技者４の位置が含まれるように、接近した時刻から設定された時間例えば３秒の後まで切り出し領域を補正する。
＜変形例８＞
［操作者による時間区間の分割］
固定の時間区間で切り出し領域を算出していたのではボール３や競技者４の動きが大きく高速になってきたときに、切り出し領域が平均して大きくなりがちとなり、ズームアウトした画像ばかりが生成されてしまう。そこで、時間区間は適宜変更できることが望ましい。
また、遅延ライブ処理の際には時間区間を変更させるための指示操作を簡単に行えることが好ましい。
操作者による時間区間の変更の指示操作は操作入力部１３５を使って行われる。
時間区間の変更は、例えば、初期設定の時間区間を、操作者からの分割の指示に応じて等分割したり、分割解除の指示に応じて戻したりすることによって行われる。例えば、一回目の分割の指示に従って初期の時間区間は1/2の長さに分割される。さらに次の分割の指示に従って初期の時間区間はから1/4の長さまで分割される。操作者からの時間区間を復帰させる指示が与えられると、初期の時間区間の1/2の長さに戻り、再度操作者からの時間区間を復帰させる指示が与えられると初期の時間区間に戻る。
これにより、ボール３や競技者４の動きが大きく高速になってきたときに、操作者が時間区間を初期の時間区間の1/2や1/4の長さに切り替えることができ、適切な大きさの切り出し領域を作成できる。
＜変形例９＞
［移動体の移動量に基づく時間区間指定トリガの発生］
CPU１３１（位置情報入力部１０３）は、切り出し開始時刻（全体の処理開始時刻あるいは直前の切り出し終了時刻）から、移動体の位置情報の変化量（移動体の移動量）が予め設定された閾値を超えたときに切り出し終了時刻を指定するためのトリガを発生させるように構成されてもよい。これにより、例えば、ボール３が第１の閾値に相当する距離移動する時間区間毎に、切り出し領域が変化する第２のビデオ信号が得られる。
＜変形例１０＞
遅延ライブ処理により生成されたビデオデータはビデオ出力部１１０によって出力されるだけではなく、別の用途のためにストレージデバイス１３７に保存されてもよい。切り出し領域の座標情報もストレージデバイス１３７に保存されてよい。ストレージデバイス１３７に保存された座標情報は、例えば後刻の試合分析に利用できる。
＜変形例１１＞
カメラ１から入力された第１のビデオ信号のビデオデータと遅延ライブ処理により生成されたビデオデータとを対応付けてストレージデバイス１３７に保存してもよい。このようにすることによって、遅延ライブ処理により生成されたビデオデータの少なくとも一部を、第１のビデオ信号のビデオデータからマニュアルで決められた切り出し領域のビデオデータと入れ替えるなどの編集を行うことができる。
＜変形例１２＞
本技術は、サッカーのみならず、バスケット、ラグビーなどの他の競技や、劇場の撮影にも適用できる。
＜変形例１３＞
本ビデオ処理装置１００によって生成される第２のビデオ信号は、遠隔パブリック・ビューイングに使われてもよい。
＜変形例１４＞
切り出し領域の縦横比は可変であってよい。
その場合、本ビデオ処理装置１００の出力先は、例えば、複数の表示器の画面を少なくとも縦および横のいずれか一方に複数並べて１つの画面を構成するディスプレイユニットなどが好適である。より具体的には、縦横比が16:9の解像度を有する表示器を横方向に２つ並べて縦横比が32:9の解像度を有する表示器を構成することができる。
具体的な例を挙げると、ビデオ処理装置１００のCPU１３１は、移動体の位置情報シーケンスをもとに指定の時間区間の移動体の水平方向の移動距離が所定の値よりも大きい場合には切り出し領域の解像度を32:9とし、水平方向の移動距離が所定の値未満である場合には切り出し領域の解像度を16:9とする。後者のとき、CPU１３１は、16:9の解像度の同じビデオデータを２つの表示器に同時に出力するように構成されてもよい。
＜変形例１５＞
指定された時間区間での移動体の移動距離が所定の値よりも小さい場合、ビデオ処理装置１００のCPU１３１は、第２のフレーム解像度の一部の領域にビデオデータをマッピングし、余った領域に例えば広告などの別画像をマッピングすることによって、広告付きの第２のビデオ信号を生成してもよい。
また、この広告付きの第２のビデオ信号を生成する処理は、ボール３などの移動体が予め設定された領域（例えばゴールエリアなど）内にあるときは無効にしてもよい。これにより、注目シーンの場合には、広告を外した第２のビデオ信号が得られる。
＜変形例１６＞
ビデオ処理装置１００のCPU１３１は、競技中にその競技の放送の中断時間（例えばコマーシャル放送時間など）がある場合に、その中断時間の第１のビデオ信号のビデオデータおよび遅延ライブ処理により生成されたビデオデータをストレージデバイス１３７に保存してもよい。CPU１３１は、ストレージデバイス１３７に保存された中断時間のビデオデータのうち、ボール３などの移動体が予め設定された領域（例えばゴールエリアなど）内にある時間区間のビデオデータを読み出し、例えば放送再開のタイミングを受けてビデオ出力部１１０より第２のビデオ信号として出力させるようにしてもよい。
あるいは、ボール３などの移動体の移動距離が予め設定された値より大きい時間区間のビデオデータを読み出し、ビデオ出力部１１０より第２のビデオ信号として出力させてもよい。
さらには、CPU１３１は、外部から入力される競技に関するイベント情報をもとに、ストレージデバイス１３７に保存された中断時間のビデオデータのなかから読み出すビデオデータの時間区間を決定してもよい。
＜変形例１７＞
CPU１３１は、ストレージデバイス１３７に保存された全時間の第１のビデオ信号のビデオデータから重要な時間区間のビデオデータのみを抽出して切り出し処理の対象とすることによって、試合のダイジェストのビデオデータを得ることができる。
重要な時間区間は、例えば、ボール３などの移動体の移動量及び位置をもとに判断したり、外部からのイベント情報をもとに判断すればよい。移動体の移動速度で重要な時間区間を判断してもよい。
＜変形例１８＞
サッカー競技場などの競技エリア２は広いので、その競技エリアが屋外である場合には日光が直接当たる場所とそうでない場所などとで切り出し領域の明るさが大きな差があることがある。このような場合、CPU１３１は、切り出し領域の画像の輝度平均値などの画質条件を各切り出し領域間で一致あるいは近付けるように、画像の補正を行ってもよい。
＜変形例１９＞
カメラ１から得られる第１のビデオ信号が、ビデオ処理装置１００から出力される第２のビデオ信号よりもダイナミックレンジの広いHDR（high dynamic range）画像である場合、CPU１３１は、切り出しによって得たビデオデータに対してその画枠内で最適となるようにダイナミックレンジを狭くする変換を行ってもよい。
＜変形例２０＞
本ビデオ処理装置１００によって得られたビデオデータはスタジアム内表示器へ表示させてもよい。例えば、ゴールシーンなどの注目すべきアクションがあった場合に、操作者が手動でプレイバックを開始させてもよい。
＜変形例２１＞
遅延ライブ処理において、移動体通過センサー６の故障や画像認識の困難さなどによって、移動体の位置情報が想定していた遅延時間内に得られない場合が考えられる。この場合に、CPU１３１は、切り出し領域の算出などの処理をスキップし、切り出し領域を元の入力ビデオ信号の全体画枠にすることによって、遅延ライブ放送に支障が出ないように制御してもよい。
＜変形例２２＞
切り出し領域の変更時の補間処理は、ズームインとなる場合のみ行われるようにしてよい。
＜変形例２３＞
切り出し領域の急激なサイズ変更による視聴者にとっての違和感を緩和するために、切り出し領域が所定のサイズ以下になる場合、CPU１３１は変更前のサイズからの縮小率に制限を設けたり、切り出し領域の変更時の補間数を増やしたりしてもよい。
＜変形例２４＞
CPU１３１は、次の切り出し領域を算出するために用いられる次の時間区間の複数の移動体の位置の全てが現在の切り出し領域の中にあり、内一つの位置が、端から予め定められた距離以上離れている（すなわちその距離以上に画枠の内側の中央よりにある）場合は、切り出し領域を変更しないようにしてもよい。これにより、連続する時間区間の間で移動体の移動量が小さい場合に切り出し領域を変更してかえって見づらい画像となることを回避できるとともに、余計な切り出し領域の算出処理を省くことができる。
＜変形例２５＞
タイムコードや時刻として用いられる値は、同等の時刻情報を生成するカウンタやビデオフレームデータへのポインタなどで代替してよい。
＜変形例２６＞
操作者は、ビデオ処理装置１００での処理で用いられる各種の閾値などの設定値を操作入力部１３５およびディスプレイ１３６を使って任意に設定することができる。
＜変形例２７＞
ビデオ処理装置１００に入力されるビデオ信号は、複数のカメラで撮影した画像をつなぎ合わせて１つの画像のビデオ信号にしたものであってよい。
＜変形例２８＞
本ビデオ処理装置１００は、カメラ１に組み込むことができる。また、本ビデオ処理装置１００は、高解像度ビデオのまま放送されたものを受信し蓄積する家庭用レコーダーに組み込むことができる。
＜変形例２９＞
位置情報としてxy座標を用いたが、z座標を加えた３次元座標を用いることによって、より高い精度での切り出し領域の算出が可能になる。
なお、本技術は以下のような構成もとることができる。
（１）カメラによって第１のフレーム解像度で撮影され、フレーム毎の時刻データが付加された第１のビデオ信号を入力するビデオ入力部と、
前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けて記憶するビデオ記憶部と、
前記第１のビデオ信号に被写体の一部として含まれる特定の移動体の位置情報を受信する位置情報入力部と、
前記受信された位置情報と時刻とを対応付けて記憶する位置情報記憶部と、
時間区間の始まりを特定する時刻を記憶する指定開始時刻記憶部と、
前記時間区間の終わりを特定する時刻を記憶する指定終了時刻記憶部と、
前記位置情報記憶部から前記指定開始時刻記憶部と前記指定終了時刻記憶部により特定される時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成するコントローラと
を具備するビデオ処理装置。
（２）上記（１）のビデオ処理装置であって、
前記コントローラは、前記第２のフレーム解像度の縦横比を有する前記切り出し領域を算出するように構成される
ビデオ処理装置。
（３）上記（１）または（２）のビデオ処理装置であって、
前記生成された第２のビデオデータを含む第２のビデオ信号を前記第１のビデオ信号と同じフレームレートで出力するビデオ出力部
さらに具備するビデオ処理装置。
（４）上記（１）ないし（３）のいずれかのビデオ処理装置であって、
前記コントローラは、１つの前記時間区間の１以上の位置情報と次の時間区間の少なくとも先頭よりの１以上の位置情報が各々示す複数の位置を含む前記切り出し領域を算出するように構成される
ビデオ処理装置。
（５）上記（１）ないし（４）のいずれかのビデオ処理装置であって、
前記時間区間の変更の指示を操作者より受け付ける操作入力部をさらに具備し、
前記コントローラは、前記操作入力部で受け付けた指示に従って前記時間区間を変更するように構成される
ビデオ処理装置。
（６）上記（１）ないし（５）のいずれかのビデオ処理装置であって、
前記コントローラは、次の前記切り出し領域を算出するために用いられる次の時間区間の前記移動体の位置のうち、現在の切り出し領域の端に最も近い位置が、現在の切り出し領域の端から予め定められた距離以上の内側にある場合、切り出し領域の算出をスキップして現在の切り出し領域を有効とするように構成される
ビデオ処理装置。
（７）上記（１）ないし（６）のいずれかのビデオ処理装置であって、
前記コントローラは、外部から、前記被写体の場所を特定する情報を含むイベント情報を受けて、前記第１のビデオ信号の画枠において前記イベント情報により特定される場所を含む領域を前記切り出し領域として設定するように構成される
ビデオ処理装置。
（８）上記（１）ないし（７）のいずれかのビデオ処理装置であって、
前記ビデオ入力部は、共通の前記被写体を異なる方向から撮影する複数のカメラによって各々撮影され、第１のフレーム解像度を有し、フレーム毎の時刻データが付加された複数の第１のビデオ信号の１つを選択する切替部を有し、
前記コントローラは、前記位置情報記憶部から少なくとも１つの前記時間区間の１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置をもとに前記移動体の移動方向を判定し、前記判定された移動体の移動方向に対して撮影方向が対向または略対向する１つの前記カメラの第１のビデオ信号を前記切替部に選択させるように構成される
ビデオ処理装置。
（９）上記（８）のビデオ処理装置であって、
前記ビデオ入力部の前記切替部は、前記複数の第１のビデオ信号に加え、前記被写体の特定の領域を前記第２のフレーム解像度で撮影する１以上の領域撮影用カメラによって撮影され、フレーム毎の時刻データが付加された第３のビデオ信号の中から１つを選択可能に構成され、
前記コントローラは、前記位置情報記憶部から読み出された１以上の位置情報が各々示す１以上の位置をもとに算出された前記切り出し領域が前記特定の領域を含む場合、前記切替部に前記領域撮影用カメラの前記第３のビデオ信号を選択させるように構成される
ビデオ処理装置。
（１０）移動体を含む被写体を第１のフレーム解像度で定点撮影し、フレーム毎の時刻データが付加された第１のビデオ信号を出力する少なくとも１つのカメラと、
前記移動体の位置情報を生成する位置情報生成装置と、
前記第１のビデオ信号を入力するビデオ入力部と；
前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けて記憶するビデオ記憶部と；
前記位置情報生成装置によって生成された位置情報を受信する位置情報入力部と；
前記受信された位置情報と時刻とを対応付けて記憶する位置情報記憶部と；
時間区間の始まりを特定する時刻を記憶する指定開始時刻記憶部と、
前記時間区間の終わりを特定する時刻を記憶する指定終了時刻記憶部と、
前記位置情報記憶部から前記指定開始時刻記憶部と前記指定終了時刻記憶部により特定される時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成するコントローラと；
を有するビデオ処理装置と
を具備するビデオ処理システム。
（１１）上記（１０）のビデオ処理システムであって、
前記カメラは、共通の前記被写体を異なる方向から撮影するように各々配置され、
前記ビデオ処理装置の前記ビデオ入力部は、前記複数のカメラによって各々撮影された複数の第１のビデオ信号の１つを選択する切替部を有し、
前記コントローラは、前記位置情報記憶部から読み出された１以上の位置情報が各々示す１以上の位置をもとに前記移動体の移動方向を判定し、前記判定された移動体の移動方向に対して撮影方向が対向または略対向する１つの前記カメラの第１のビデオ信号を前記切替部に選択させるように構成される
ビデオ処理システム。
（１２）上記（１０）または（１１）のビデオ処理システムであって、
前記被写体の特定の領域を前記第２のフレーム解像度で撮影して第３のビデオ信号を時刻データと対応付けて送信する特定領域用カメラをさらに有し、
前記切替部は、前記第１のビデオ信号および前記第３のビデオ信号の中から１つのビデオ信号を選択可能に構成され、
前記コントローラは、前記位置情報記憶部から読み出された１以上の位置情報が各々示す１以上の位置をもとに算出された前記切り出し領域が前記特定の領域を含む場合、前記切替部に前記１以上の第３のビデオ信号のいずれかを選択させるように構成される
ビデオ処理システム。
（１３）カメラによって第１のフレーム解像度で撮影され、フレーム毎の時刻データが付加された第１のビデオ信号を入力し、
前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けてビデオ記憶部に記憶し、
前記第１のビデオ信号に被写体の一部として含まれる特定の移動体の位置情報を受信し、
前記取得された位置情報を時刻と対応付けて位置情報記憶部に記憶し、
コントローラにより、前記位置情報記憶部から少なくとも特定の時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成する
ビデオ処理方法。
（１４）上記（１３）のビデオ処理方法であって、
前記コントローラにより、前記第２のフレーム解像度の縦横比を有する前記切り出し領域を算出する
ビデオ処理方法。
（１５）上記（１３）または（１４）のビデオ処理方法であって、
ビデオ出力部により、前記生成された第２のビデオデータを含む第２のビデオ信号を前記第１のビデオ信号と同じフレームレートで出力する
ビデオ処理方法。
（１６）カメラによって第１のフレーム解像度で撮影され、フレーム毎に時刻データが付加された第１のビデオ信号を入力するビデオ入力部と、
前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けて記憶するビデオ記憶部と、
前記第１のビデオ信号に被写体の一部として含まれる特定の移動体の時刻データ付きの位置情報を受信する位置情報入力部と、
前記受信された位置情報と前記時刻データとを対応付けて記憶する位置情報記憶部と、
前記位置情報記憶部から少なくとも特定の時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成するコントローラと
を具備するビデオ処理装置。
（１７）上記（１６）のビデオ処理装置であって、
前記コントローラは、前記第２のフレーム解像度の縦横比を有する前記切り出し領域を算出するように構成される
ビデオ処理装置。
（１８）上記（１６）のビデオ処理装置であって、
前記生成された第２のビデオデータを含む第２のビデオ信号を前記第１のビデオ信号と同じフレームレートで出力するビデオ出力部
さらに具備するビデオ処理装置。
（１９）上記（１６）ないし（１８）のいずれかのビデオ処理装置であって、
前記コントローラは、１つの前記時間区間の１以上の位置情報と次の時間区間の少なくとも先頭よりの１以上の位置情報が各々示す複数の位置を含む前記切り出し領域を算出するように構成される
ビデオ処理装置。
（２０）上記（１６）ないし（１９）のいずれかのビデオ処理装置であって、
前記時間区間の変更の指示を操作者より受け付ける操作入力部をさらに具備し、
前記コントローラは、前記操作入力部で受け付けた指示に従って前記時間区間を変更するように構成される
ビデオ処理装置。
１…カメラ
１０…ビデオ処理システム
１００…ビデオ処理装置
１０１…ビデオ入力部
１０１ａ…切替部
１０２…ビデオ記憶部
１０３…位置情報入力部
１０４…位置情報記憶部
１０６…切り出し領域算出部
１０９…切り出しビデオ生成部
１１０…切り出しビデオ出力部
１３０…コンピュータ
１３５…操作入力部
１３６…ディスプレイ
１４０…位置情報生成装置

Claims (20)

  1. カメラによって第１のフレーム解像度で撮影され、フレーム毎の時刻データが付加された第１のビデオ信号を入力するビデオ入力部と、
    前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けて記憶するビデオ記憶部と、
    前記第１のビデオ信号に被写体の一部として含まれる特定の移動体の位置情報を受信する位置情報入力部と、
    前記受信された位置情報と時刻とを対応付けて記憶する位置情報記憶部と、
    時間区間の始まりを特定する時刻を記憶する指定開始時刻記憶部と、
    前記時間区間の終わりを特定する時刻を記憶する指定終了時刻記憶部と、
    前記位置情報記憶部から前記指定開始時刻記憶部と前記指定終了時刻記憶部により特定される時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成するコントローラと
    を具備するビデオ処理装置。
  2. 請求項１に記載のビデオ処理装置であって、
    前記コントローラは、前記第２のフレーム解像度の縦横比を有する前記切り出し領域を算出するように構成される
    ビデオ処理装置。
  3. 請求項２に記載のビデオ処理装置であって、
    前記生成された第２のビデオデータを含む第２のビデオ信号を前記第１のビデオ信号と同じフレームレートで出力するビデオ出力部
    さらに具備するビデオ処理装置。
  4. 請求項３に記載のビデオ処理装置であって、
    前記コントローラは、１つの前記時間区間の１以上の位置情報と次の時間区間の少なくとも先頭よりの１以上の位置情報が各々示す複数の位置を含む前記切り出し領域を算出するように構成される
    ビデオ処理装置。
  5. 請求項４に記載のビデオ処理装置であって、
    前記時間区間の変更の指示を操作者より受け付ける操作入力部をさらに具備し、
    前記コントローラは、前記操作入力部で受け付けた指示に従って前記時間区間を変更するように構成される
    ビデオ処理装置。
  6. 請求項５に記載のビデオ処理装置であって、
    前記コントローラは、次の前記切り出し領域を算出するために用いられる次の時間区間の前記移動体の位置のうち、現在の切り出し領域の端に最も近い位置が、現在の切り出し領域の端から予め定められた距離以上の内側にある場合、切り出し領域の算出をスキップして現在の切り出し領域を有効とするように構成される
    ビデオ処理装置。
  7. 請求項６に記載のビデオ処理装置であって、
    前記コントローラは、外部から、前記被写体の場所を特定する情報を含むイベント情報を受けて、前記第１のビデオ信号の画枠において前記イベント情報により特定される場所を含む領域を前記切り出し領域として設定するように構成される
    ビデオ処理装置。
  8. 請求項１に記載のビデオ処理装置であって、
    前記ビデオ入力部は、共通の前記被写体を異なる方向から撮影する複数のカメラによって各々撮影され、第１のフレーム解像度を有し、フレーム毎に時刻データが付加された複数の第１のビデオ信号の１つを選択する切替部を有し、
    前記コントローラは、前記位置情報記憶部から少なくとも１つの前記時間区間の１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置をもとに前記移動体の移動方向を判定し、前記判定された移動体の移動方向に対して撮影方向が対向または略対向する１つの前記カメラの第１のビデオ信号を前記切替部に選択させるように構成される
    ビデオ処理装置。
  9. 請求項８に記載のビデオ処理装置であって、
    前記ビデオ入力部の前記切替部は、前記複数の第１のビデオ信号に加え、前記被写体の特定の領域を前記第２のフレーム解像度で撮影する１以上の領域撮影用カメラによって撮影され、フレーム毎に時刻データが付加された第３のビデオ信号の中から１つを選択可能に構成され、
    前記コントローラは、前記位置情報記憶部から読み出された１以上の位置情報が各々示す１以上の位置をもとに算出された前記切り出し領域が前記特定の領域を含む場合、前記切替部に前記領域撮影用カメラの前記第３のビデオ信号を選択させるように構成される
    ビデオ処理装置。
  10. 移動体を含む被写体を第１のフレーム解像度で定点撮影し、フレーム毎の時刻データが付加された第１のビデオ信号を出力する少なくとも１つのカメラと、
    前記移動体の位置情報を生成する位置情報生成装置と、
    前記第１のビデオ信号を入力するビデオ入力部と；
    前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けて記憶するビデオ記憶部と；
    前記位置情報生成装置によって生成された位置情報を受信する位置情報入力部と；
    前記受信された位置情報と時刻とを対応付けて記憶する位置情報記憶部と；
    時間区間の始まりを特定する時刻を記憶する指定開始時刻記憶部と、
    前記時間区間の終わりを特定する時刻を記憶する指定終了時刻記憶部と、
    前記位置情報記憶部から前記指定開始時刻記憶部と前記指定終了時刻記憶部により特定される時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成するコントローラと；
    を有するビデオ処理装置と
    を具備するビデオ処理システム。
  11. 請求項１０に記載のビデオ処理システムであって、
    前記カメラは、共通の前記被写体を異なる方向から撮影するように各々配置され、
    前記ビデオ処理装置の前記ビデオ入力部は、前記複数のカメラによって各々撮影された複数の第１のビデオ信号の１つを選択する切替部を有し、
    前記コントローラは、前記位置情報記憶部から読み出された１以上の位置情報が各々示す１以上の位置をもとに前記移動体の移動方向を判定し、前記判定された移動体の移動方向に対して撮影方向が対向または略対向する１つの前記カメラの第１のビデオ信号を前記切替部に選択させるように構成される
    ビデオ処理システム。
  12. 請求項１１に記載のビデオ処理システムであって、
    前記被写体の特定の領域を前記第２のフレーム解像度で撮影して第３のビデオ信号を時刻データと対応付けて送信する特定領域用カメラをさらに有し、
    前記切替部は、前記第１のビデオ信号および前記第３のビデオ信号の中から１つのビデオ信号を選択可能に構成され、
    前記コントローラは、前記位置情報記憶部から読み出された１以上の位置情報が各々示す１以上の位置をもとに算出された前記切り出し領域が前記特定の領域を含む場合、前記切替部に前記１以上の第３のビデオ信号のいずれかを選択させるように構成される
    ビデオ処理システム。
  13. カメラによって第１のフレーム解像度で撮影され、フレーム毎の時刻データが付加された第１のビデオ信号を入力し、
    前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けてビデオ記憶部に記憶し、
    前記第１のビデオ信号に被写体の一部として含まれる特定の移動体の位置情報を受信し、
    前記取得された位置情報を時刻と対応付けて位置情報記憶部に記憶し、
    コントローラにより、前記位置情報記憶部から少なくとも特定の時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成する
    ビデオ処理方法。
  14. 請求項１３に記載のビデオ処理方法であって、
    前記コントローラにより、前記第２のフレーム解像度の縦横比を有する前記切り出し領域を算出する
    ビデオ処理方法。
  15. 請求項１４に記載のビデオ処理方法であって、
    ビデオ出力部により、前記生成された第２のビデオデータを含む第２のビデオ信号を前記第１のビデオ信号と同じフレームレートで出力する
    ビデオ処理方法。
  16. カメラによって第１のフレーム解像度で撮影され、フレーム毎に時刻データが付加された第１のビデオ信号を入力するビデオ入力部と、
    前記入力された第１のビデオ信号に含まれるフレーム毎の第１のビデオデータを前記時刻データと対応付けて記憶するビデオ記憶部と、
    前記第１のビデオ信号に被写体の一部として含まれる特定の移動体の時刻データ付きの位置情報を受信する位置情報入力部と、
    前記受信された位置情報と前記時刻データとを対応付けて記憶する位置情報記憶部と、
    前記位置情報記憶部から少なくとも特定の時間区間毎に１以上の位置情報を読み出し、前記読み出した１以上の位置情報が各々示す１以上の位置を含む切り出し領域を算出し、前記ビデオ記憶部に記憶された前記時間区間の前記第１のビデオデータから前記切り出し領域のビデオデータを切り出し、前記切り出したビデオデータから第２のフレーム解像度の第２のビデオデータを生成するコントローラと
    を具備するビデオ処理装置。
  17. 請求項１６に記載のビデオ処理装置であって、
    前記コントローラは、前記第２のフレーム解像度の縦横比を有する前記切り出し領域を算出するように構成される
    ビデオ処理装置。
  18. 請求項１７に記載のビデオ処理装置であって、
    前記生成された第２のビデオデータを含む第２のビデオ信号を前記第１のビデオ信号と同じフレームレートで出力するビデオ出力部
    さらに具備するビデオ処理装置。
  19. 請求項１８に記載のビデオ処理装置であって、
    前記コントローラは、１つの前記時間区間の１以上の位置情報と次の時間区間の少なくとも先頭よりの１以上の位置情報が各々示す複数の位置を含む前記切り出し領域を算出するように構成される
    ビデオ処理装置。
  20. 請求項１９に記載のビデオ処理装置であって、
    前記時間区間の変更の指示を操作者より受け付ける操作入力部をさらに具備し、
    前記コントローラは、前記操作入力部で受け付けた指示に従って前記時間区間を変更するように構成される
    ビデオ処理装置。
JP2015043556A 2015-03-05 2015-03-05 ビデオ処理装置、ビデオ処理システムおよびビデオ処理方法 Pending JP2016163311A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015043556A JP2016163311A (ja) 2015-03-05 2015-03-05 ビデオ処理装置、ビデオ処理システムおよびビデオ処理方法
US15/552,531 US10362266B2 (en) 2015-03-05 2016-02-12 Video processing apparatus, video processing system, and video processing method
PCT/JP2016/000730 WO2016139898A1 (ja) 2015-03-05 2016-02-12 ビデオ処理装置、ビデオ処理システムおよびビデオ処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015043556A JP2016163311A (ja) 2015-03-05 2015-03-05 ビデオ処理装置、ビデオ処理システムおよびビデオ処理方法

Publications (1)

Publication Number Publication Date
JP2016163311A true JP2016163311A (ja) 2016-09-05

Family

ID=56845531

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015043556A Pending JP2016163311A (ja) 2015-03-05 2015-03-05 ビデオ処理装置、ビデオ処理システムおよびビデオ処理方法

Country Status (3)

Country Link
US (1) US10362266B2 (ja)
JP (1) JP2016163311A (ja)
WO (1) WO2016139898A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019036791A (ja) * 2017-08-10 2019-03-07 キヤノン株式会社 画像処理装置、画像処理システム、制御方法、及び、プログラム
WO2023189081A1 (ja) * 2022-03-31 2023-10-05 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6362116B2 (ja) * 2016-11-30 2018-07-25 キヤノン株式会社 表示装置及びその制御方法、プログラム、記憶媒体
JP7121277B2 (ja) * 2018-09-28 2022-08-18 日本電信電話株式会社 情報同期装置、情報同期方法及び情報同期プログラム
EP3912132A4 (en) 2019-02-28 2022-12-07 Stats Llc SYSTEM AND METHOD FOR GENERATION OF PLAYER TRACKING DATA FROM BROADCAST VIDEO
CN111208960B (zh) * 2019-12-26 2023-05-09 杭州顺网科技股份有限公司 基于抽帧控制和时间同步算法的远程显示降延迟方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3454396B2 (ja) * 1995-10-11 2003-10-06 株式会社日立製作所 動画像の変化点検出制御方法とそれに基づく再生停止制御方法およびそれらを用いた動画像の編集システム
US7177081B2 (en) * 2001-03-08 2007-02-13 Silicon Light Machines Corporation High contrast grating light valve type device
JP3971346B2 (ja) * 2002-06-24 2007-09-05 株式会社東芝 動画像再生装置、スケジュール・データ、動画像再生方法、及びプログラム
US6810691B2 (en) * 2002-06-28 2004-11-02 Corning Incorporated Method for making glass tubing with multiple bores
US7071996B2 (en) * 2002-07-19 2006-07-04 Sun Microsystems, Inc. Synchronizing video formats with dissimilar timing
JP2005223487A (ja) 2004-02-04 2005-08-18 Mainichi Broadcasting System Inc デジタルカメラワーク装置、デジタルカメラワーク方法、及びデジタルカメラワークプログラム
JP2005260753A (ja) * 2004-03-12 2005-09-22 Ntt Docomo Inc カメラ選択装置、及びカメラ選択方法
JP4561657B2 (ja) * 2006-03-06 2010-10-13 ソニー株式会社 映像監視システムおよび映像監視プログラム
JP4934094B2 (ja) * 2008-05-09 2012-05-16 日本放送協会 スポーツ映像送出装置
JP2012084979A (ja) * 2010-10-07 2012-04-26 Sony Corp 情報処理装置及び方法、プログラム、並びに情報処理システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019036791A (ja) * 2017-08-10 2019-03-07 キヤノン株式会社 画像処理装置、画像処理システム、制御方法、及び、プログラム
JP7042571B2 (ja) 2017-08-10 2022-03-28 キヤノン株式会社 画像処理装置およびその制御方法、プログラム
WO2023189081A1 (ja) * 2022-03-31 2023-10-05 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム

Also Published As

Publication number Publication date
US10362266B2 (en) 2019-07-23
US20180035076A1 (en) 2018-02-01
WO2016139898A1 (ja) 2016-09-09

Similar Documents

Publication Publication Date Title
WO2016139898A1 (ja) ビデオ処理装置、ビデオ処理システムおよびビデオ処理方法
CN108886583B (zh) 用于通过数据网络向多个用户提供虚拟的摇摄-倾斜-缩放，ptz，视频功能的系统和方法
EP3127321B1 (en) Method and system for automatic television production
CA2949005C (en) Method and system for low cost television production
US20170125064A1 (en) Method and Apparatus for Automatic Video Production
EP3061241A1 (en) System and method for real-time processing of ultra-high resolution digital video
US11172185B2 (en) Information processing apparatus, information processing method, video processing system, and storage medium
JP2014529930A (ja) ネイティブ画像の一部の選択的キャプチャとその表示
US20100157022A1 (en) Method and apparatus for implementing motion control camera effect based on synchronized multi-images
CN113382177A (zh) 一种多视角环绕拍摄方法及系统
CN112312114B (zh) 信息处理设备、信息处理方法和存储介质
US20220174258A1 (en) Information processing device, information processing method, and program
JP3520318B2 (ja) 映像合成演算処理装置、その方法及びシステム
JP7476160B2 (ja) 情報処理装置、情報処理システム、及びプログラム
JP4423416B2 (ja) 映像合成処理システム
JP2003153213A (ja) 映像生成装置および受信装置
JP4741434B2 (ja) Ｃｇ合成装置およびｃｇ合成プログラム
JP5411806B2 (ja) 画像合成装置およびそのプログラム
KR101164895B1 (ko) 주자관점의 야구경기 영상 생성 장치 및 그 방법의 기록매체
KR102124194B1 (ko) 영상분석을 위한 다채널 영상 전송 시스템 및 이의 제어 방법
US20230300309A1 (en) Information processing device, information processing method, and information processing system
EP3443737B1 (en) System and method for providing virtual pan-tilt-zoom, ptz, video functionality to a plurality of users over a data network
JP2003163837A (ja) 映像生成装置
JP2009147816A (ja) 画像信号処理装置、表示装置、画像信号処理方法、プログラム及び記録媒体