JP2023019389A - Video reproducing apparatus, video recording reproducing method, and video reproducing program - Google Patents

Video reproducing apparatus, video recording reproducing method, and video reproducing program Download PDF

Info

Publication number
JP2023019389A
JP2023019389A JP2021124066A JP2021124066A JP2023019389A JP 2023019389 A JP2023019389 A JP 2023019389A JP 2021124066 A JP2021124066 A JP 2021124066A JP 2021124066 A JP2021124066 A JP 2021124066A JP 2023019389 A JP2023019389 A JP 2023019389A
Authority
JP
Japan
Prior art keywords
moving image
tag information
frame rate
image data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021124066A
Other languages
Japanese (ja)
Inventor
健二 吉田
Kenji Yoshida
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2021124066A priority Critical patent/JP2023019389A/en
Publication of JP2023019389A publication Critical patent/JP2023019389A/en
Pending legal-status Critical Current

Links

Images

Abstract

To provide a video reproducing apparatus which can reproduce video data captured by an imaging apparatus, even in reproducing the data at a frame rate different from an imaging frame rate of the imaging apparatus, from a designated position on the basis of tag information generated during the imaging by a device different from the imaging apparatus.SOLUTION: A video data acquisition unit 311 acquires video data generated with imaging start time information based on a reference time at a first frame rate. A tag information acquisition unit 312 acquires tag information including reproduction start time of the video data based on the reference time. A reproduction start position calculation unit 314 calculates a reproduction start position of the video data using the tag information, on the basis of a difference between the imaging start time and the reproduction start time and a ratio between a second frame rate and the first frame rate. A reproduction control unit 317 causes a video reproduction unit 313 to reproduce the video data at the reproduction start position at the second frame rate, on receipt of an instruction to reproduce the video data using the tag information.SELECTED DRAWING: Figure 2

Description

特許法第30条第2項適用申請有り 令和3年3月30日、神奈川県川崎市多摩区 読売ジャイアンツ球場において販売Applied for application of Article 30, Paragraph 2 of the Patent Act Sold at Yomiuri Giants Stadium in Tama Ward, Kawasaki City, Kanagawa Prefecture on March 30, 2021

本発明は、動画再生装置、動画記録再生方法、および動画再生プログラムに関する。 The present invention relates to a moving image reproducing apparatus, a moving image recording/reproducing method, and a moving image reproducing program.

スポーツ選手の指導などにおいて、ハイスピードカメラ装置により高いフレームレートで撮影した動画を、動画再生装置により一般的なフレームレートでスローモーション再生させて活用する機会が増加している。高いフレームレートで撮影した動画をスローモーション再生することで、肉眼では追うことができないスポーツ選手の素早い動きを把握することができる。 2. Description of the Related Art In coaching athletes, etc., there are increasing opportunities to utilize moving images captured at a high frame rate by a high-speed camera device and to reproduce them in slow motion at a general frame rate using a moving image reproducing device. By slow-motion playback of videos shot at a high frame rate, it is possible to grasp the quick movements of athletes that cannot be followed with the naked eye.

その際に、撮影した動画の中から、選手の特定の動きのシーンのみを視聴したい場合がある。その場合、ユーザは視聴したいシーンの位置を動画の中から探して、再生操作を行う必要がある。 At that time, it may be desired to view only a scene of a specific movement of the athlete from among the captured moving images. In that case, the user needs to search for the position of the scene he/she wants to view from the video and perform a playback operation.

動画の中から所望のシーンを探して再生させる処理を容易に行うために、動画データ中の該当する位置にタグ情報を付加しておく技術がある(特許文献1)。動画データの中にタグ情報を付加しておくことで、視聴時にユーザがタグ情報を指定する操作を行うのみで、所望のシーンから容易に再生させることができる。 In order to facilitate the process of searching for and playing back a desired scene from moving images, there is a technique of adding tag information to corresponding positions in moving image data (Patent Document 1). By adding tag information to moving image data, a desired scene can be easily reproduced by the user only by performing an operation of designating the tag information at the time of viewing.

特開2020-107991号公報JP 2020-107991 A

特許文献1に記載の撮像装置は、撮影時に、後から再生したいシーンのタイミングを指定することで、撮影された動画データの該当する位置にタグ情報を付加することができる。一方で、撮像装置とは離れた場所にいるユーザが所持する端末装置で、当該撮像装置で撮影された動画データを無線通信で受信してリアルタイムで視聴しながら、当該動画データに対するタグ情報の付加位置を指定する操作を行いたいという要望がある。 The image capturing apparatus described in Patent Document 1 can add tag information to the corresponding position of captured moving image data by designating the timing of a scene to be reproduced later at the time of capturing. On the other hand, a terminal device possessed by a user at a location remote from the imaging device receives video data captured by the imaging device via wireless communication and adds tag information to the video data while viewing the data in real time. There is a desire to perform an operation for specifying a position.

しかし、撮像装置と異なる端末装置で、当該撮像装置で撮影された動画データに対するタグ情報を生成するには、タグ情報を生成する端末装置と撮像装置とを通信により接続するかまたは、処理タイミングの同期をとる必要があり、システム構築が複雑になるという問題があった。 However, in order to generate tag information for moving image data shot by the imaging device in a terminal device different from the imaging device, the terminal device that generates the tag information and the imaging device must be connected by communication, or the processing timing must be adjusted. Synchronization is necessary, and there is a problem that system construction becomes complicated.

また、タグ情報を生成する装置と撮像装置との間で処理タイミングの同期をとっても、上述したように撮影時のフレームレートと再生時のフレームレートとが異なる場合、当該タグ情報によりユーザの所望の位置から再生することができないという問題があった。例えば、撮影対象に対して通常の2倍のフレームレートで撮影を開始したとする。撮影を開始してから10分後に、ユーザが端末装置でタグ情報を生成した場合、当該タグ情報は撮影を開始してから10分後の時刻を示す。次に、撮影した映像を通常のフレームレートで再生する際に当該タグ情報が示す時刻から再生させると、再生映像がスローモーションになっているため、実際に撮影した5分後のシーンから再生されることになる。 Further, even if the processing timing is synchronized between the device that generates the tag information and the imaging device, if the frame rate at the time of shooting differs from the frame rate at the time of playback as described above, the tag information can be used to achieve the user's desired image. There was a problem that it was not possible to play from the position. For example, it is assumed that shooting of an object to be shot is started at a frame rate twice the normal frame rate. When the user generates tag information with the terminal device 10 minutes after the start of photography, the tag information indicates the time 10 minutes after the start of photography. Next, when playing back the shot video at a normal frame rate, if you play back from the time indicated by the tag information, the playback video will be played in slow motion, so playback will start from the scene 5 minutes after the actual shooting. will be

本発明は、撮像装置で撮影された動画データを、当該撮像装置による撮影フレームレートとは異なるフレームレートで再生する場合であっても、当該撮像装置とは異なる装置で撮影時に生成されたタグ情報に基づいて指定された位置から再生することが可能な、動画再生装置、動画記録再生方法、および動画再生プログラムを提供することを目的とする。 Even in the case where moving image data shot by an imaging device is played back at a frame rate different from the shooting frame rate of the imaging device, the present invention provides tag information generated during shooting by a device different from the imaging device. To provide a moving image reproducing device, a moving image recording/reproducing method, and a moving image reproducing program capable of reproducing from a position specified based on

上記目的を達成するための本発明の動画再生装置は、基準時刻に基づく撮影開始時刻の情報が付加されて第1フレームレートで生成された動画データを取得する動画データ取得部と、前記基準時刻に基づく前記動画データの再生開始時刻を含むタグ情報を取得するタグ情報取得部と、前記第1フレームレートと異なる第2フレームレートで前記動画データを再生する動画再生部と、前記撮影開始時刻と前記再生開始時刻との差分、及び前記第2フレームレートと前記第1フレームレートとの比に基づいて、前記タグ情報による前記動画データの再生開始位置を算出する再生開始位置算出部と、前記タグ情報による前記動画データの再生が指示されると、前記動画再生部により前記動画データを、前記再生開始位置から前記第2フレームレートで再生させる再生制御部とを備えることを特徴とする。 In order to achieve the above object, the moving image reproducing apparatus of the present invention comprises: a moving image data obtaining unit for obtaining moving image data generated at a first frame rate to which information about a shooting start time based on a reference time is added; a tag information acquisition unit that acquires tag information including the playback start time of the video data based on a video playback unit that plays back the video data at a second frame rate different from the first frame rate; and the shooting start time a reproduction start position calculation unit that calculates a reproduction start position of the moving image data based on the tag information based on a difference from the reproduction start time and a ratio between the second frame rate and the first frame rate; and a reproduction control unit that causes the moving image reproduction unit to reproduce the moving image data at the second frame rate from the reproduction start position when the reproduction of the moving image data is instructed by the information.

また、本発明の動画記録再生方法は、撮像装置が、基準時刻に基づく撮影開始時刻の情報が付加された動画データを第1フレームレートで生成して記録し、タグ情報生成装置が、前記基準時刻に基づく前記動画データの再生開始時刻を含むタグ情報を記憶し、前記第1フレームレートと異なる第2フレームレートで動画データを再生する動画再生装置が、前記動画データおよび前記タグ情報を取得し、前記撮影開始時刻と前記再生開始時刻との差分、及び前記第2フレームレートと前記第1フレームレートとの比とに基づいて、前記タグ情報による前記動画データの再生開始位置を算出し、前記タグ情報による前記動画データの再生が指示されると、前記動画データを、算出した前記再生開始位置から前記第2フレームレートで再生することを特徴とする。 Further, in the moving image recording/reproducing method of the present invention, the imaging device generates and records moving image data to which information about the shooting start time based on the reference time is added at a first frame rate, and the tag information generating device generates and records the reference time. A moving image reproducing device that stores tag information including a reproduction start time of the moving image data based on time and reproduces the moving image data at a second frame rate different from the first frame rate acquires the moving image data and the tag information. , based on the difference between the shooting start time and the playback start time and the ratio between the second frame rate and the first frame rate, calculating the playback start position of the moving image data according to the tag information; The moving image data is reproduced at the second frame rate from the calculated reproduction start position when the reproduction of the moving image data is instructed by the tag information.

また、本発明の動画再生プログラムは、コンピュータに、基準時刻に基づく撮影開始時刻の情報が付加され第1フレームレートで生成された動画データを取得する機能と、前記基準時刻に基づく前記動画データの再生開始時刻を含むタグ情報を取得する機能と、前記第1フレームレートと異なる第2フレームレートで前記動画データを再生する機能と、前記撮影開始時刻と前記再生開始時刻との差分、及び前記第2フレームレートと前記第1フレームレートとの比に基づいて、前記タグ情報による前記動画データの再生開始位置を算出する機能と、前記タグ情報による前記動画データの再生が指示されると、前記動画データを、前記再生開始位置から前記第2フレームレートで再生させる機能とを実現させることを特徴とする。 Further, the moving image reproduction program of the present invention includes a function of acquiring moving image data generated at a first frame rate to which information of a shooting start time based on a reference time is added to a computer, and a function of acquiring the moving image data based on the reference time. a function of acquiring tag information including a reproduction start time; a function of reproducing the moving image data at a second frame rate different from the first frame rate; a difference between the shooting start time and the reproduction start time; a function of calculating a reproduction start position of the moving image data based on the tag information based on a ratio between the second frame rate and the first frame rate; and a function of reproducing data at the second frame rate from the reproduction start position.

本発明の動画再生装置、動画記録再生方法、および動画再生プログラムによれば、撮像装置で撮影された動画を、当該撮像装置による撮影フレームレートとは異なるフレームレートで再生する場合であっても、当該撮像装置とは異なる装置で撮影時に生成されたタグ情報に基づいて指定された位置から再生することができる。 According to the moving image reproducing apparatus, moving image recording/reproducing method, and moving image reproducing program of the present invention, even when reproducing a moving image captured by an imaging device at a frame rate different from the imaging frame rate of the imaging device, It is possible to reproduce from a designated position based on tag information generated at the time of photographing by a device different from the image pickup device.

本発明の一実施形態による動画再生装置を用いた動画処理システムの構成を示すブロック図である。1 is a block diagram showing the configuration of a moving image processing system using a moving image reproducing device according to an embodiment of the present invention; FIG. 本発明の一実施形態による動画再生装置の構成を示すブロック図である。1 is a block diagram showing the configuration of a video playback device according to one embodiment of the present invention; FIG. 本発明の一実施形態による動画再生装置を用いた動画処理システムで実行する処理を示すシーケンス図である。FIG. 3 is a sequence diagram showing processing executed by a moving image processing system using a moving image reproducing device according to an embodiment of the present invention; 本発明の一実施形態による動画再生装置で取得される動画データの構成を示す説明図である。FIG. 3 is an explanatory diagram showing the configuration of moving image data acquired by the moving image reproducing device according to one embodiment of the present invention; 本発明の一実施形態による動画再生装置に入力するタグ情報を生成するタグ情報生成装置に表示される画面構成図の一例である。1 is an example of a screen configuration diagram displayed on a tag information generation device that generates tag information to be input to a moving image reproduction device according to an embodiment of the present invention; FIG. 本発明の一実施形態による動画再生装置に入力するタグ情報を生成する際に、ユーザが視聴する動画データの表示画面の一例である。It is an example of a display screen of moving image data viewed by a user when generating tag information to be input to the moving image reproducing device according to the embodiment of the present invention. 本発明の一実施形態による動画再生装置に入力するタグ情報テーブルの一例である。It is an example of a tag information table to be input to the moving image reproducing device according to one embodiment of the present invention. 本発明の一実施形態による動画再生装置で更新されたタグ情報テーブルの一例である。It is an example of a tag information table updated by the moving image reproducing device according to one embodiment of the present invention. 本発明の他の形態による動画再生装置で更新されたタグ情報テーブルの一例である。It is an example of a tag information table updated by a moving image reproducing device according to another aspect of the present invention. 本発明の他の形態による動画再生装置で再生開始位置が調整されたときの動画データ内の再生部分を示す説明図である。FIG. 11 is an explanatory diagram showing a reproduced portion in moving image data when the reproduction start position is adjusted in the moving image reproducing device according to another embodiment of the present invention;

以下に、本発明の一実施形態による動画再生装置を用いた動画処理システム1について、図面を参照して説明する。 A moving image processing system 1 using a moving image reproducing device according to an embodiment of the present invention will be described below with reference to the drawings.

〈一実施形態による動画処理システム1の構成〉
本実施形態による動画処理システム1は、図1に示すように、撮像装置としてのハイスピードカメラ装置10と、タグ情報生成装置20と、動画再生装置30とを備える。動画処理システム1は、通信ネットワーク2を介してNTP(Network Time Protocol)サーバ3に接続されている。NTPサーバ3は、基準時刻の情報を配信するサーバである。
<Configuration of moving image processing system 1 according to one embodiment>
A moving image processing system 1 according to the present embodiment includes a high-speed camera device 10 as an imaging device, a tag information generating device 20, and a moving image reproducing device 30, as shown in FIG. A moving image processing system 1 is connected to an NTP (Network Time Protocol) server 3 via a communication network 2 . The NTP server 3 is a server that distributes information on the reference time.

ハイスピードカメラ装置10は、撮影部11と、第1動画データ記憶部12と、カメラ制御部13と、動画データ送信部14とを有する。撮影部11は、第1フレームレートで動画の撮影を行う。第1フレームレートとは、通常のフレームレートである60FPS(frames per second)で再生した時にスローモーションでなめらかに再生可能になるように予め通常のフレームレートよりも高く設定されたフレームレート、例えば240FPSである。第1動画データ記憶部12は、撮影部11で撮影された動画データを記憶するとともに、第1フレームレートに関する情報を当該動画データにメタデータとして付加する。 The high-speed camera device 10 has an imaging unit 11 , a first moving image data storage unit 12 , a camera control unit 13 and a moving image data transmission unit 14 . The shooting unit 11 shoots a moving image at a first frame rate. The first frame rate is a frame rate set higher than the normal frame rate in advance, such as 240 FPS, so that it can be played back smoothly in slow motion when played back at the normal frame rate of 60 FPS (frames per second). is. The first moving image data storage unit 12 stores moving image data shot by the shooting unit 11, and adds information about the first frame rate to the moving image data as metadata.

カメラ制御部13は、第1時刻情報取得部131と、開始時刻情報付加部132とを有する。第1時刻情報取得部131は、NTPサーバ3から配信される基準時刻情報を取得する。開始時刻情報付加部132は、撮影部11で撮影が開始されたときの時刻情報を第1時刻情報取得部131で取得された基準時刻情報に基づいて取得し、第1動画データ記憶部12に記憶された該当する動画データにメタデータとして付加する。動画データ送信部14は、第1動画データ記憶部12に記憶された動画データを、動画再生装置30に有線または無線通信、例えば有線LAN、無線LAN等により送信する。第1時刻情報取得部131は内蔵時計を有し、NTPサーバ3から所定の周期で取得した基準時刻情報に基づいて内蔵時計を更新するようにしてもよい。 The camera control section 13 has a first time information acquisition section 131 and a start time information addition section 132 . The first time information acquisition unit 131 acquires reference time information distributed from the NTP server 3 . The start time information adding unit 132 acquires time information when the shooting unit 11 starts shooting based on the reference time information acquired by the first time information acquiring unit 131, and stores the information in the first moving image data storage unit 12. It is added as metadata to the corresponding stored moving image data. The moving image data transmission unit 14 transmits the moving image data stored in the first moving image data storage unit 12 to the moving image reproducing device 30 by wired or wireless communication such as wired LAN or wireless LAN. The first time information acquisition unit 131 may have a built-in clock and update the built-in clock based on the reference time information obtained from the NTP server 3 at predetermined intervals.

タグ情報生成装置20は、例えばスマートデバイスで構成され、ユーザインタフェース部21と、生成装置制御部22と、第1タグ情報記憶部23と、タグ情報送信部24とを有する。ユーザインタフェース部21は、例えばタッチパネルで構成され、ユーザが行った操作の情報を生成装置制御部22に入力するとともに、生成装置制御部22による情報の処理結果を出力する。 The tag information generation device 20 is configured by, for example, a smart device, and has a user interface section 21 , a generation device control section 22 , a first tag information storage section 23 and a tag information transmission section 24 . The user interface unit 21 is configured by, for example, a touch panel, and inputs information on operations performed by the user to the generation device control unit 22 and outputs information processing results by the generation device control unit 22 .

生成装置制御部22は、第2時刻情報取得部221と、第1操作情報取得部222と、タグ情報生成部223とを有する。第2時刻情報取得部221は、NTPサーバ3から配信される基準時刻情報を取得する。第1操作情報取得部222は、ユーザインタフェース部21から入力されたユーザの操作情報を取得する。第2時刻情報取得部221は内蔵時計を有し、NTPサーバ3から所定の周期で取得した基準時刻情報に基づいて内蔵時計を更新するようにしてもよい。 The generation device control section 22 has a second time information acquisition section 221 , a first operation information acquisition section 222 and a tag information generation section 223 . The second time information acquisition unit 221 acquires reference time information delivered from the NTP server 3 . The first operation information acquisition unit 222 acquires user operation information input from the user interface unit 21 . The second time information acquisition unit 221 may have a built-in clock and update the built-in clock based on the reference time information obtained from the NTP server 3 at predetermined intervals.

タグ情報生成部223は、第1操作情報取得部222でタグ情報を生成するための操作情報が取得されると、取得されたタイミングを示す時刻情報を第2時刻情報取得部221で取得された基準時刻情報に基づいて取得し、当該時刻情報を再生開始時刻の情報として含むタグ情報を生成する。 When the operation information for generating the tag information is acquired by the first operation information acquisition unit 222, the tag information generation unit 223 acquires the time information indicating the timing of acquisition by the second time information acquisition unit 221. Based on the reference time information, tag information is generated that includes the time information as reproduction start time information.

第1タグ情報記憶部23は、タグ情報生成部223で生成されたタグ情報を記憶する。タグ情報送信部24は、第1タグ情報記憶部23に記憶されたタグ情報を、動画再生装置30に有線または無線通信、例えば有線LAN、無線LAN等により送信する。 The first tag information storage section 23 stores tag information generated by the tag information generation section 223 . The tag information transmission unit 24 transmits the tag information stored in the first tag information storage unit 23 to the moving image reproducing device 30 through wired or wireless communication such as wired LAN or wireless LAN.

図2に示すように、動画再生装置30は、CPU31と、記憶部32と、表示部33とを有する。CPU31は、動画データ取得部311と、タグ情報取得部312と、動画再生部313と、再生開始位置算出部314と、第2操作情報取得部315と、タグ情報更新処理部316と、再生制御部317とを有する。記憶部32は、第2動画データ記憶部321と、第2タグ情報記憶部322とを有する。 As shown in FIG. 2 , the video playback device 30 has a CPU 31 , a storage section 32 and a display section 33 . The CPU 31 includes a video data acquisition unit 311, a tag information acquisition unit 312, a video playback unit 313, a playback start position calculation unit 314, a second operation information acquisition unit 315, a tag information update processing unit 316, and playback control. 317. The storage unit 32 has a second moving image data storage unit 321 and a second tag information storage unit 322 .

動画データ取得部311は、ハイスピードカメラ装置10で撮影された動画データを取得して第2動画データ記憶部321に記憶させる。タグ情報取得部312は、タグ情報生成装置20から送信されたタグ情報を取得して第2タグ情報記憶部322に記憶させる。 The moving image data acquisition unit 311 acquires moving image data captured by the high-speed camera device 10 and stores it in the second moving image data storage unit 321 . The tag information acquisition section 312 acquires the tag information transmitted from the tag information generation device 20 and stores it in the second tag information storage section 322 .

動画再生部313は、第1フレームレートと異なる第2フレームレートで動画データを再生する。動画再生部313において、第2フレームレートは予め通常のフレームレート(60FPS)に設定されている。第2フレームレートはユーザによって変更可能である。再生開始位置算出部314は、第2タグ情報記憶部322に記憶したタグ情報ごとに、第2動画データ記憶部321に記憶した動画データの撮影開始時刻と該当するタグ情報で示される再生開始時刻との差分、及び第2フレームレートと第1フレームレートとの比に基づいて、該当するタグ情報による該当する動画データの再生開始位置を算出する。再生開始位置算出部314は、算出した再生開始位置の情報を、第2タグ情報記憶部322内の該当するタグ情報に追加して記憶させる。 The moving image reproducing unit 313 reproduces moving image data at a second frame rate different from the first frame rate. In the moving image reproducing unit 313, the second frame rate is set in advance to the normal frame rate (60 FPS). The second frame rate is user changeable. For each piece of tag information stored in the second tag information storage unit 322, the playback start position calculation unit 314 calculates the shooting start time of the moving image data stored in the second moving image data storage unit 321 and the playback start time indicated by the corresponding tag information. and the ratio between the second frame rate and the first frame rate, the reproduction start position of the corresponding moving image data based on the corresponding tag information is calculated. The reproduction start position calculation unit 314 adds the information of the calculated reproduction start position to the corresponding tag information in the second tag information storage unit 322 and stores it.

第2操作情報取得部315は、ユーザにより行われた、所定のタグ情報による動画データの再生を指示する操作情報、所定のタグ情報の再生開始位置を調整するための操作情報、または、タグ情報を追加するための操作情報等を取得する。 The second operation information acquisition unit 315 acquires operation information for instructing reproduction of video data based on predetermined tag information, operation information for adjusting the reproduction start position of predetermined tag information, or tag information performed by the user. Acquire operation information, etc. for adding .

タグ情報更新処理部316は、第2操作情報取得部315で所定のタグ情報の再生開始位置を調整するための操作情報を取得すると、取得した情報に基づいて、第2タグ情報記憶部322に記憶された該当するタグ情報の再生開始位置の情報を更新する。またタグ情報更新処理部316は、第2操作情報取得部315で新たなタグ情報を追加するための操作情報を取得すると、新たなタグ情報を第2タグ情報記憶部322に追加して記憶させる。 When the second operation information acquisition unit 315 acquires the operation information for adjusting the playback start position of the predetermined tag information, the tag information update processing unit 316 stores the second tag information storage unit 322 based on the acquired information. The information of the reproduction start position of the corresponding stored tag information is updated. Further, when the second operation information acquisition unit 315 acquires operation information for adding new tag information, the tag information update processing unit 316 adds the new tag information to the second tag information storage unit 322 and stores it. .

再生制御部317は、第2操作情報取得部315で所定のタグ情報による動画データの再生を指示する操作情報が取得されると、該当する動画データを、該当する再生開始位置から第2フレームレートで動画再生部313により再生させる。表示部33は、動画再生部313から送信される動画データを表示する。 When the second operation information acquisition unit 315 acquires the operation information instructing the reproduction of the moving image data by the predetermined tag information, the reproduction control unit 317 reproduces the corresponding moving image data from the corresponding reproduction start position at the second frame rate. is played back by the moving picture playback unit 313. The display unit 33 displays moving image data transmitted from the moving image reproducing unit 313 .

〈一実施形態による動画処理システム1の動作〉
次に、本実施形態による動画処理システム1の動作について、図3~図10を参照して説明する。本実施形態において、ハイスピードカメラ装置10の第1時刻情報取得部131およびタグ情報生成装置20の第2時刻情報取得部221は、通信ネットワーク2を介してNTPサーバ3から基準時刻情報を取得している。これにより、ハイスピードカメラ装置10とタグ情報生成装置20では、時刻情報の同期がとられている。
<Operation of moving image processing system 1 according to one embodiment>
Next, the operation of the moving picture processing system 1 according to this embodiment will be described with reference to FIGS. 3 to 10. FIG. In this embodiment, the first time information acquisition unit 131 of the high-speed camera device 10 and the second time information acquisition unit 221 of the tag information generation device 20 acquire reference time information from the NTP server 3 via the communication network 2. ing. As a result, time information is synchronized between the high-speed camera device 10 and the tag information generation device 20 .

まず、図3において、ハイスピードカメラ装置10の撮影部11が動画の撮影を行うと、撮影により生成された動画データX(図4参照)が第1動画データ記憶部12に記憶される(S1)。その際、開始時刻情報付加部132が、撮影部11で撮影が開始されたときの時刻情報を第1時刻情報取得部131で取得された基準時刻に基づいて取得する。そして開始時刻情報付加部132は、第1動画データ記憶部12に記憶された動画データXに、当該動画データXの撮影開始時刻の情報をメタデータとして付加する(S2)。ここでは、撮影開始時刻の情報として、日付情報「2021/04/01」および時刻情報「13:37:09」が取得され、動画データXにメタデータとして付加されたものとする。 First, in FIG. 3, when the imaging unit 11 of the high-speed camera device 10 shoots a moving image, moving image data X (see FIG. 4) generated by shooting is stored in the first moving image data storage unit 12 (S1 ). At that time, the start time information addition unit 132 acquires time information when the imaging unit 11 starts shooting based on the reference time acquired by the first time information acquisition unit 131 . Then, the start time information addition unit 132 adds, as metadata, information about the shooting start time of the moving image data X to the moving image data X stored in the first moving image data storage unit 12 (S2). Here, it is assumed that date information “2021/04/01” and time information “13:37:09” are acquired as information on the shooting start time and added to the moving image data X as metadata.

ハイスピードカメラ装置10が動画の撮影を行っているときに、ユーザが当該撮影の被写体を見ながら、または撮影している映像をリアルタイムで視聴しながら、タグ情報生成装置20で、所定タイミングに関するタグ情報の生成を指示する操作を行う。所定タイミングとは、ハイスピードカメラ装置10で撮影し記憶された動画データXのうち、所望の位置から再生する際の再生開始タイミングである。 While the high-speed camera device 10 is shooting a moving image, the tag information generation device 20 generates a tag related to a predetermined timing while looking at the subject being shot or watching the image being shot in real time. Perform an operation that instructs the generation of information. The predetermined timing is the playback start timing for playing back from a desired position of the moving image data X captured and stored by the high-speed camera device 10 .

一例として、ハイスピードカメラ装置10が撮影している野球の練習風景をユーザがテレビ装置(図示せず)等によりリアルタイムで視聴しながら、タグ情報生成装置20としてのスマートデバイスS(図5参照)を用いて、ピッチャーが投球するタイミングに関するタグ情報の生成を指示する操作を行う場合について説明する。もちろん、ハイスピードカメラ装置10が撮影している場所で、ユーザが野球の練習風景を直接見ながらスマートデバイスSを操作するのでもよい。 As an example, while a user watches a baseball practice scene captured by the high-speed camera device 10 in real time on a television device (not shown) or the like, a smart device S (see FIG. 5) serving as the tag information generation device 20 is displayed. will be used to perform an operation for instructing the generation of tag information relating to the pitching timing of the pitcher. Of course, the user may operate the smart device S while directly watching the scene of baseball practice at the location where the high-speed camera device 10 is shooting.

図5は、ユーザインタフェース部21としてのタッチパネル200を備えたスマートデバイスSの一例を示す。タッチパネル200には、ユーザが該当タイミングに関するタグ情報の生成指示を入力する際にタッチ操作するタグ入力ボタン201と、タグリスト情報202と、再生条件情報203が表示されている。 FIG. 5 shows an example of a smart device S having a touch panel 200 as the user interface section 21. As shown in FIG. Displayed on the touch panel 200 are a tag input button 201 that is touch-operated when the user inputs an instruction to generate tag information related to the relevant timing, tag list information 202 and reproduction condition information 203 .

ユーザは、野球の練習風景を見ながら、例えば図6に示すように、ピッチャーが振りかぶって投球動作を開始するタイミングを認識するごとに、タッチパネル200上でタグ入力ボタン201をタッチ操作する。 While watching a baseball practice scene, the user touches the tag input button 201 on the touch panel 200 each time the pitcher recognizes the timing at which the pitcher swings back to start pitching, as shown in FIG.

ユーザがタグ入力ボタン201をタッチ操作すると、第1操作情報取得部222が当該タッチ操作の情報を取得する(S3)。第1操作情報取得部222が当該タッチ操作の情報を取得すると、タグ情報生成部223が、タッチ操作の情報が取得されたタイミングを示す時刻情報を、第2時刻情報取得部221で取得した基準時刻情報に基づいて取得する。そして、タグ情報生成部223は、当該タッチ操作に関し、取得した時刻情報を再生開始時刻の情報として含むタグ情報を生成する。 When the user touches the tag input button 201, the first operation information acquisition unit 222 acquires information on the touch operation (S3). When the first operation information acquisition unit 222 acquires the information of the touch operation, the tag information generation unit 223 acquires the time information indicating the timing at which the information of the touch operation was acquired based on the reference acquired by the second time information acquisition unit 221. Acquired based on time information. Then, the tag information generation unit 223 generates tag information including the acquired time information as information of the reproduction start time regarding the touch operation.

タグ情報生成部223は、動画の撮影中にユーザがピッチャーの投球動作が開始するタイミングを認識してタッチ操作を行う都度、当該タイミングに対応するタグ情報を生成する。そしてタグ情報生成部223は、当該撮影が終了するまでの間に生成したタグ情報を格納した、投球シーンに関するタグ情報テーブルT(図7参照)を生成する(S4)。タグ情報テーブルTは、タグ情報ごとに再生開始時刻の情報などが対応付けられたテーブルであって、CSVファイルとして生成されてもよい。 The tag information generation unit 223 generates tag information corresponding to the timing each time the user recognizes the timing at which the pitcher's pitching motion starts during video shooting and performs a touch operation. Then, the tag information generation unit 223 generates a tag information table T (see FIG. 7) relating to the pitching scene, which stores the tag information generated until the end of the shooting (S4). The tag information table T is a table in which information such as reproduction start time is associated with each piece of tag information, and may be generated as a CSV file.

また、ユーザがタッチパネル200の再生条件情報203で、タグ情報に対して再生時間として「10秒」を指定する操作を行うと、当該タグ情報の再生時間の情報がタグ情報テーブルTに格納される。 Further, when the user performs an operation to specify "10 seconds" as the reproduction time for the tag information in the reproduction condition information 203 of the touch panel 200, the information of the reproduction time of the tag information is stored in the tag information table T. .

図7は、タグ情報生成部223が生成したタグ情報テーブルTの一例を示す。図7のタグ情報テーブルTには、当該動画の撮影中に実行された3回のタッチ操作それぞれに関する第1~第3タグ情報が保持されている。具体的には、1回目のタッチ操作による第1タグ情報の情報として、日付情報「2021/04/01」および再生開始時刻の情報「13:37:19」が保持されている。また、2回目のタッチ操作による第2タグ情報の情報として、日付情報「2021/04/01」および再生開始時刻の情報「13:37:43」が保持されている。また、3回目のタッチ操作による第3タグ情報の情報として、日付情報「2021/04/01」および再生開始時刻の情報「13:37:58」が保持されている。また、第1~第3タグ情報の再生時間情報として、「10秒」が保持されている。タグ情報生成部223で生成されたタグ情報テーブルTは、第1タグ情報記憶部23に記憶される。 FIG. 7 shows an example of the tag information table T generated by the tag information generator 223. As shown in FIG. The tag information table T in FIG. 7 holds first to third tag information relating to each of the three touch operations performed during shooting of the moving image. Specifically, the date information “2021/04/01” and the reproduction start time information “13:37:19” are held as the information of the first tag information by the first touch operation. In addition, date information “2021/04/01” and playback start time information “13:37:43” are held as the information of the second tag information by the second touch operation. Further, date information “2021/04/01” and playback start time information “13:37:58” are held as information of the third tag information by the third touch operation. Also, "10 seconds" is held as reproduction time information of the first to third tag information. The tag information table T generated by the tag information generation section 223 is stored in the first tag information storage section 23 .

図5に示すように、タッチパネル200には、タグ情報テーブルTに格納された情報が、タグリスト情報202および再生条件情報203として表示される。 As shown in FIG. 5 , information stored in the tag information table T is displayed on the touch panel 200 as tag list information 202 and reproduction condition information 203 .

動画の撮影が終了した後、ハイスピードカメラ装置10の動画データ送信部14が、第1動画データ記憶部12に記憶された動画データXを動画再生装置30に送信する(S5)。動画再生装置30では、ハイスピードカメラ装置10から送信された動画データXを動画データ取得部311が取得し、第2動画データ記憶部321に記憶する(S6)。 After the moving image is captured, the moving image data transmission unit 14 of the high-speed camera device 10 transmits the moving image data X stored in the first moving image data storage unit 12 to the moving image reproducing device 30 (S5). In the moving image reproduction device 30, the moving image data acquisition unit 311 acquires the moving image data X transmitted from the high-speed camera device 10, and stores it in the second moving image data storage unit 321 (S6).

また、タグ情報生成装置20のタグ情報送信部24が、第1タグ情報記憶部23に記憶されたタグ情報テーブルTを動画再生装置30に送信する(S7)。動画再生装置30では、タグ情報生成装置20から送信されたタグ情報テーブルTをタグ情報取得部312が取得し、第2タグ情報記憶部322に記憶する(S8)。 Also, the tag information transmission unit 24 of the tag information generation device 20 transmits the tag information table T stored in the first tag information storage unit 23 to the moving image reproduction device 30 (S7). In the moving image reproduction device 30, the tag information acquisition unit 312 acquires the tag information table T transmitted from the tag information generation device 20, and stores it in the second tag information storage unit 322 (S8).

次に、再生開始位置算出部314が、第2タグ情報記憶部322に記憶したタグ情報テーブルT内のタグ情報ごとに再生開始位置情報を算出する。具体的には、再生開始位置算出部314は、当該動画データXからメタデータとして付加されている第1フレームレートの情報および動画再生部313に予め設定されている第2フレームレートの情報を取得し、タグ情報ごとに、当該動画データXの撮影開始時刻と該当するタグ情報で示される再生開始時刻との差分で示される第1時間t1に、第2フレームレートに対する第1フレームレートの比率を乗算した第2時間t2を再生開始位置情報として算出する。 Next, the reproduction start position calculation section 314 calculates reproduction start position information for each piece of tag information in the tag information table T stored in the second tag information storage section 322 . Specifically, the reproduction start position calculation unit 314 acquires information on the first frame rate added as metadata from the moving image data X and information on the second frame rate preset in the moving image reproducing unit 313. Then, for each tag information, the ratio of the first frame rate to the second frame rate is calculated at the first time t1 indicated by the difference between the shooting start time of the moving image data X and the reproduction start time indicated by the corresponding tag information. The multiplied second time t2 is calculated as reproduction start position information.

例えば、再生開始位置算出部314は、第1タグ情報に関して、撮影開始時刻「13:37:09」からタグ情報の再生開始時刻「13:37:19」までの第1時間t1「10秒」に、第2フレームレート「60FPS」に対する第1フレームレート「240FPS」の比率「4」を乗算した第2時間t2「40秒」を、再生開始位置情報として算出する。 For example, regarding the first tag information, the reproduction start position calculation unit 314 calculates the first time t1 "10 seconds" from the shooting start time "13:37:09" to the reproduction start time "13:37:19" of the tag information. is multiplied by the ratio "4" of the first frame rate "240 FPS" to the second frame rate "60 FPS" to calculate the second time t2 "40 seconds" as the reproduction start position information.

同様にして、再生開始位置算出部314は、第2タグ情報に関して、撮影開始時刻「13:37:09」からタグ情報の時刻「13:37:43」までの第1時間t1「34秒」に当該比率「4」を乗算した第2時間t2「136秒」を、再生開始位置情報として算出する。また、第3タグ情報に関して、撮影開始時刻「13:37:09」からタグ情報の時刻「13:37:58」までの第1時間t1「49秒」に当該比率「4」を乗算した第2時間t2「196秒」を、再生開始位置情報として算出する。図8に示すように、再生開始位置算出部314は、算出した各タグ情報の第1時間t1および第2時間t2(再生開始位置情報)を、タグ情報テーブルTに追加して更新する(S9)。 Similarly, the reproduction start position calculation unit 314 calculates the first time t1 "34 seconds" from the shooting start time "13:37:09" to the tag information time "13:37:43" for the second tag information. is multiplied by the ratio "4" to calculate the second time t2 "136 seconds" as the reproduction start position information. Regarding the third tag information, the first time t1 "49 seconds" from the shooting start time "13:37:09" to the tag information time "13:37:58" is multiplied by the ratio "4". 2 hours t2 "196 seconds" is calculated as the reproduction start position information. As shown in FIG. 8, the reproduction start position calculator 314 adds and updates the calculated first time t1 and second time t2 (reproduction start position information) of each tag information to the tag information table T (S9 ).

このようにしてタグ情報テーブルTが更新された後、ユーザが所望のタグ情報に基づく再生操作を行う場合について説明する。ユーザが動画再生装置30で動画データXの投球シーンの第1~第3タグ情報に基づく再生を指示する操作を行うと、第2操作情報取得部315が当該操作の情報を取得し、再生制御部317に送出する。 After the tag information table T is updated in this manner, a case where the user performs a reproduction operation based on desired tag information will be described. When the user performs an operation to instruct playback based on the first to third tag information of the pitching scene of the video data X on the video playback device 30, the second operation information acquisition unit 315 acquires the information of the operation, and controls the playback. 317.

再生制御部317は、第2タグ情報記憶部322のタグ情報テーブルTから、投球シーンに該当する第1タグ情報の再生開始位置情報「40秒」、第2タグ情報の再生開始位置情報「136秒」、第3タグ情報の再生開始位置情報「196秒」、および第1~第3タグ情報の再生時間情報「10秒」を取得する。 From the tag information table T of the second tag information storage unit 322, the reproduction control unit 317 selects the reproduction start position information "40 seconds" of the first tag information corresponding to the pitching scene, and the reproduction start position information "136 seconds" of the second tag information. second”, reproduction start position information “196 seconds” of the third tag information, and reproduction time information “10 seconds” of the first to third tag information.

そして、再生制御部317は、取得した情報に基づいて動画再生部313に対し、図4に示す動画データXの第1タグ情報に対応する部分動画データX1、第2タグ情報に対応する部分動画データX2、および第3タグ情報に対応する部分動画データX3の再生を指示する。 Then, based on the acquired information, the reproduction control unit 317 supplies the moving image reproducing unit 313 with the partial moving image data X1 corresponding to the first tag information and the partial moving image corresponding to the second tag information of the moving image data X shown in FIG. The reproduction of the data X2 and the partial moving image data X3 corresponding to the third tag information is instructed.

具体的には、第1タグ情報に対応する部分動画データX1は、動画データXの先頭から再生時間が40秒経過した位置から撮影時間10秒間分の動画データである。また、第2タグ情報に対応する部分動画データX2は、動画データXの先頭からの再生時間が136秒経過した位置から撮影時間10秒間分の動画データである。また、第3タグ情報に対応する部分動画データX3は、動画データXの先頭からの再生時間が196秒経過した位置から撮影時間10秒間分の動画データである。 Specifically, the partial moving image data X1 corresponding to the first tag information is moving image data for 10 seconds of shooting time from the position where 40 seconds of playback time have elapsed from the beginning of the moving image data X. Further, the partial moving image data X2 corresponding to the second tag information is moving image data for 10 seconds of photographing time from the position where the reproduction time from the head of the moving image data X has elapsed is 136 seconds. Further, the partial moving image data X3 corresponding to the third tag information is moving image data for 10 seconds of photographing time from the position where the reproduction time from the head of the moving image data X has elapsed is 196 seconds.

動画再生部313は、第2動画データ記憶部321に記憶された動画データXから部分動画データX1、部分動画データX2、および部分動画データX3を切り出し、第2フレームレートでこれらの部分動画データを連続して表示部33に再生させる。このように処理を行うことで、動画データX内の投球シーンのみが抽出され、連続して再生される。 The moving image reproduction unit 313 cuts out the partial moving image data X1, the partial moving image data X2, and the partial moving image data X3 from the moving image data X stored in the second moving image data storage unit 321, and reproduces these partial moving image data at the second frame rate. The display section 33 is made to reproduce continuously. By performing such processing, only the pitching scene in the moving image data X is extracted and reproduced continuously.

以上の実施形態によれば、ハイスピードカメラ装置で撮影された動画データを、動画再生装置で撮影時とは異なるフレームレートで再生する際に、ハイスピードカメラ装置とは異なるタグ情報生成装置で生成したタグ情報に基づいて所望の位置から再生させることができる。 According to the above embodiment, when moving image data captured by a high-speed camera device is played back at a frame rate different from that at the time of shooting by a moving image playback device, a tag information generation device different from that of the high-speed camera device is used to generate the data. It is possible to reproduce from a desired position based on the tag information obtained.

上述した実施形態においては、ハイスピードカメラ装置10から動画再生装置30に動画データを送信する際、およびタグ情報生成装置20から動画再生装置30にタグ情報を送信する際に、有線または無線通信により送信する場合について説明した。しかしこれには限定されず、ハイスピードカメラ装置10で第1動画データ記憶部12に記憶された動画データをSDカードやUSBメモリ等の記録媒体に保存し、この記録媒体を動画再生装置30に装着して動画データを移行させるようにしてもよい。この場合、ハイスピードカメラ装置10は、動画データ送信部14を有さない構成としてもよい。 In the above-described embodiment, when transmitting moving image data from the high-speed camera device 10 to the moving image reproducing device 30 and when transmitting tag information from the tag information generating device 20 to the moving image reproducing device 30, wired or wireless communication is used. I explained how to send. However, it is not limited to this, and the moving image data stored in the first moving image data storage unit 12 in the high-speed camera device 10 is stored in a recording medium such as an SD card or a USB memory, and this recording medium is transferred to the moving image reproducing device 30. You may make it mount|wear and move video data. In this case, the high-speed camera device 10 may be configured without the moving image data transmission section 14 .

同様に、タグ情報生成装置20で第1タグ情報記憶部23に記憶されたタグ情報を記録媒体に保存し、この記録媒体を動画再生装置30に装着してタグ情報を移行させるようにしてもよい。この場合、タグ情報生成装置20は、タグ情報送信部24を有さない構成としてもよい。 Similarly, the tag information stored in the first tag information storage unit 23 in the tag information generating device 20 may be saved in a recording medium, and the recording medium may be mounted on the moving image reproducing device 30 to transfer the tag information. good. In this case, the tag information generation device 20 may be configured without the tag information transmission unit 24 .

また上述した実施形態において、タグ情報に基づいて動画データを再生させる際に、ユーザがタグ情報生成装置20でタグ情報の生成を指示する操作を行ったタイミングよりも、数秒程度前から再生を開始したい場合がある。例えば、上述した実施形態のように野球の練習風景を撮影し、ピッチャーが投球するタイミングでユーザがスマートデバイスSでタッチ操作を行う場合、図6に示すようにピッチャーが振りかぶったときに投球動作が開始したと認識してタッチ操作を行う。 Further, in the above-described embodiment, when reproducing video data based on tag information, reproduction is started several seconds before the timing at which the user operates the tag information generation device 20 to instruct generation of tag information. sometimes you want to For example, when a baseball practice scene is captured as in the above-described embodiment, and the user performs a touch operation on the smart device S at the timing when the pitcher pitches, the pitching motion is performed when the pitcher swings back as shown in FIG. It recognizes that it has started and performs a touch operation.

しかし、このタッチ操作により生成されたタグ情報に基づいて動画データを再生する際には、ピッチャーが振りかぶる前から視聴したい場合がある。このような場合に対応するため、動画再生装置30の再生開始位置算出部314が各タグ情報の再生開始位置を算出する際に、当該動画データXの撮影開始時刻から該当するタグ情報で示される時刻までの第1時間t1を所定の第1調整時間(例えば2秒程度)分、短く算出するようにしてもよい。 However, when reproducing video data based on the tag information generated by this touch operation, there are cases where the user wants to view the video data before the pitcher swings over. In order to cope with such a case, when the reproduction start position calculation unit 314 of the moving image reproducing device 30 calculates the reproduction start position of each tag information, the corresponding tag information is indicated from the shooting start time of the moving image data X. The first time t1 to the time may be calculated as short as a predetermined first adjustment time (for example, about 2 seconds).

この場合、再生開始位置算出部314は、ユーザがタグ情報生成装置20または動画再生装置30に入力した第1調整時間の情報を取得する。ユーザがタグ情報生成装置20に第1調整時間の情報を入力した場合には、タグ情報生成装置20は、タグ情報生成テーブルTとともに第1調整時間の情報を動画再生装置30に送信する。 In this case, the reproduction start position calculation unit 314 acquires the information of the first adjustment time input by the user to the tag information generation device 20 or the video reproduction device 30 . When the user inputs the information of the first adjustment time to the tag information generation device 20 , the tag information generation device 20 transmits the information of the first adjustment time together with the tag information generation table T to the video playback device 30 .

そして、再生開始位置算出部314が、動画データXの撮影開始時刻から該当するタグ情報で示される時刻までの時間から当該第1調整時間を差し引いた時間を第1時間t1とし、これに基づいて第2時間t2を算出する。この処理により、例えば図6のタグ情報テーブルTに対し、図9に示すように第1時間t1が図8の場合よりも2秒少なく算出され、これに伴って第2時間t2の値が8秒小さく算出される。 Then, the reproduction start position calculation unit 314 sets the time obtained by subtracting the first adjustment time from the time from the shooting start time of the moving image data X to the time indicated by the corresponding tag information as the first time t1, and based on this, A second time t2 is calculated. By this processing, the first time t1 is calculated to be 2 seconds shorter than the case of FIG. 8 as shown in FIG. 9 for the tag information table T of FIG. calculated in seconds.

このように算出された第2時間t2でタグ情報テーブルTが更新されると、第1調整時間を考慮せずに再生する場合よりも考慮した場合の方が、各タグ情報の再生開始位置が、撮影時のフレームレートで2秒分前にずれる。図10に、動画データX内で、撮影時のフレームレートにおいて第1調整時間を考慮しない場合の再生部分(a)、および、第1調整時間を考慮した場合の再生部分(b)を示す。図10の下部の数字は、動画データX内の該当する撮影時刻の秒単位を示す。 When the tag information table T is updated at the second time t2 calculated in this manner, the reproduction start position of each piece of tag information is more accurate than the case of reproduction without considering the first adjustment time. , the frame rate at the time of shooting is shifted forward by 2 seconds. FIG. 10 shows a reproduced portion (a) in the moving image data X when the frame rate at the time of shooting does not consider the first adjustment time, and a reproduced portion (b) in which the first adjustment time is taken into consideration. The numbers at the bottom of FIG. 10 indicate the corresponding shooting time in the moving image data X in units of seconds.

このように再生開始位置を調整することにより、各タグ情報で示される部分動画データが再生される際に、ピッチャーが振りかぶる前から再生を開始させることができる。この処理に用いる第1調整時間の情報は、ユーザの操作により適宜変更可能である。 By adjusting the playback start position in this way, when the partial video data indicated by each piece of tag information is played back, playback can be started before the pitcher swings over. The information of the first adjustment time used for this process can be appropriately changed by the user's operation.

また、再生開始位置算出部314が再生開始位置情報を算出した後に、ユーザが動画再生装置30で再生開始位置を第2調整時間(例えば1秒)分、前後にずらず指示を入力することで、再生開始位置を調整するようにしてもよい。 Further, after the reproduction start position calculation unit 314 calculates the reproduction start position information, the user inputs an instruction without shifting the reproduction start position forward or backward by the second adjustment time (for example, 1 second) on the moving image reproducing device 30. , the playback start position may be adjusted.

この場合、ユーザが入力した指示の情報をタグ情報更新処理部316が取得し、第2タグ情報記憶部322に記憶されているタグ情報テーブルT内のタグ情報の第2時間の値を、指示された第2調整時間分増減させる。例えば、再生開始位置を第2調整時間分前にずらす場合には、第2時間を該当する時間分減らし、再生開始位置を第2調整時間分後にずらす場合には、第2時間を該当する時間分増やす。 In this case, the tag information update processing unit 316 acquires the information of the instruction input by the user, and instructs the value of the second time of the tag information in the tag information table T stored in the second tag information storage unit 322. is increased or decreased by the second adjustment time. For example, if the playback start position is shifted forward by the second adjustment time, the second time is reduced by the corresponding time, and if the playback start position is shifted backward by the second adjustment time, the second time is reduced by the corresponding time. increase.

このとき、タグ情報更新処理部316は、タグ情報テーブルT内のすべてのタグ情報に対して、第2時間を同じ値で増減させるため、複数のタグ情報の再生開始位置が、互いに相対的な時間間隔は同じ状態を保ちつつ、所定時間分、前後いずれかにずれる。 At this time, since the tag information update processing unit 316 increases or decreases the second time by the same value for all the tag information in the tag information table T, the reproduction start positions of the plurality of tag information are set relative to each other. While the time interval remains the same, it shifts forward or backward by a predetermined amount of time.

このように処理を行うことにより、ユーザがタグ情報に基づいて再生した動画データを視聴して、再生開始位置が所望の位置からずれていると認識したときに、タグ情報による再生開始位置を所望の位置まで前後にずらして調整することができる。 By performing processing in this way, when the user views the video data reproduced based on the tag information and recognizes that the reproduction start position is deviated from the desired position, the reproduction start position based on the tag information is set to the desired position. It can be adjusted by shifting it back and forth to the position of .

またタグ情報更新処理部316は、第2タグ情報記憶部322に記憶されたタグ情報テーブルTに対し、ユーザにより新たなタグを追加する操作が行われると、当該操作に基づく新たなタグ情報を生成して当該タグ情報テーブルTに追加する。 Further, when the user performs an operation to add a new tag to the tag information table T stored in the second tag information storage unit 322, the tag information update processing unit 316 updates new tag information based on the operation. Generate and add to the tag information table T.

この場合、ユーザは新たなタグを追加する操作として、例えば、動画データXを第2フレームレートで表示部33に再生させ、これを視聴しながら動画再生装置30において所望のタイミングで、当該操作のタイミングを新たな再生開始時刻として指定したタグ情報の生成を指示する操作を行う。タグ情報更新処理部316は、当該操作の情報を取得すると、再生中である動画データXの再生開始時刻から、指定された再生開始時刻までの時間である第2時間の情報を取得し、取得した第2時間に基づく動画データX内の位置を再生開始位置とするタグ情報を生成して第2タグ情報記憶部322に記憶させる。このように処理を行うことで、既に生成され動画再生装置30に記憶されたタグ情報テーブルTに対して、後から新たなタグ情報を追加することができる。 In this case, as an operation for adding a new tag, for example, the user causes the display unit 33 to reproduce the moving image data X at the second frame rate, and performs the operation at a desired timing on the moving image reproducing device 30 while viewing the data. An operation is performed to instruct generation of tag information specifying the timing as a new reproduction start time. When the tag information update processing unit 316 acquires the information of the operation, the tag information update processing unit 316 acquires the information of the second time, which is the time from the playback start time of the video data X being played to the specified playback start time, and acquires the information. Tag information having the position in the moving image data X based on the second time as the reproduction start position is generated and stored in the second tag information storage unit 322 . By performing processing in this manner, new tag information can be added later to the tag information table T that has already been generated and stored in the video reproducing device 30 .

また、上述した実施形態においては、ユーザの操作によりタグ情報を生成する場合について説明したが、これには限定されず、被写体の動きを検知するセンサ等により自動で所定のシーン、例えば投球動作のシーンを検出し、該当するシーンが検出されたタイミングを示す時刻情報に基づいてタグ情報生成装置20がタグ情報を自動生成するようにしてもよい。 Further, in the above-described embodiment, the case where the tag information is generated by the user's operation has been described, but the present invention is not limited to this. A scene may be detected, and the tag information generating device 20 may automatically generate tag information based on time information indicating the timing at which the corresponding scene was detected.

上述した実施形態においては、ハイスピードカメラ装置10とタグ情報生成装置20とがNTPサーバ3から配信される時刻情報を取得して、ハイスピードカメラ装置10とタグ情報生成装置20との時刻情報の同期をとっている。時刻情報の同期をとる方法は、NTPサーバ3から配信される時刻情報を利用することに限定されない。ハイスピードカメラ装置10およびタグ情報生成装置20は、全地球航法衛星システム(Global Navigation Satellite System:GNSS)用の衛星からの電波を受信した電波に基づく時刻情報を取得してもよい。GNSSは、一例としてGPS(Global Positioning System)である。 In the above-described embodiment, the high-speed camera device 10 and the tag information generation device 20 acquire time information distributed from the NTP server 3, and the time information between the high-speed camera device 10 and the tag information generation device 20 is obtained. are in sync. The method of synchronizing the time information is not limited to using the time information delivered from the NTP server 3. The high-speed camera device 10 and the tag information generation device 20 may acquire time information based on radio waves received from satellites for a Global Navigation Satellite System (GNSS). GNSS is GPS (Global Positioning System) as an example.

また、上述した動画再生装置30の機能構成をプログラム化してコンピュータに組み込むことにより、当該コンピュータを動画再生装置30として機能させる動画再生プログラムを構築することも可能である。 Further, by programming the functional configuration of the moving image reproducing device 30 described above and incorporating it into a computer, it is possible to construct a moving image reproducing program that causes the computer to function as the moving image reproducing device 30 .

1 動画処理システム
2 通信ネットワーク
3 NTP(Network Time Protocol)サーバ
10 ハイスピードカメラ装置
11 撮影部
12 第1動画データ記憶部
13 カメラ制御部
14 動画データ送信部
20 タグ情報生成装置
21 ユーザインタフェース部
22 生成装置制御部
23 第1タグ情報記憶部
24 タグ情報送信部
30 動画再生装置
31 CPU
32 記憶部
33 表示部
131 第1時刻情報取得部
132 開始時刻情報付加部
200 タッチパネル
201 タグ入力ボタン
202 タグリスト情報
203 再生条件情報
221 第2時刻情報取得部
222 第1操作情報取得部
223 タグ情報生成部
311 動画データ取得部
312 タグ情報取得部
313 動画再生部
314 再生開始位置算出部
315 第2操作情報取得部
316 タグ情報更新処理部
317 再生制御部
321 第2動画データ記憶部
322 第2タグ情報記憶部
1 moving image processing system 2 communication network 3 NTP (Network Time Protocol) server 10 high speed camera device 11 photographing unit 12 first moving image data storage unit 13 camera control unit 14 moving image data transmission unit 20 tag information generation device 21 user interface unit 22 generation Device control section 23 First tag information storage section 24 Tag information transmission section 30 Video playback device 31 CPU
32 storage unit 33 display unit 131 first time information acquisition unit 132 start time information addition unit 200 touch panel 201 tag input button 202 tag list information 203 reproduction condition information 221 second time information acquisition unit 222 first operation information acquisition unit 223 tag information Generation unit 311 Video data acquisition unit 312 Tag information acquisition unit 313 Video playback unit 314 Playback start position calculation unit 315 Second operation information acquisition unit 316 Tag information update processing unit 317 Playback control unit 321 Second video data storage unit 322 Second tag Information storage

Claims (5)

基準時刻に基づく撮影開始時刻の情報が付加されて第1フレームレートで生成された動画データを取得する動画データ取得部と、
前記基準時刻に基づく前記動画データの再生開始時刻を含むタグ情報を取得するタグ情報取得部と、
前記第1フレームレートと異なる第2フレームレートで前記動画データを再生する動画再生部と、
前記撮影開始時刻と前記再生開始時刻との差分、及び前記第2フレームレートと前記第1フレームレートとの比に基づいて、前記タグ情報による前記動画データの再生開始位置を算出する再生開始位置算出部と、
前記タグ情報による前記動画データの再生が指示されると、前記動画再生部により前記動画データを、前記再生開始位置から前記第2フレームレートで再生させる再生制御部と
を備えることを特徴とする動画再生装置。
a video data acquisition unit that acquires video data generated at a first frame rate to which information about a shooting start time based on a reference time is added;
a tag information acquisition unit that acquires tag information including the reproduction start time of the video data based on the reference time;
a moving image reproduction unit that reproduces the moving image data at a second frame rate different from the first frame rate;
Playback start position calculation for calculating a playback start position of the moving image data based on the tag information based on a difference between the shooting start time and the playback start time and a ratio between the second frame rate and the first frame rate. Department and
and a reproduction control unit that causes the moving image reproducing unit to reproduce the moving image data at the second frame rate from the reproduction start position when reproduction of the moving image data is instructed by the tag information. playback device.
前記再生開始位置を調整するための情報を取得すると、取得した情報に基づいて前記再生開始位置の情報を更新するタグ情報更新処理部をさらに備える
ことを特徴とする請求項1に記載の動画再生装置。
2. The moving image reproduction according to claim 1, further comprising a tag information update processing unit that updates the information of the reproduction start position based on the acquired information when the information for adjusting the reproduction start position is acquired. Device.
前記タグ情報更新処理部は、前記動画データを前記第2フレームレートで再生中に、前記動画データの新たな再生開始時刻が指定されると、再生中である前記動画データの再生開始時刻から、指定された新たな再生開始時刻までの再生時間の情報を取得し、取得した前記再生時間に基づく前記動画データ内の位置を再生開始位置とするタグ情報を生成する
ことを特徴とする請求項2に記載の動画再生装置。
When a new playback start time of the moving image data is specified while the moving image data is being played back at the second frame rate, the tag information update processing unit, from the playback start time of the moving image data being played, 2. Acquiring information on a playback time up to a specified new playback start time, and generating tag information having a playback start position at a position within said video data based on said acquired playback time. 3. The moving image playback device according to .
撮像装置が、基準時刻に基づく撮影開始時刻の情報が付加された動画データを第1フレームレートで生成して記録し、
タグ情報生成装置が、前記基準時刻に基づく前記動画データの再生開始時刻を含むタグ情報を記憶し、
前記第1フレームレートと異なる第2フレームレートで動画データを再生する動画再生装置が、前記動画データおよび前記タグ情報を取得し、前記撮影開始時刻と前記再生開始時刻との差分、及び前記第2フレームレートと前記第1フレームレートとの比とに基づいて、前記タグ情報による前記動画データの再生開始位置を算出し、前記タグ情報による前記動画データの再生が指示されると、前記動画データを、算出した前記再生開始位置から前記第2フレームレートで再生する
動画記録再生方法。
An imaging device generates and records moving image data to which information about a shooting start time based on a reference time is added at a first frame rate,
A tag information generating device stores tag information including a reproduction start time of the video data based on the reference time,
A moving image reproducing device that reproduces moving image data at a second frame rate different from the first frame rate acquires the moving image data and the tag information, and calculates the difference between the shooting start time and the reproduction start time, and the second frame rate. Based on the ratio between the frame rate and the first frame rate, a reproduction start position of the moving image data is calculated by the tag information, and when reproduction of the moving image data is instructed by the tag information, the moving image data is reproduced. and reproducing the moving image at the second frame rate from the calculated reproduction start position.
コンピュータに、
基準時刻に基づく撮影開始時刻の情報が付加され第1フレームレートで生成された動画データを取得する機能と、
前記基準時刻に基づく前記動画データの再生開始時刻を含むタグ情報を取得する機能と、
前記第1フレームレートと異なる第2フレームレートで前記動画データを再生する機能と、
前記撮影開始時刻と前記再生開始時刻との差分、及び前記第2フレームレートと前記第1フレームレートとの比に基づいて、前記タグ情報による前記動画データの再生開始位置を算出する機能と、
前記タグ情報による前記動画データの再生が指示されると、前記動画データを、前記再生開始位置から前記第2フレームレートで再生させる機能と
を実現させるための動画再生プログラム。
to the computer,
a function of acquiring video data generated at a first frame rate to which information about a shooting start time based on a reference time is added;
a function of acquiring tag information including a playback start time of the video data based on the reference time;
a function of reproducing the video data at a second frame rate different from the first frame rate;
a function of calculating a playback start position of the video data based on the tag information based on the difference between the shooting start time and the playback start time and the ratio between the second frame rate and the first frame rate;
and a function of reproducing the moving image data at the second frame rate from the reproduction start position when the reproduction of the moving image data is instructed by the tag information.
JP2021124066A 2021-07-29 2021-07-29 Video reproducing apparatus, video recording reproducing method, and video reproducing program Pending JP2023019389A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021124066A JP2023019389A (en) 2021-07-29 2021-07-29 Video reproducing apparatus, video recording reproducing method, and video reproducing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021124066A JP2023019389A (en) 2021-07-29 2021-07-29 Video reproducing apparatus, video recording reproducing method, and video reproducing program

Publications (1)

Publication Number Publication Date
JP2023019389A true JP2023019389A (en) 2023-02-09

Family

ID=85160296

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021124066A Pending JP2023019389A (en) 2021-07-29 2021-07-29 Video reproducing apparatus, video recording reproducing method, and video reproducing program

Country Status (1)

Country Link
JP (1) JP2023019389A (en)

Similar Documents

Publication Publication Date Title
US10027931B2 (en) Virtual image generating apparatus, virtual image generating method, and recording medium storing virtual image generating program
KR101604250B1 (en) Method of Providing Service for Recommending Game Video
US8199210B2 (en) Image pick-up apparatus and synchronization-signal-generating apparatus
CN103139475A (en) Imaging device
JP7248437B2 (en) Programs, electronics and data recording methods
CN114079813A (en) Picture synchronization method, coding method, video playing device and video coding device
US8260119B2 (en) Content editing apparatus
JP2010258768A (en) Image display device and control method thereof, program and storage medium
JP5596844B2 (en) Image processing apparatus, image processing system, and image processing method
JP2023153790A (en) program
JP2023019389A (en) Video reproducing apparatus, video recording reproducing method, and video reproducing program
EP1499116A2 (en) Image pickup apparatus and control unit therefor
JP6295634B2 (en) Information processing system and program
JP6089988B2 (en) Imaging system, imaging apparatus, and program
JP6952584B2 (en) Imaging device, imaging method and imaging program
JP6909903B1 (en) Image management device, image management system and image management method
JP2006279294A (en) Content reproduction system, content reproduction method, and computer program
JP2015109505A (en) Reproduction controller, reproduction device, reproduction control method, and program
JP6909904B1 (en) Image management device, image management system and image management method
JP6909902B1 (en) Image management device, image management system and image management method
JP6424945B2 (en) Imaging device, imaging method, and imaging program
JP6146162B2 (en) Image processing apparatus, imaging apparatus, image processing method, imaging method, and image processing program
JP2010232853A (en) Device and method for reproducing content
JP2021190887A (en) Synchronous imaging system
JP2004343813A (en) Information-added imaging method and imaging apparatus used for method

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20210803

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240329