JP2011146847A - Image reproduction controller, image reproduction control method, and imaging device - Google Patents
Image reproduction controller, image reproduction control method, and imaging device Download PDFInfo
- Publication number
- JP2011146847A JP2011146847A JP2010004850A JP2010004850A JP2011146847A JP 2011146847 A JP2011146847 A JP 2011146847A JP 2010004850 A JP2010004850 A JP 2010004850A JP 2010004850 A JP2010004850 A JP 2010004850A JP 2011146847 A JP2011146847 A JP 2011146847A
- Authority
- JP
- Japan
- Prior art keywords
- frame rate
- frame
- stream
- normal
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
Description
本発明は、符号化された複数の動画像を復号して再生する画像生成制御装置、およびそれを搭載した撮像装置に関する。 The present invention relates to an image generation control device that decodes and reproduces a plurality of encoded moving images, and an imaging device equipped with the image generation control device.
近年、一般ユーザが静止画のみならず、手軽に動画像を撮影することができるデジタルムービーカメラが普及してきており、それらの中には撮影に際してフレームレートを変更したり、異なるフレームレートの動画を同時に撮像したりすることができるものもある(特許文献1参照)。これらの動画は記録メディア等に記録された後、例えば、ムービーカメラに搭載されている表示モニタやPC(Personal Computer)、テレビ等で鑑賞される。 In recent years, digital movie cameras that allow general users to easily shoot moving images as well as still images have become widespread. Among them, the frame rate can be changed during shooting, and movies with different frame rates can be recorded. There are some that can be imaged simultaneously (see Patent Document 1). These moving images are recorded on a recording medium or the like and then viewed on, for example, a display monitor, a PC (Personal Computer), a television, or the like mounted on a movie camera.
同一シーンについて異なるフレームレートで撮影ができると、例えば重要なシーンについては時間分解能の高い高フレームレートで撮影することができて便利である。一方で、同一シーンについてのフレームレートの異なる動画が同時に存在することになり、両者を切り替えて再生すると、視聴時に違和感を生じる場合がある。 If the same scene can be shot at different frame rates, for example, important scenes can be shot at a high frame rate with high time resolution. On the other hand, moving images with different frame rates for the same scene exist at the same time, and when both are switched and played back, there may be a sense of discomfort during viewing.
本発明はこうした状況に鑑みなされたものであり、その目的は、異なるフレームレートで撮像された動画像データを適切に切り替えて再生する技術を提供することにある。 The present invention has been made in view of such circumstances, and an object thereof is to provide a technique for appropriately switching and reproducing moving image data captured at different frame rates.
本発明のある態様は画像再生制御装置である。この装置は、通常のフレームレートのストリームを復号して通常のフレームレートの動画のフレームを出力する通常フレームレートストリーム復号部と、前記通常のフレームレートのストリームに含まれる少なくとも一部のシーンに関しての通常よりも高いフレームレートのストリームを復号して、通常よりも高いフレームレートの動画のフレームを出力する高フレームレートストリーム復号部と、前記通常のフレームレートの動画のフレームまたは前記通常よりも高いフレームレートの動画のフレームのいずれかを再生すべき動画のフレームとして選択するフレーム選択部とを含み、前記フレーム選択部は、フレームレートを変更するに際しては、前記一部のシーンについて重複して撮影されている前記通常のフレームレートのストリームと前記高フレームレートのストリームとを関連づける関連情報を参照して前記通常のフレームレートのストリームと前記通常よりも高いフレームレートのストリームとの切り替えタイミングを特定し、切り替えの前後に再生される動画のストリームのフレームレートを、切り替え前のフレームレートから切り替え後のフレームレートへ段階的に切り替える。 One embodiment of the present invention is an image reproduction control device. The apparatus relates to a normal frame rate stream decoding unit that decodes a normal frame rate stream and outputs a normal frame rate moving image frame, and at least a part of scenes included in the normal frame rate stream. A high frame rate stream decoding unit that decodes a stream with a frame rate higher than normal and outputs a frame with a higher frame rate than normal, and a frame with the normal frame rate or higher than normal A frame selecting unit that selects one of the frames of the rate moving image as a frame of the moving image to be played back, and when the frame rate is changed, the frame selecting unit is photographed in duplicate for the part of the scenes. Said normal frame rate stream A video stream that is reproduced before and after the switching by specifying switching timing between the normal frame rate stream and the higher frame rate stream with reference to related information that associates the high frame rate stream with each other The frame rate is switched stepwise from the frame rate before switching to the frame rate after switching.
本発明の別の態様は撮像装置である。この装置は、動画像を取得する撮像部と、前記撮像部により撮像される動画像を符号化して、通常のフレームレートのストリームと通常よりも高いフレームレートのストリームとの2種類のストリームを生成可能な画像符号化部と、前記通常のフレームレートのストリームと当該ストリームの生成と並行して生成された前記通常よりも高いフレームレートのストリームとを関連づける関連情報を生成する制御部と、上述の画像再生制御装置と、前記画像再生制御装置により表示制御される表示装置とを含む。
とを含む。
Another embodiment of the present invention is an imaging apparatus. This apparatus generates an image capturing unit that acquires a moving image, and a moving image captured by the image capturing unit, and generates two types of streams: a normal frame rate stream and a higher frame rate stream. A possible image encoding unit, a control unit that generates related information associating the normal frame rate stream and the higher frame rate stream generated in parallel with the generation of the stream, and An image reproduction control device; and a display device controlled by the image reproduction control device.
Including.
本発明のさらに別の態様は画像記録制御方法である。この方法は、同一のシーンについて重複して撮影された通常のフレームレートの動画のストリームと、通常よりも高いフレームレートの動画のストリームとが同時に存在するときに、両者を切り替えて再生するに際しては、前記同一のシーンについての前記通常のフレームレートの動画のストリームと前記通常よりも高いフレームレートの動画のストリームとを関連づける関連情報を参照して前記通常のフレームレートのストリームと前記通常よりも高いフレームレートのストリームとの切り替えタイミングを特定し、切り替えの前後に再生される動画のストリームのフレームレートを、切り替え前のフレームレートから切り替え後のフレームレートへ段階的に切り替えながら再生する。 Yet another embodiment of the present invention is an image recording control method. In this method, when there are both a normal frame rate moving image stream and a higher frame rate moving image that were shot in duplicate for the same scene, The normal frame rate stream and higher than normal with reference to related information relating the normal frame rate video stream and the higher frame rate video stream for the same scene. The switching timing with the stream of the frame rate is specified, and the frame rate of the moving image stream that is played before and after the switching is reproduced while being gradually switched from the frame rate before the switching to the frame rate after the switching.
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above-described constituent elements and a conversion of the expression of the present invention between a method, an apparatus, a system, a recording medium, a computer program, and the like are also effective as an aspect of the present invention.
本発明によれば、異なるフレームレートで撮像された動画像データを適切に切り替えて再生することができる。 According to the present invention, moving image data captured at different frame rates can be appropriately switched and reproduced.
(実施の形態1)
本発明の実施の形態1の概要を述べる。実施の形態1は、240fps(frames per second)のフレームレートで動画フレームを生成してフレームバッファに格納しておき、通常の撮影モードでは、60fpsのフレームレートになるまでフレームを間引いてからストリームを生成する。ユーザから高速撮影を行う旨の指示がある間は、60fpsのフレームレートのストリームの生成に加えて、フレームを間引きする前の240fpsのフレームレートのストリームも生成する。撮影終了後、生成されたフレームレートの異なる複数のストリームを連結して単一のファイルとして保存する。
(Embodiment 1)
An outline of the first embodiment of the present invention will be described. In the first embodiment, a moving image frame is generated at a frame rate of 240 fps (frames per second) and stored in a frame buffer. In a normal shooting mode, the frame is thinned out until the frame rate reaches 60 fps, and then the stream is extracted. Generate. While there is an instruction to perform high-speed shooting from the user, in addition to generating a stream at a frame rate of 60 fps, a stream at a frame rate of 240 fps before thinning out the frames is also generated. After shooting, a plurality of generated streams having different frame rates are concatenated and saved as a single file.
図1は、実施の形態1に係る撮像装置200の内部構成を模式的に示した図である。撮像装置200は、センサ10、操作部12、フレーム生成部14、および画像記録制御装置100を含む。画像記録制御装置100はさらに、フレームバッファ16、フレーム間引き部18、画像符号化部20、制御部22、ファイル連結部32、および記録部34を含む。
FIG. 1 is a diagram schematically illustrating an internal configuration of the
フレーム生成部14は、センサ10が取得した映像のフレームを生成する。センサ10は、CCD(Charge Coupled Devices)センサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの図示しない固体撮像素子であり、フレーム生成部14はセンサ10から出力されるアナログの三原色信号R、G、Bを処理して、デジタルの輝度信号Yおよび色差信号Cr、Cbのフレームに変換する。フレームバッファ16は、フレーム生成部14が生成したフレームを一時的に保存する。
The frame generation unit 14 generates a video frame acquired by the
フレーム間引き部18は、フレームバッファ16に格納されているフレームを間引きする。フレームバッファ16にはフレーム生成部14が生成した、フレームレートが240fpsのフレームが格納されており、フレーム間引き部18は、当該フレームを四分の一に間引くことにより、フレームレートが60fpsのフレームを生成する。ここでフレーム生成部14が生成するフレームのフレームレートと、フレーム間引き部18が生成するフレームのフレームレートとは様々な組み合わせがあってもよい。例えば、フレーム生成部14が600fpsのフレームを生成してもよく、フレーム間引き部18は間引きの枚数を自由に変更できるようにしてもよい。
The
画像符号化部20はさらに、通常フレームレートフレーム符号化部36と高フレームレートフレーム符号化部38とのふたつの画像符号化部を含む。
The
通常フレームレートフレーム符号化部36は、フレーム間引き部18が生成したフレームを符号化して通常フレームレートストリーム24を生成する。通常フレームレートフレーム符号化部36は、当該フレームを所定の規格にしたがい符号化する。動画像の符号化には、国際標準化機関であるISO(International Organization for Standardization)/IEC(International Electrotechnical Commission)によって標準化されたMPEG(Moving Picture Experts Group)シリーズの規格(MPEG−1、MPEG−2およびMPEG−4)、電気通信に関する国際標準機関であるITU−T(International Telecommunication Union-Telecommunication Standardization Sector)によって標準化されたH.26xシリーズの規格(H.261、H.262およびH.263)、もしくは両方の標準化機関によって合同で標準化された最新の動画像圧縮符号化標準規格であるH.264/AVC(両機関における正式勧告名はそれぞれMPEG-4 Part 10: Advanced Video CodingとH.264)に準拠する技術、その拡張標準であるH.264/AVC Annex G、すなわちH.264/SVC(Scalable Video Coding)が用いられる。
The normal frame rate
高フレームレートフレーム符号化部38は、操作部12に入力されたユーザの指示がある間、フレームバッファ16に格納されているフレームを符号化し、ストリームを生成する。したがって、高フレームレートフレーム符号化部38が生成するストリームは、通常フレームレートフレーム符号化部36が生成するストリームよりも高いフレームレート(240fps)のストリームとなる。以後、ユーザの指示により高フレームレートフレーム符号化部38がフレームバッファ16に格納されているフレームを直接符号化してストリームを生成する動作を「高速撮影モード」と呼ぶ。高フレームレートフレーム符号化部38も通常フレームレートフレーム符号化部36と同様に、MPEG−2、またはMPEG−4、H.264/AVC、H.264/SVCなどの規格にしたがい圧縮符号化する。
The high frame rate
通常フレームレートフレーム符号化部36がフレーム間引き部18の生成した一連のフレームをすべて符号化して一つのストリーム(通常フレームレートストリーム24)を生成するのに対し、高フレームレートフレーム符号化部38は、ユーザから高速撮影モードの指示がある度に、その指示がある期間に符号化する。例えばユーザが1度目の高速撮影モードの指示を行うと、高フレームレートフレーム符号化部38は第1高フレームレートストリーム26を生成する。以後、高フレームレートフレーム符号化部38はユーザから高速撮影モードの指示がある度にストリームを生成し、n回目の指示で第n高フレームレートストリーム28を生成する。
The normal frame rate
高フレームレートフレーム符号化部38が生成するストリームはフレームレートが高く、映像を高い時間分解能で撮影することができる一方で、多くの記録容量を要する。反対に、通常フレームレートフレーム符号化部36が生成する通常フレームレートストリーム24はフレームが間引きされているため時間分解能は落ちるが、その分記憶容量は少なくなる。これらの性質を利用して、映像全体を通常フレームレートストリーム24で記録し、例えば重要なシーンについては高速撮影モードで撮影することにより、記憶容量を抑えつつ、重要なシーンを高い時間分解能で記録することが可能となる。
The stream generated by the high frame rate
制御部22は、操作部12に入力されたユーザの指示に基づいて関連情報30を生成する。ここで「関連情報」とは、センサ10に入力された映像を通常フレームレートフレーム符号化部36と高フレームレートフレーム符号化部38とが共に符号化したときに、両者が生成したストリームを関連づける情報である。例えば、通常フレームレートフレーム符号化部36と高フレームレートフレーム符号化部38とが重複して符号化した部分を特定する情報、すなわち、高フレームレートで撮像すべき期間を特定する情報である。関連情報の具体例については後述する。
The
ファイル連結部32は、通常フレームレートフレーム符号化部36が生成した通常フレームレートストリーム24、高フレームレートフレーム符号化部38が生成したひとつ以上の高フレームレートストリーム、および制御部22が生成した関連情報30を多重化して連結し、単一のファイルを生成する。ここで「単一のファイル」とはファイル操作の単位となるファイルを意味し、ひとつのファイル名の下で一括してファイルの複製や削除、ファイル転送等の操作の対象となる。ファイルとしては、例えばMP4ファイルフォーマットにしたがったコンテナファイルを利用することができる。当該コンテナファイルには、各符号化データのヘッダ情報、メタデータ、時刻情報などを記述したコンテナを含めることができる。
The
記録部34は、ファイル連結部32が生成したファイルを格納する。記録部34としては例えば、内蔵メモリとして、半導体メモリまたはハードディスクを採用することができる。また、リムーバブルメモリとして、メモリーカード、リムーバブルハードディスク、または光ディスクを採用することができる。
The
画像記録制御装置100の構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のLSIで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
The configuration of the image
図2は、実施の形態1にかかる撮像装置200の処理の流れを説明するフローチャートである。本フローチャートにおける処理は、例えばユーザが撮像装置200の電源ボタン(図示しない)を押すと開始する。
FIG. 2 is a flowchart for explaining the flow of processing of the
ユーザが動画撮影を選択した場合(S10Y)、フレーム生成部14はセンサ10が取得した映像のフレームを生成してフレームバッファ16に格納する(S12)。ユーザが操作部12を介して高速撮影モードを選択する場合(S14Y)、高フレームレートフレーム符号化部38は、フレームバッファ16に格納されている高フレームレートのフレームを符号化する(S16)。ユーザが高速撮影モードを選択しない場合には(S14N)、高フレームレートフレーム符号化部38は符号化を実行しない。
When the user selects moving image shooting (S10Y), the frame generation unit 14 generates a frame of the video acquired by the
フレーム間引き部18は、フレームバッファ16に格納されているフレームを所定の枚数間引きする(S18)。通常フレームレートフレーム符号化部36は、フレーム間引き部18が出力した通常のフレームレートのフレームを符号化する(S20)。ここで動画像の撮影を終了しない場合には(S22N)、ステップS12に戻り、フレームの符号化を続行する。動画像の撮影を終了する場合には(S22Y)、制御部22は関連情報30を生成する(S24)。その後ファイル連結部32は、通常フレームレートフレーム符号化部36が生成した通常フレームレートストリーム24、高フレームレートフレーム符号化部38が生成した一つ以上の高フレームレートのストリーム、および制御部22が生成した関連情報30を連結してひとつのファイルを生成する(S26)。ファイル連結部32がファイルを生成するか、あるいは動画撮影でない場合に(S10N)、本処理は終了する。
The
なお、図2において通常フレームレートフレーム符号化部36と高フレームレートフレーム符号化部38とが符号化処理を直列に実行する場合について説明したが、両者は並列に符号化処理を実行してもよい。
In addition, although the case where the normal frame rate
以下、制御部22が生成する関連情報30の具体例について図を参照しながら説明する。
Hereinafter, a specific example of the
図3は、通常フレームレートフレーム符号化部36が符号化の対象とする通常フレームレートフレーム群40と、高フレームレートフレーム符号化部38が符号化の対象とする第1高フレームレートフレーム群42および第2高フレームレートフレーム群44との関係の一例を模式的に表した図である。本例では通常フレームレートフレーム群40のフレームレートは60fpsであり、第1高フレームレートフレーム群42および第2高フレームレートフレーム群44のフレームレートは240fpsであるとする。
FIG. 3 shows a normal frame rate frame group 40 to be encoded by the normal frame rate
通常フレームレートフレーム群40の撮影開始時刻を原点とする時間軸46と、通常フレームレートフレーム群40の第1番目のフレームのフレーム番号を1とし、以後順番に通し番号をふったときのフレーム番号を表すフレーム軸48とを考える。通常フレームレートフレーム群40は時刻0から始まって時刻T5で終了する。このとき通常フレームレートフレーム群40は、1番目のフレームからF5番目のフレームまで存在し、その間のフレームの総数はN0枚である。
The time axis 46 with the shooting start time of the normal frame rate frame group 40 as the origin, and the frame number of the first frame of the normal frame rate frame group 40 as 1, and the frame number when the serial number is sequentially assigned thereafter Consider a
時刻T1においてユーザが操作部12を介して高速撮影モードを選択すると、高フレームレートフレーム符号化部38は第1高フレームレートフレーム群42の符号化を開始する。時刻T2においてユーザが高速撮影モードを終了すると、高フレームレートフレーム符号化部38は符号化を終了する。第1高フレームレートフレーム群は時刻T1からT2までのD1の期間に撮影されたフレーム群ということになる。
When the user selects the high-speed shooting mode via the
時刻T3においてユーザが再度高速撮影モードを選択すると、高フレームレートフレーム符号化部38は第2高フレームレートフレーム群44の符号化を開始する。D2の時間が経過し、時刻T4においてユーザが高速撮影モードを終了すると、高フレームレートフレーム符号化部38は符号化を終了する。
When the user selects the high-speed shooting mode again at time T3, the high frame rate
この例では、通常フレームレートフレーム群40と第1高フレームレートフレーム群42とは時刻T1からT2までのD1の期間において重複する。そこで両者の重複部分を特定する関連情報30として、時刻T1とT2とのセットが考えられる。また、両者の重複が始まる時刻T1と重複する期間であるD1とのセットも重複部分を特定する関連情報30とすることができる。同様に、通常フレームレートフレーム群40と第2高フレームレートフレーム群44とは時刻T3からT4までのD2の期間において重複するので、T3とT4のセットあるいはT3とD2のセットを通常フレームレートフレーム群40と第2高フレームレートフレーム群44との重複部分を特定する関連情報30とすることができる。
In this example, the normal frame rate frame group 40 and the first high frame
ユーザが高速撮影モードを選択した時刻T1において、通常フレームレートフレーム群40はF1番目のフレームであったとする。その後時刻T2においてユーザが高速撮影モードを終了したとき、フレーム群40はF2番目のフレームであったとする。このとき、通常フレームレートフレーム群40と第1高フレームレートフレーム群42との重複部分は、通常フレームレートフレーム群40のフレーム番号F1とF2とのセットで特定することができる。また、F1番目のフレームとF2番目とのフレームの間にN1枚の通常フレームレートフレーム群40のフレームがあるとすれば、通常フレームレートフレーム群40と第1高フレームレートフレーム群42との重複部分は、通常フレームレートフレーム群40のフレーム番号F1と重複部分の枚数N1とのセットでも特定することができる。したがって、F1とF2とのセットあるいはF1とN1とのセットを通常フレームレートフレーム群40と第1高フレームレートフレーム群42との重複部分を特定する関連情報30とすることができる。
It is assumed that the normal frame rate frame group 40 is the F1th frame at time T1 when the user selects the high-speed shooting mode. After that, when the user ends the high-speed shooting mode at time T2, it is assumed that the frame group 40 is the F2th frame. At this time, an overlapping portion between the normal frame rate frame group 40 and the first high frame
通常フレームレートフレーム群40と第2高フレームレートフレーム群44との場合も同様で、時刻T3の時の通常フレームレートフレーム群40のフレーム番号をF3、時刻T4の時の通常フレームレートフレーム群40のフレーム番号をF4とし、その間のフレーム数をN2とすれば、F3とF4とのセットあるいはF3とN2とのセットを通常フレームレートフレーム群40と第2高フレームレートフレーム群44との重複部分を特定する関連情報30とすることができる。
The same applies to the normal frame rate frame group 40 and the second high frame rate frame group 44. The frame number of the normal frame rate frame group 40 at time T3 is F3, and the normal frame rate frame group 40 at time T4. If the frame number of F4 is F4 and the number of frames between them is N2, the set of F3 and F4 or the set of F3 and N2 is the overlapping portion of the normal frame rate frame group 40 and the second high frame rate frame group 44
ここで、通常フレームレートフレーム群40のフレーム数N1またはN2のかわりに、対応する第1高フレームレートフレーム群42または第2高フレームレートフレーム群44のフレーム数を用いることも可能である。この場合、第1高フレームレートフレーム群42および第2高フレームレートフレーム群44のフレームレートは通常フレームレートフレーム群40の4倍(240fps/60fps=4)であるので、対応するフレームの枚数もそれぞれ4倍となる。
Here, instead of the number of frames N1 or N2 of the normal frame rate frame group 40, the number of frames of the corresponding first high frame
図4は、関連情報30の別の例を模式的に表した図である。本例は、ストリームの中に映像の区切りデータとしてチャプタ(chapter)が埋め込まれる場合の例である。
FIG. 4 is a diagram schematically illustrating another example of the
本例においては、図4はチャプタが埋め込まれたストリームを伸張したときの、チャプタとフレームとの位置関係の一例を示す図である。第1のチャプタ52aは、チャプタ付きストリーム50内に存在し、第1高フレームレートフレーム群42が開始する直前に埋め込まれている。また、第2のチャプタ52bは、第1高フレームレートフレーム群42が終了した直後に埋め込まれている。したがって第1のチャプタ52aと第2のチャプタ52bとのセットを、チャプタ付きストリーム50と第1高フレームレートフレーム群42との重複部分を特定する関連情報30とすることができる。なお、チャプタ52は、関連情報30としてファイル連結部32が埋め込む。
In this example, FIG. 4 is a diagram showing an example of the positional relationship between chapters and frames when a stream in which chapters are embedded is expanded. The
図5は、ファイル連結部32が生成するファイル54の構造の一例を模式的に表した図である。ファイル54は、ファイルの先頭からヘッダ56、関連情報30、通常フレームレートストリーム24、第1高フレームレートストリーム26の順に格納され、終端に第nストリーム28を含む。ここでヘッダ56は各ストリームの先頭位置の情報等を格納する。このように、各ストリームを順番に格納する場合は、ファイル連結部32がファイル54を生成するときの制御が簡単になる点で有利である。
FIG. 5 is a diagram schematically showing an example of the structure of the
なお、ヘッダ56や関連情報30はファイルの先頭でなくてもよく、例えばファイルの終端にあってもよい。この場合、通常フレームレートストリーム24が先頭となるため、ファイルを探索することなく即座に映像全体を再生できる点で有利である。また、関連情報30はヘッダ56の一部として格納されていてもよい。
Note that the
図6は、ファイル連結部32が生成するファイル54の構造の別例を模式的に表した図である。本例では、先頭にヘッダ56および関連情報30が格納される点では図5に示す例と同じであるが、各ストリームファイルは所定の基準で分割され、分散して格納される点で異なる。また、ヘッダ56は各ストリームの先頭位置の情報のみならず、分割された各ストリームの先頭位置の情報も格納される。
FIG. 6 is a diagram schematically illustrating another example of the structure of the
図6において、通常フレームレートストリーム24はm個の単位に分割され、第1のストリームその1(符号24a)、第1のストリームその2(符号24b)と続いて第1のストリームそのn(符号24c)に至り、最後に第1のストリームそのm(符号24d)として格納される。分割された通常フレームレートストリーム24の間に、分割された第2のストリームその1(符号26a)や第2のストリームその2(符号26b)が格納される。同様に、第nのストリームも分割されて格納される(符号28a)。このように、各ストリームを分割して記録する方式は、記録時の制御が複雑になるものの、記録部34の記録領域に対して効率的に記録できる点で有利である。記録領域内に物理的に連続して大きな空き領域がなく、小さな空き領域しか存在しないような場合でも、ファイルを小さな単位に分割して記録できれば、そのような小さな空き領域に記録することができるからである。
In FIG. 6, the normal
したがって、上述したファイルを分割するための「所定の基準」とは、記録部34の記録領域を効率よく利用するために用意するデータ記録の最小単位であり、例えばストリームに記録されている映像の時間や、データのサイズあるいはチャプタ52によって区切られる単位が用いられる。これらの基準およびその最小単位は、記録部34の容量やファイルシステムの制限などを考慮して実験的に定めればよい。
Therefore, the “predetermined standard” for dividing the above-described file is a minimum unit of data recording prepared in order to efficiently use the recording area of the
図7は、ファイル54に格納される関連情報30の記録形式の一例を模式的に表した図である。本例では、関連情報30として、上述した時刻T0から時刻T5までの各時刻を用いる場合について説明する。
FIG. 7 is a diagram schematically illustrating an example of a recording format of the
まず、関連情報30を記録する領域の先頭に、記録すべき関連情報30の個数を格納する。本例では、記録すべき関連情報は時刻T0から時刻T5までの6個であるから、関連情報30の個数として6を格納する。次に、通常フレームレートフレーム群40の開始時刻であるT0と終了時刻であるT5を格納し、次に第1高フレームレートフレーム群42の開始時刻であるT1と終了時刻であるT2を格納する。最後に第2高フレームレートフレーム群44の開始時刻であるT3と終了時刻であるT4を格納する。フレーム群の数が増えた場合も同様の形式で格納すればよい。また、開始時刻と終了時刻は必ずセットで保存されるので、記録すべき関連情報30の個数としてはセットの個数を記録してもよい。本例の場合では、開始時刻と終了時刻のセットは3セットあるため、関連情報30の個数として3を格納する。
First, the number of the
なお、関連情報30としては、通常フレームレートフレーム群40の開始時刻であるT0と終了時刻であるT5は省略することが可能である。
Note that as the
図8は、ファイル54に格納される関連情報30の記録形式の別例を模式的に表した図である。本例では、関連情報30として、上述した各フレーム群の先頭のフレーム番号とフレームの枚数とを用いる場合について説明する。
FIG. 8 is a diagram schematically showing another example of the recording format of the
本例の場合は、図7に示す例と異なり、記録すべき関連情報30の個数は格納されず、先頭から順に関連情報30が格納される。具体的には、まず通常フレームレートフレーム群40のフレームの総数であるN0が格納される。次に第1高フレームレートフレーム群42の先頭フレームに対応する通常フレームレートフレーム群40のフレーム番号であるF1と、第1高フレームレートフレーム群42と重複する区間の通常フレームレートフレーム群40のフレーム枚数であるN1が格納される。続いて、第2高フレームレートフレーム群44の先頭フレームに対応する通常フレームレートフレーム群40のフレーム番号であるF3と、第1高フレームレートフレーム群42と重複する区間の通常フレームレートフレーム群40のフレーム枚数であるN2が格納される。最後に関連情報30の終端を示す識別子であるターミネータが格納される。関連情報30の先頭からターミネータまでの間の情報を読み込むことにより、関連情報30の個数が格納されていなくても、関連情報を正しく読み取ることが可能となる。
In the case of this example, unlike the example shown in FIG. 7, the number of
なお、関連情報30として、通常フレームレートフレーム群40のフレームの総数であるN0は省略することもできる。
Note that N0, which is the total number of frames of the normal frame rate frame group 40, can be omitted as the
以上の構成による動作は以下のとおりである。ユーザは、実施の形態1にかかる撮像装置を用いて記録に残したい映像を撮像するに際し、その中でも特に重要なシーンについては高速撮影をする。撮影を終了すると、映像全体が60fpsのフレームレートで記録されており、高速撮影をしたシーンについては240fpsのフレームレートで撮影された映像もあわせて記録されている。この結果、異なるフレームレートで撮影された映像が複数存在することになるが、これらは単一のファイルにまとめられて記録される。 The operation according to the above configuration is as follows. When a user captures an image desired to be recorded using the imaging apparatus according to the first embodiment, the user performs high-speed shooting for particularly important scenes. When shooting is completed, the entire video is recorded at a frame rate of 60 fps, and for a scene shot at high speed, a video shot at a frame rate of 240 fps is also recorded. As a result, there are a plurality of videos shot at different frame rates, but these are recorded together in a single file.
以上説明したように実施の形態1によれば、映像全体を通常のフレームレートで撮影し、重要なシーンについては合わせて高フレームレートで撮影することにより、重要でないシーンの符号量を抑えることが可能となり、結果として記憶容量を節約することができる。また、重要なシーンは別のストリームとして生成されるため、重要なシーンの取出しが容易となる。さらに、すべてのストリームと関連情報30とをまとめてひとつのファイルとして生成されるため、ストリームごとに別ファイルを生成する場合と比較して、ファイルのコピーや転送、削除等の管理が容易となる。また、ストリームファイルの一部を消失した結果、一連のストリームファイルがすべて再生できなくなるということも防止できる。
As described above, according to the first embodiment, the entire video is shot at a normal frame rate, and important scenes are also shot at a high frame rate, so that the code amount of an unimportant scene can be suppressed. As a result, the storage capacity can be saved. Also, since important scenes are generated as separate streams, it is easy to extract important scenes. Furthermore, since all the streams and the
すべての機器が、例えば240fpsのような高フレームレートで撮影されたストリームを再生できるとは限らないが、実施の形態1によれば、映像全体を通常のフレームレートで撮影してあるため、高フレームレートで撮影されたストリームを再生できない機器においても映像を再生することが可能となる。
Although not all devices can play back a stream shot at a high frame rate such as 240 fps, according to
(実施の形態2)
実施の形態2の概要を述べる。実施の形態2は、通常の撮影モードで撮影された通常のフレームレートのストリームと高速撮影モードで撮影された通常よりも高いフレームレートのストリームとの複数のストリームを含む動画ファイルを再生するに際し、フレームレートの異なるストリームに切り替えるときは、切り替え前と切り替え後とのフレームレートがスムーズにつながるように、フレームレートを段階的に切り替えて再生する。フレームレートの異なるストリームを切り替える際の、視覚的な違和感を低減するためである。
(Embodiment 2)
An outline of the second embodiment will be described. In the second embodiment, when playing back a moving image file including a plurality of streams of a normal frame rate stream shot in the normal shooting mode and a higher frame rate stream shot in the high-speed shooting mode, When switching to a stream with a different frame rate, playback is performed by switching the frame rate stepwise so that the frame rate before and after the switching is smoothly connected. This is to reduce visual discomfort when switching between streams with different frame rates.
図9は、実施の形態2にかかる画像再生制御装置300の内部構成を模式的に示した図である。画像再生制御装置300は、ファイル分割部58、画像復号部60、フレーム選択部62、およびフレーム制御部64を含む。
FIG. 9 is a diagram schematically illustrating an internal configuration of the image
ファイル分割部58は、記録部34から構成要素として関連情報30および異なるフレームレートで撮像された複数のストリームを含む単一ファイルを受け取り、それを構成要素に分割する。画像復号部60は、ファイル分割部58が分割した構成要素のうち通常フレームレートストリーム24と、ひとつ以上の高フレームレートストリームを復号する。このため、画像復号部60はさらに、通常フレームレートストリームを復号して通常のフレームレートのフレームを生成する通常フレームレートストリーム復号部68と、高フレームレートストリームを復号して通常よりも高いフレームレートのフレームを生成する高フレームレートフレーム生成部70とを含む。
The
高フレームレートフレーム生成部70はさらに、高フレームレートストリームを復号する高フレームレートストリーム復号部72と、高フレームレートストリーム復号部72が生成した高フレームレートの動画のフレームを補間処理することにより、新たなフレームを生成する中間フレーム生成部74とを含む。中間フレームを生成することにより、高フレームレートストリーム復号部72が生成した動画のフレームのフレームレートをさらに上げることが可能となる。補間処理は例えば線形補間やスプライン補間など、既知の補間処理を用いればよい。
The high frame rate frame generation unit 70 further interpolates the high frame rate
フレーム制御部64は、関連情報30と、図示しないユーザインタフェースを介してユーザから再生する動画のフレームレートを変更する旨の指示とを受け取る。フレーム選択部62は、フレーム制御部64から関連情報30とユーザからの指示とを受け取り、画像復号部60から出力されたフレームから、表示部66に出力すべきフレームを選択する。具体的なフレームの選択の仕方については後述する。表示部66は、フレーム選択部62が選択したフレームを表示する。
The
以上の画像再生制御装置300の構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のLSIで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
The above-described configuration of the image
図10は、実施の形態2にかかる画像再生制御装置300の処理の流れを説明するフローチャートである。本例はフレームレートを60fpsから240fpsに切り替える場合の例であり、本フローチャートにおける処理は、例えばユーザが画像再生制御装置300を搭載する表示装置(図示しない)で動画を再生したときに開始する。
FIG. 10 is a flowchart for explaining a process flow of the image
フレーム選択部62は、フレーム制御部64を介してユーザからフレームレートを60fpsから240fpsに切り替える旨の指示があるか否かを判断する。具体的には、フレーム制御部64から切換信号が送信されているか否かを調べる。ユーザからの切り替え指示が存在する場合には(S28Y)、フレーム選択部62は、切り替え指示が60fpsから240fpsへの切り替え指示か否かを調べる。60fpsから240fpsの切り替え指示の場合(S30Y)、フレーム選択部62は、画像復号部60から240fpsの動画のフレームが出力されているか否かを調べる。240fpsの動画のフレームが出力されている場合には(S32Y)、フレーム選択部62はフレームレートを切り替え前の60fpsから切り替え後の240fpsへとスムーズにつながるように段階的に切り替える(S34)。60fpsから240fpsへのフレームレート切り替え処理を実行後、フレーム選択部62は、240fpsのフレームの選択フラグ(図示せず)をオンに設定する(S36)。
The frame selection unit 62 determines whether there is an instruction from the user to switch the frame rate from 60 fps to 240 fps via the
60fpsから240fpsへの切り替え指示でない場合、すなわち240fpsから60fpsへの切り替え指示の場合(S30N)、フレーム選択部62はフレームレートを240fpsから60fpsへと段階的に切り替える(S38)。240fpsから60fpsへのフレームレート切り替え処理を実行後、フレーム選択部62は、240fpsのフレームの選択フラグをオフに設定する(S40)。 If it is not a switching instruction from 60 fps to 240 fps, that is, a switching instruction from 240 fps to 60 fps (S30N), the frame selection unit 62 switches the frame rate stepwise from 240 fps to 60 fps (S38). After executing the frame rate switching process from 240 fps to 60 fps, the frame selection unit 62 sets the 240 fps frame selection flag to OFF (S40).
ユーザからの切り替え指示が存在しない場合(S28N)、240fpsの動画のフレームが存在しない場合に(S32N)、またはフレーム選択部62が選択フラグを設定した後、フレーム選択部62は、240fpsのフレームの選択フラグがオンかオフかを調べる(S42)。240fpsのフレームの選択フラグがオフの場合には(S42N)、以後、フレーム選択部62は60fpsのフレームを選択して出力する(S48)。240fpsのフレームの選択フラグがオンの場合には(S42Y)、フレーム選択部62は、画像復号部60から240fpsの動画のフレームが出力されているか否かを調べる。240fpsの動画のフレームが出力されている場合には(S44Y)、フレーム選択部62は240fpsのフレームを選択して出力する(S46)。240fpsの動画のフレームが出力されていない場合には(S44N)、フレーム選択部62は60fpsのフレームを選択して出力する。フレーム選択部62がいずれかのフレームを選択して出力すると、本フローチャートにおける処理は終了する。
When there is no switching instruction from the user (S28N), when there is no 240 fps moving image frame (S32N), or after the frame selection unit 62 sets the selection flag, the frame selection unit 62 sets the 240 fps frame. It is checked whether the selection flag is on or off (S42). If the 240 fps frame selection flag is off (S42N), then the frame selection unit 62 selects and outputs a 60 fps frame (S48). If the 240 fps frame selection flag is ON (S42Y), the frame selection unit 62 checks whether a 240 fps moving image frame is output from the
高フレームレートストリーム復号部72が復号した240fpsのフレームを再生するに際しては、通常のフレームレートのフレームと同じフレームレートである60fpsで再生する。そのため、通常のフレームレートのフレームの再生と比べて4倍(240fps/60fps=4倍)ゆっくりと再生されるように見える。60fpsのフレームレートのフレームの再生から240fpsのフレームレートのフレームの再生に変更したり、逆に240fpsのフレームレートのフレームの再生から60fpsのフレームレートのフレームの再生に変更したりすると、再生速度が突然変更されるように観察されるため、視聴者に違和感を与える場合がある。
When the 240 fps frame decoded by the high frame rate
ここで、実施の形態2にかかるフレームレートの切り替え処理の詳細を説明する前に、まずその前提となる技術について説明する。 Here, before explaining the details of the frame rate switching processing according to the second embodiment, the technology that is the premise thereof will be described first.
図11は、60fpsのフレームと240fpsのフレームとの時間分解能の比較を模式的に示した図である。60fpsのフレームにおいて、隣り合うフレーム76aと76bとの間の時間間隔は1/60秒である。一方、240fpsのフレームにおいて、隣り合うフレーム78aと78bとの間の時間間隔は1/240秒である。したがって、フレーム76aがフレーム76bに変化するまでの間に、240fpsのフレーム群は、フレーム78a、フレーム78b、フレーム78c、フレーム78dを経てフレーム78eに到る。
FIG. 11 is a diagram schematically showing a comparison of time resolution between a frame of 60 fps and a frame of 240 fps. In a 60 fps frame, the time interval between
このことは、240fpsのフレーム群を3枚ずつ飛ばしながら再生すれば、60fpsでの再生と同等となる。具体的には、フレーム78aの次にフレーム78dを表示し、その次にフレーム78iを表示すれば、60fpsのフレームであるフレーム76a、フレーム76b、フレーム76cの順に表示することに相当する。フレーム間の時間間隔が4/240=1/60秒となるからである。
This is equivalent to playback at 60 fps if playback is performed while skipping three 240 fps frame groups. Specifically, if the
そうすると、240fpsのフレーム群を2枚ずつ飛ばしながら再生すれば、3/240=1/80秒の時間間隔、すなわち80fpsのフレームレートでの再生となる。同様に、1枚とばしで再生すれば120fpsのフレームレートでの再生が実現できる。これにより、フレームレートを60fps、80fps、120fps、240fpsと段階的に変更することが可能となる。以後、フレーム群をn−1枚飛ばしてn枚目のフレームを表示することを「ステップ数n」または「ステップ数nで表示」等と表記する。例えばステップ数4は、フレームを3枚飛ばすことを意味する。 Then, if playback is performed while skipping the 240 fps frame group two by two, playback is performed at a time interval of 3/240 = 1/80 seconds, that is, a frame rate of 80 fps. Similarly, playback at a frame rate of 120 fps can be realized by skipping a single image. As a result, the frame rate can be changed stepwise from 60 fps, 80 fps, 120 fps, and 240 fps. Hereinafter, displaying the nth frame by skipping n−1 frames is referred to as “step number n” or “display with step number n”. For example, the step number 4 means that three frames are skipped.
図12は、フレームレートを60fpsから240fpsまで段階的に変更するときの各段階にかかるフレームレートを図示したものである。60fpsで再生中に、時刻T6にてフレームレートの変更を開始すると、まず240fpsのフレーム群をステップ数4で表示することにより、60fpsの再生を再現する。時刻T7において、ステップ数3とし、フレームレートを80fpsに変更する。時刻T8でステップ数2としてフレームレートを120fpsとし、最終的に時刻T9にてステップ数を1とすることにより240fpsのフレームレートに移行し、フレームレートの変更を完了する。このように、表示すべき240fpsのフレーム群を所定枚数飛ばしながら選択しつつ、飛ばすフレームの枚数を変更することにより、60fpsから80fps、120fpsを経由して240fps到るまで、フレームレートがスムーズにつながるように変更することができる。 FIG. 12 illustrates the frame rate at each stage when the frame rate is changed in stages from 60 fps to 240 fps. When the frame rate change is started at time T6 during reproduction at 60 fps, 60 fps reproduction is reproduced by first displaying a 240 fps frame group in step number 4. At time T7, the number of steps is 3, and the frame rate is changed to 80 fps. At time T8, the frame rate is set to 120 fps with the number of steps being 2, and finally, the number of steps is set to 1 at time T9 to shift to the frame rate of 240 fps, and the change of the frame rate is completed. As described above, by selecting a frame group of 240 fps to be displayed while skipping a predetermined number of frames, changing the number of frames to be skipped, the frame rate is smoothly connected from 60 fps to 240 fps via 80 fps and 120 fps. Can be changed as follows.
ここで、ステップ数4で表示する期間D60、ステップ数3で表示する期間D80、ステップ数2で表示する期間D120はそれぞれユーザの好みで変更できるようにしてもよいし、その時点で存在する240fpsの動画のフレーム数の、例えば5%ずつ使用する等、フレームレートの変更に伴う違和感が低減されるよう実験的により定めてもよい。 Here, the period D60 displayed with the number of steps 4, the period D80 displayed with the number of steps 3, and the period D120 displayed with the number of steps 2 may be changed according to the user's preference, or 240 fps existing at that time It may be determined experimentally so as to reduce the uncomfortable feeling associated with the change in the frame rate, such as using 5% of the number of frames of the moving image.
中間フレーム生成部74が、240fpsのフレーム群の中間フレームを生成することにより、フレームレートをより細かい段階で変更することができる。例えば、240fpsのフレーム群の隣り合うフレームの平均画像を生成することで480fpsに相当するフレーム群を生成し、再生時のステップ数を、8、7、6、・・・、2と変更することを考える。この時のフレームレートの変化は、480/8=60fps、480/7≒69fps、480/6=80fps、以後、96fps、120fps、160fps、240fpsとなる。 The intermediate frame generation unit 74 can change the frame rate in finer steps by generating an intermediate frame of a 240 fps frame group. For example, by generating an average image of adjacent frames of a 240 fps frame group, a frame group corresponding to 480 fps is generated, and the number of steps during reproduction is changed to 8, 7, 6,. think of. Changes in the frame rate at this time are 480/8 = 60 fps, 480 / 7≈69 fps, 480/6 = 80 fps, and thereafter 96 fps, 120 fps, 160 fps, and 240 fps.
図13Aは、60fpsから240fpsへのフレームレートの切り替え処理の流れをするフローチャートの前半部であり、図10におけるステップS34を詳細に説明するものである。 FIG. 13A is the first half of a flowchart showing the flow of the frame rate switching process from 60 fps to 240 fps, and describes step S34 in FIG. 10 in detail.
通常のフレームレートを格納する変数であるfpsLに60(fps)を格納し、通常よりも高いフレームレートを格納する変数であるfpsHに240(fps)を格納する(S50)。fpsLとfpsHとの最小公倍数を格納する変数であるfpsCに、fpsLとfpsHとの最小公倍数を格納する(S52)。本例では60と240との最小公倍数である240を格納する。 60 (fps) is stored in fpsL which is a variable for storing a normal frame rate, and 240 (fps) is stored in fpsH which is a variable for storing a frame rate higher than normal (S50). The least common multiple of fpsL and fpsH is stored in fpsC, which is a variable for storing the least common multiple of fpsL and fpsH (S52). In this example, 240, which is the least common multiple of 60 and 240, is stored.
ステップ数の最大値stepLとステップ数の最小値stepHとを設定する(S54)。本例では、stepL=fpsC/fpsC=240/60=4、stepH=240/240=1となる。フレームレートがfpsCのフレーム群frameCを生成し(S56)、切り替え処理の前処理を終了する。 A maximum value stepL of the number of steps and a minimum value steppH of the number of steps are set (S54). In this example, stepL = fpsC / fpsC = 240/60 = 4 and stepH = 240/240 = 1. A frame group frameC having a frame rate of fpsC is generated (S56), and the preprocessing of the switching process is terminated.
本例ではfpsC=240であるからfpsHに一致するため、frameCとして高フレームレートストリーム復号部72が生成したフレーム群をそのまま使用すればよい。その場合、中間フレーム生成部74は、高フレームレートストリーム復号部72が生成したフレームをそのまま中間フレームとして出力することになる。したがって、「中間フレーム」には、高フレームレートストリーム復号部72が生成したフレームも含まれる。
In this example, since fpsC = 240, it matches with fpsH. Therefore, the frame group generated by the high frame rate
もしfpsCがfpsHよりも大きい場合には、中間フレーム生成部74が中間フレームを生成して、フレームレートを上げることで対応する。また、ステップS52においてfpsLとfpsHとの最小公倍数であるfpsCを格納するのは、fpsCがfpsLおよびfpsHで割り切れることが保証されるためである。 If fpsC is larger than fpsH, the intermediate frame generation unit 74 generates an intermediate frame to increase the frame rate. Also, the reason why fpsC, which is the least common multiple of fpsL and fpsH, is stored in step S52 because it is guaranteed that fpsC is divisible by fpsL and fpsH.
図13Bは、60fpsから240fpsへのフレームレートの切り替え処理の流れをするフローチャートの後半部である。 FIG. 13B is the second half of the flowchart showing the flow of the frame rate switching process from 60 fps to 240 fps.
第1のループ変数iにstepLの値を代入する(S58)。本例ではループ変数iに4を代入する。ループ変数iをステップ数として表示するフレームの数numを設定する(S62)。ループ変数i=4のときは、図12においてステップ数4で表示する期間D60を設定することに相当する。フレームの数numの値を、第2のループ変数jの初期値として設定する(S64)。ステップ数iでフレームレートがfpsCのフレーム群frameCを表示し(S68)、ループ変数jの値をj−1に更新する(S70)。以後、ループ変数jが0より大きい間(S66Y)、frameCの表示とループ変数jの更新を繰り返す。ループ変数jが0以下となったら(S66N)、ループを抜け、第1のループ変数iをi−1に更新する(S72)。以上の処理をiがstepHよりも大きい間(S60Y)繰り返し、ループ変数iがstepHと等しくなるまで(S60N)繰り返す。ループ変数iはステップ数に相当するから、ループ変数iがstepHと等しくなることはすなわちフレームレートの切り替え処理が完了したことになる。この時点で本フローチャートにおける処理は終了する。 The value of stepL is substituted into the first loop variable i (S58). In this example, 4 is substituted into the loop variable i. The number num of frames for displaying the loop variable i as the number of steps is set (S62). When the loop variable i = 4, it corresponds to setting the period D60 to be displayed with the number of steps of 4 in FIG. The value of the number num of frames is set as the initial value of the second loop variable j (S64). The frame group frameC with the number of steps i and the frame rate of fpsC is displayed (S68), and the value of the loop variable j is updated to j-1 (S70). Thereafter, while the loop variable j is greater than 0 (S66Y), display of frameC and update of the loop variable j are repeated. When the loop variable j becomes 0 or less (S66N), the process exits the loop and updates the first loop variable i to i-1 (S72). The above processing is repeated while i is larger than stepH (S60Y), and is repeated until loop variable i becomes equal to stepH (S60N). Since the loop variable i corresponds to the number of steps, when the loop variable i becomes equal to stepH, that is, the frame rate switching process is completed. At this point, the processing in this flowchart ends.
なお、フレームレートを240fpsから60fpsへ切り替える処理(ステップS38)は、図13Aおよび図13Bに示す処理(ステップS34)とほぼ同様であるため、説明は省略する。フレームレートを240fpsから60fpsとなるように、第1のループ変数iの初期値とその更新方法を適切に定めればよい。 Note that the process of switching the frame rate from 240 fps to 60 fps (step S38) is substantially the same as the process shown in FIGS. 13A and 13B (step S34), and thus the description thereof is omitted. The initial value of the first loop variable i and its update method may be appropriately determined so that the frame rate is 240 fps to 60 fps.
以上実施の形態2によれば、異なるフレームレートの動画を切り替えて再生するに際し、フレームレートを段階的に切り替えることが可能となる。これにより、フレームレートを切り替える際に生じる時間分解能の差異に起因する違和感を低減することができる。 As described above, according to the second embodiment, it is possible to switch the frame rate step by step when switching and reproducing moving images having different frame rates. Thereby, the uncomfortable feeling resulting from the difference of the time resolution which arises when switching a frame rate can be reduced.
以上、実施の形態1および実施の形態2を説明した。これらの実施の形態の任意の組み合わせもまた本発明の実施の形態として有用である。例えば実施の形態1と、実施の形態2ないし実施の形態4とを組み合わせ、ファイル連結部32の出力した単一ファイルをファイル分割部58が受け取るようにすれば、これらの実施の形態の効果の和に加え、さらに、撮像から再生までを一貫してユーザに提供できるようになる点で有利である。
The first embodiment and the second embodiment have been described above. Any combination of these embodiments is also useful as an embodiment of the present invention. For example, if the first embodiment is combined with the second to fourth embodiments and the
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described based on the embodiments. This embodiment is an exemplification, and it will be understood by those skilled in the art that various modifications can be made to combinations of the respective constituent elements and processing processes, and such modifications are within the scope of the present invention. is there.
例えば、上記実施の形態1では、画像符号化部20が通常フレームレートフレーム符号化部36と高フレームレートフレーム符号化部38とのふたつ画像符号化部を含む場合について説明したが、いずれかの演算速度が十分速い場合には、ひとつの画像符号化部としてもよい。この場合、高速撮影モード時には通常のフレームレートの映像と高フレームレートの映像とを時分割で符号化することになる。回路の規模を小さくできることから、製造コストや消費電力を抑えられる点で有利である。
For example, in the first embodiment, the case where the
また、上記実施の形態1では、通常フレームレートフレーム符号化部36と高フレームレートフレーム符号化部38とはそれぞれ独立して演算する場合を想定したが、演算結果を共有できるようにしてもよい。例えば、高フレームレートフレーム符号化部38が計算した4枚分のフレームの動きベクトルを合成すれば、通常フレームレートフレーム符号化部36で計算すべき1枚分の動きベクトルとなる。この結果を共有することにより、全体として演算時間と消費電力とを抑えられる点で有利である。
In
また、上記実施の形態1では、チャプタ52を関連情報30として記録する場合について説明したが、ストリームに埋め込むチャプタ52自体に、対応する高フレームレートの映像の情報を持たせてもよい。この場合、上述の例ではチャプタ52aに第1高フレームレートフレーム群42の開始を、チャプタ52bに第1高フレームレートフレーム群42の終了を情報として記録することになる。また上述の例では、チャプタ52aとチャプタ52bとをもって第1高フレームレートフレーム群42の関連情報30として説明したが、チャプタ52aと第1高フレームレートフレーム群42のフレーム数や時間等を関連情報30とすることもできる。
In the first embodiment, the case where the chapter 52 is recorded as the
また、上記実施の形態1では、フレーム生成部14が常時240fpsのフレームを生成する場合について説明したが、通常は60fpsの動画を生成し、高速撮影モードの場合のみ240fpsのフレームを生成するようにしてもよい。この場合、高速撮影モードではない場合のフレーム生成部14の演算量が減り、フレーム間引き部18の演算も不要となるため、消費電力を抑えられる点で有利である。また、フレームレートが低い場合にはセンサ10における受光量を多くすることができるため、ノイズを抑制する効果も得られる。
In the first embodiment, the case where the frame generation unit 14 always generates a frame of 240 fps has been described. Normally, a moving image of 60 fps is generated, and a frame of 240 fps is generated only in the high-speed shooting mode. May be. In this case, the calculation amount of the frame generation unit 14 when not in the high-speed shooting mode is reduced, and the calculation of the
上記実施の形態2では、画像復号部60が通常フレームレートストリーム復号部68と高フレームレートストリーム復号部72とのふたつ画像復号部を含む場合について説明したが、いずれかの演算速度が十分速い場合には、ひとつの画像復号部としてもよい。この場合、通常のフレームレートのストリームと高フレームレートのストリームとを時分割で復号することになる。回路の規模を小さくできることから、製造コストや消費電力を抑えられる点で有利である。
In the second embodiment, the case where the
また、上記実施の形態2では、ファイル分割部58が単一ファイルを構成要素に分割する場合について説明したが、構成要素は単一ファイルとしてまとまっておらず、複数のファイルとして点在していてもよい。この場合、ファイル分割部58に替えて図示しないファイル管理部が、点在する複数のファイルを関連づけることになる。これは例えば関連情報および異なるフレームレートで撮像された複数のストリームを同一フォルダに格納しておいたり、複数のファイルの命名規則を共通化したりすることで実現できる。
In the second embodiment, the case where the
また、上記実施の形態2では、中間フレーム生成部74が高フレームレートストリーム復号部72が生成した高フレームレートの動画のフレームを補間処理することにより、新たなフレームを生成する場合について説明したが、中間フレーム生成部74は高フレームレートの動画のフレームを複製することで新たなフレームを生成することもできる。この場合、補間処理を省略できるので、演算時間や消費電力を抑えられる点で有利である。
In the second embodiment, the case where the intermediate frame generation unit 74 generates a new frame by interpolating the high frame rate moving image frame generated by the high frame rate
14 フレーム生成部、 20 画像符号化部、 22 制御部、 24 通常フレームレートストリーム、 30 関連情報、 50 ストリーム、 58 ファイル分割部、 60 画像復号部、 62 フレーム選択部、 68 通常フレームレートストリーム復号部、 70 高フレームレートフレーム生成部、 72 高フレームレートストリーム復号部、 74 中間フレーム生成部、 200 撮像装置、 300 画像再生制御装置。 14 frame generation unit, 20 image encoding unit, 22 control unit, 24 normal frame rate stream, 30 related information, 50 stream, 58 file division unit, 60 image decoding unit, 62 frame selection unit, 68 normal frame rate stream decoding unit 70 high frame rate frame generation unit, 72 high frame rate stream decoding unit, 74 intermediate frame generation unit, 200 imaging device, and 300 image reproduction control device.
Claims (5)
前記通常のフレームレートのストリームに含まれる少なくとも一部のシーンに関しての通常よりも高いフレームレートのストリームを復号して、通常よりも高いフレームレートの動画のフレームを出力する高フレームレートストリーム復号部と、
前記通常のフレームレートの動画のフレームまたは前記通常よりも高いフレームレートの動画のフレームのいずれかを再生すべき動画のフレームとして選択するフレーム選択部とを含み、
前記フレーム選択部は、フレームレートを変更するに際しては、前記一部のシーンについて重複して撮影されている前記通常のフレームレートのストリームと前記通常よりも高いフレームレートのストリームとを関連づける関連情報を参照して前記通常のフレームレートのストリームと前記通常よりも高いフレームレートのストリームとの切り替えタイミングを特定し、切り替えの前後に再生される動画のストリームのフレームレートを、切り替え前のフレームレートから切り替え後のフレームレートへ段階的に切り替えることを特徴とする画像再生制御装置。 A normal frame rate stream decoding unit that decodes a normal frame rate stream and outputs a frame of a normal frame rate video;
A high frame rate stream decoding unit that decodes a stream having a frame rate higher than normal for at least some scenes included in the stream having the normal frame rate and outputs a frame of a moving image having a frame rate higher than normal; ,
A frame selection unit that selects either a frame of the moving image with the normal frame rate or a frame of the moving image with a frame rate higher than the normal as a frame of the moving image to be played back,
When the frame rate is changed, the frame selection unit obtains related information associating the normal frame rate stream and the higher frame rate stream that have been taken in duplicate for the partial scene. The switching timing between the normal frame rate stream and the higher frame rate stream is specified by referring to, and the frame rate of the video stream played before and after the switching is switched from the frame rate before the switching. An image reproduction control device characterized by switching to a later frame rate step by step.
前記フレーム選択部は、フレームレートを段階的に切り替えるに際しては、前記中間フレームを所定枚数飛ばしながら選択しつつ、飛ばすフレームの枚数を変更することを特徴とする請求項1に記載の装置。 An intermediate frame generating unit that generates a frame of a new moving image as an intermediate frame by interpolating a frame of a moving image with a frame rate higher than normal;
2. The apparatus according to claim 1, wherein the frame selection unit changes the number of frames to be skipped while selecting the intermediate frames while skipping a predetermined number of frames when switching the frame rate stepwise.
前記撮像部により撮像される動画像を符号化して、通常のフレームレートのストリームと通常よりも高いフレームレートのストリームとの2種類のストリームを生成可能な画像符号化部と、
前記通常のフレームレートのストリームと当該ストリームの生成と並行して生成された前記通常よりも高いフレームレートのストリームとを関連づける関連情報を生成する制御部と、
請求項1から3のいずれかに記載の画像再生制御装置と、
前記画像再生制御装置により表示制御される表示装置とを含むことを特徴とする撮像装置。 An imaging unit for acquiring a moving image;
An image encoding unit capable of encoding a moving image captured by the imaging unit to generate two types of streams, a normal frame rate stream and a higher frame rate stream;
A control unit that generates related information that associates the stream with the normal frame rate and the stream with a frame rate higher than the normal generated in parallel with the generation of the stream;
An image reproduction control device according to any one of claims 1 to 3,
An imaging device comprising: a display device whose display is controlled by the image reproduction control device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010004850A JP2011146847A (en) | 2010-01-13 | 2010-01-13 | Image reproduction controller, image reproduction control method, and imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010004850A JP2011146847A (en) | 2010-01-13 | 2010-01-13 | Image reproduction controller, image reproduction control method, and imaging device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011146847A true JP2011146847A (en) | 2011-07-28 |
Family
ID=44461328
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010004850A Pending JP2011146847A (en) | 2010-01-13 | 2010-01-13 | Image reproduction controller, image reproduction control method, and imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011146847A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012165210A (en) * | 2011-02-07 | 2012-08-30 | Canon Inc | Reproduction device, control method for reproduction device, and computer program |
WO2016084631A1 (en) * | 2014-11-27 | 2016-06-02 | ソニー株式会社 | Image processing device, image processing method, and program |
WO2020044765A1 (en) * | 2018-08-31 | 2020-03-05 | 富士フイルム株式会社 | Imaging element, imaging apparatus, image data processing method, and program |
-
2010
- 2010-01-13 JP JP2010004850A patent/JP2011146847A/en active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012165210A (en) * | 2011-02-07 | 2012-08-30 | Canon Inc | Reproduction device, control method for reproduction device, and computer program |
WO2016084631A1 (en) * | 2014-11-27 | 2016-06-02 | ソニー株式会社 | Image processing device, image processing method, and program |
US10129501B2 (en) | 2014-11-27 | 2018-11-13 | Sony Semiconductor Solutions Corporation | Image processing device, image processing method, and program |
WO2020044765A1 (en) * | 2018-08-31 | 2020-03-05 | 富士フイルム株式会社 | Imaging element, imaging apparatus, image data processing method, and program |
CN112640429A (en) * | 2018-08-31 | 2021-04-09 | 富士胶片株式会社 | Imaging element, imaging device, image data processing method, and program |
JPWO2020044765A1 (en) * | 2018-08-31 | 2021-08-10 | 富士フイルム株式会社 | Image sensor, image sensor, image data processing method, and program |
US11122223B2 (en) | 2018-08-31 | 2021-09-14 | Fujifilm Corporation | Imaging element, imaging apparatus, image data processing method, and program |
US11405566B2 (en) | 2018-08-31 | 2022-08-02 | Fujifilm Corporation | Imaging element, imaging apparatus, image data processing method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100906957B1 (en) | Adaptive video processing using sub-frame metadata | |
KR100904649B1 (en) | Adaptive video processing circuitry and player using sub-frame metadata | |
US20090103630A1 (en) | Image processing device | |
JPWO2006075635A1 (en) | Image decoding method | |
JP2005094168A (en) | File structure, image recording apparatus and image reproducing apparatus employing the same | |
US8428121B2 (en) | Image pick-up apparatus for shooting and reproducing a moving image | |
JP2006352581A (en) | Recorder and reproducing device | |
US9972355B2 (en) | Image processing apparatus, method for controlling image processing apparatus, and non-transitory computer readable storage medium | |
JP2008035280A (en) | Image decoding method, and image display method | |
WO2014141638A1 (en) | Image processing apparatus and image processing method | |
WO2014141637A1 (en) | Imaging apparatus and imaging apparatus control method | |
CN101998051A (en) | Image display control device, imaging device provided with the image display control device, image processing device | |
KR20080062696A (en) | Image input apparatus with high-speed high-quality still image successive capturing capability and still image successive capturing method using the same | |
JP6270555B2 (en) | Image processing system, imaging apparatus, and control method thereof | |
KR20120138224A (en) | Reproduction apparatus | |
CN102006445A (en) | Image editing device and imaging device provided with the image editing device, image reproduction device and imaging device provided with the image reproduction device | |
JP2009225361A (en) | Recording device and recording method, and editing device and editing method | |
JP2011146847A (en) | Image reproduction controller, image reproduction control method, and imaging device | |
JP2008252685A (en) | Image encoding device, and imaging apparatus using the same | |
JP2008035281A (en) | Image coding method | |
JP2008252874A (en) | Moving picture coding method, moving picture decoding method, moving picture coding device, and moving picture decoding device | |
JP2008252682A (en) | Image display device and imaging device equipped with the image display device | |
JP5773855B2 (en) | Image processing device | |
JP2018074523A (en) | Imaging device, control method thereof, program, and recording medium | |
JP2011139291A (en) | Image playback controller, image playback control method and imaging device |