JP2013046357A - Image reproduction apparatus, image reproduction method, and image reproduction program - Google Patents
Image reproduction apparatus, image reproduction method, and image reproduction program Download PDFInfo
- Publication number
- JP2013046357A JP2013046357A JP2011184873A JP2011184873A JP2013046357A JP 2013046357 A JP2013046357 A JP 2013046357A JP 2011184873 A JP2011184873 A JP 2011184873A JP 2011184873 A JP2011184873 A JP 2011184873A JP 2013046357 A JP2013046357 A JP 2013046357A
- Authority
- JP
- Japan
- Prior art keywords
- image
- selected image
- reproduction
- display
- changed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Abstract
Description
本発明は、画像再生装置、画像再生方法および画像再生プログラムに関する。 The present invention relates to an image reproduction device, an image reproduction method, and an image reproduction program.
動画像コンテンツの視聴形態の一つに、録画すなわち保存した動画像の視聴がある。
保存された動画像コンテンツを視聴する場合においては、ユーザは所望の再生位置からの再生を行うことができる。操作者(以下、「ユーザ」と言う。)が所望の再生位置を探す方法としては、例えばリモコンを用いて画面上に表示された操作ボタンまたはシークバー等の操作パネルを操作して再生位置を探す方法とか、動画データを先頭から早送りしたり、一定時間の時間送り操作をして再生位置を探す方法とか、シーン確認のために通常通り再生することでシーケンシャル検索を行う方法とか、がある。
One of viewing modes of moving image content is viewing of recorded moving images, that is, stored moving images.
When viewing the stored moving image content, the user can perform playback from a desired playback position. As a method of searching for a desired playback position by an operator (hereinafter referred to as “user”), for example, a playback position is searched for by operating an operation panel such as an operation button or a seek bar displayed on the screen using a remote controller. There are a method, a method of fast-forwarding moving image data from the beginning, a method of searching for a reproduction position by performing a time-feed operation for a certain time, and a method of performing a sequential search by reproducing normally for scene confirmation.
また、ユーザが所望の再生位置からの再生を行う別の方法として、特定のシーンを代表する複数の画像サムネイルまたは動画サムネイルを時系列に画面上に配置し、ユーザに選択させることでユーザの所望のシーンからの再生を実現する方法がある。
ここで、サムネイルとは、多数の画像または動画を一覧表示する表示形態のことである。サムネイルは、コンテンツ全体の内容を直感的かつ短時間に理解できるため、特定のシーンの検索する際に有益である。
In addition, as another method for the user to perform playback from a desired playback position, a plurality of image thumbnails or movie thumbnails representing a specific scene are arranged on the screen in time series, and the user can select the desired thumbnails. There is a method to realize the playback from the scene.
Here, the thumbnail is a display form in which a large number of images or moving images are displayed as a list. Thumbnails are useful when searching for a specific scene because the entire contents can be understood intuitively and in a short time.
ただし、各シーンの先頭シーン一枚のサムネイルでは、ユーザにはシーンの内容を推定できない可能性がある。したがって、サムネイルは、静止画であるよりも動画である方が、ユーザが理解しやすい。 However, there is a possibility that the user cannot estimate the contents of the scene with the thumbnail of the first scene of each scene. Therefore, it is easier for the user to understand that the thumbnail is a moving image than a still image.
特許文献1には、動画像ストリーム復号装置において、動画サムネイルの表示サイズに応じて逆直交変換における演算サイズを適応的に変更し、表示サイズに最も近い解像度で動画像ストリームを復号するため、通常のデコーダと比べて処理量およびメモリ使用量を低減することが記載されている。 In Patent Document 1, a moving image stream decoding apparatus adaptively changes a calculation size in inverse orthogonal transform according to a display size of a moving image thumbnail and decodes a moving image stream with a resolution closest to the display size. It is described that the amount of processing and the amount of memory used are reduced as compared with the decoder of the above.
しかしながら、特許文献1における動画像ストリーム復号装置は、動画サムネイルの表示サイズが大きくなるほど、逆直交変換における演算サイズが大きくなり、その結果、処理量が大きくなる。
特に処理能力の十分でない画像再生装置において、動画サムネイルの表示サイズを拡大する場合や動画サムネイルを移動する場合には、処理量増加に伴う遅延や操作性の悪化を招き、ユーザは動画の内容を効率的に把握することができないという問題がある。
However, in the moving image stream decoding apparatus in Patent Document 1, the calculation size in inverse orthogonal transform increases as the display size of the moving image thumbnail increases, and as a result, the processing amount increases.
Especially when the display size of a video thumbnail is enlarged or the video thumbnail is moved on an image playback device with insufficient processing capability, the delay and operability deteriorate with the increase in processing amount, and the user can There is a problem that it cannot be grasped efficiently.
そこで本発明は、上記問題に鑑みてなされたものであり、動画を拡大あるいは移動またはその双方により変更する際に、ユーザがその動画の内容を効率的に把握することを可能とする画像再生装置、画像再生方法および画像再生プログラムを提供することを課題とする。 Therefore, the present invention has been made in view of the above-described problem, and an image reproducing device that enables a user to efficiently grasp the contents of a moving image when the moving image is enlarged or moved or both are changed. An object is to provide an image reproduction method and an image reproduction program.
(1)本発明の画像再生装置は前記事情に鑑みなされたもので、複数の画像を表示部に表示させる出力合成部と、前記複数の画像から選択された選択画像を取得する取得部と、前記選択画像が拡大あるいは移動またはその双方により変更された後、前記選択画像以外の画像であって画面に表示されている画像における再生速度を、前記選択画像が変更される前より低くする処理負荷制御部と、を備えることを特徴とする。 (1) The image reproduction device of the present invention has been made in view of the above circumstances, an output composition unit that displays a plurality of images on a display unit, an acquisition unit that acquires a selected image selected from the plurality of images, A processing load for lowering the playback speed of an image other than the selected image displayed on the screen after the selected image has been changed by enlargement and / or movement, compared to before the change of the selected image And a control unit.
(2)上記に記載の画像再生装置において、前記処理負荷制御部は、前記選択画像が拡大あるいは移動またはその双方により変更されているときに、前記選択画像の前記再生速度を、前記選択画像が変更される前より低くすることを特徴とする。 (2) In the image reproducing device described above, the processing load control unit may determine the reproduction speed of the selected image when the selected image is changed by enlargement, movement, or both. It is characterized by being lower than before being changed.
(3)上記に記載の画像再生装置において、前記処理負荷制御部は、前記選択画像を構成する画素の少なくとも一部の位置が変更されているときに、前記選択画像以外の画像における再生速度を前記選択画像における再生速度よりも低くすることを特徴とする。 (3) In the image reproduction device described above, the processing load control unit may adjust a reproduction speed of an image other than the selected image when the position of at least a part of the pixels constituting the selected image is changed. The reproduction speed is lower than that of the selected image.
(4)上記に記載の画像再生装置において、前記処理負荷制御部は、前記選択画像が拡大あるいは移動またはその双方により変更された後に、変更された後の選択画像において、変更された後の選択画像以外の画像よりも前記再生速度を高くすることを特徴とする。 (4) In the image reproduction device described above, the processing load control unit may select the changed selection image after the selection image has been changed by enlarging and / or moving the selection image. The reproduction speed is higher than that of images other than images.
(5)上記に記載の画像再生装置において、前記処理負荷制御部は、前記選択画像が拡大あるいは移動またはその双方により変更された後に、拡大又は移動により変更されているときより、変更された後の選択画像の再生速度を高くすることを特徴とする。 (5) In the image reproduction device described above, the processing load control unit is changed after the selected image is changed by enlargement or movement or both, and then changed by the enlargement or movement. The playback speed of the selected image is increased.
(6)上記に記載の画像再生装置において、画像の再生速度を記憶する記憶部と、前記処理負荷制御部は、前記選択画像が拡大あるいは移動またはその双方により変更される前に、その時点に表示画面に表示されている画像の再生速度を前記記憶部に記憶させ、変更された後の選択画像を変更前に戻す指示を取得した場合、前記記憶部から前記画像の再生速度を読み出し、変更前に戻した後に表示画面に表示されている画像の再生速度を該読み出した再生速度にすることを特徴とする。 (6) In the above-described image reproduction device, the storage unit that stores the reproduction speed of the image and the processing load control unit may be configured so that the selected image is changed at the time before the selected image is changed by enlargement and / or movement. When the reproduction speed of the image displayed on the display screen is stored in the storage unit, and an instruction to return the selected image after the change is returned to the previous change, the reproduction speed of the image is read from the storage unit and changed. The reproduction speed of the image displayed on the display screen after returning to the front is set to the read reproduction speed.
(7)本発明の画像再生方法は、複数の画像を表示部に表示させる出力合成手順と、前記複数の画像から選択された選択画像を取得する取得手順と、前記選択画像が拡大又は移動により変更された後、前記選択画像以外の画像であって画面に表示されている画像における再生速度を、前記選択画像が変更される前より低くする処理負荷制御手順と、を有することを特徴とする。 (7) The image reproduction method of the present invention includes an output composition procedure for displaying a plurality of images on a display unit, an acquisition procedure for acquiring a selected image selected from the plurality of images, and the selected image being enlarged or moved. And a processing load control procedure for lowering the playback speed of an image other than the selected image displayed on the screen after the change, compared to before the change of the selected image. .
(8)本発明の画像再生プログラムは、コンピュータに、複数の画像を表示部に表示させる出力合成ステップと、前記複数の画像から選択された選択画像を取得する取得ステップと、前記選択画像が拡大又は移動により変更された後、前記選択画像以外の画像であって画面に表示されている画像における再生速度を、前記選択画像が変更される前より低くする処理負荷制御ステップと、を実行させるための画像再生プログラムである。 (8) An image reproduction program according to the present invention includes an output composition step for causing a computer to display a plurality of images on a display unit, an acquisition step for acquiring a selected image selected from the plurality of images, and the selection image to be enlarged Or a processing load control step of lowering the reproduction speed of an image other than the selected image displayed on the screen after being changed by movement than before the selected image is changed. This is an image reproduction program.
本発明によれば、動画を拡大あるいは移動またはその双方により変更する際に、ユーザがその動画の内容を効率的に把握することができる。 According to the present invention, when a moving image is enlarged or moved or both are changed, the user can efficiently grasp the content of the moving image.
<第1の実施形態>
以下、本発明の実施形態について、図面を参照して詳細に説明する。本実施形態において、画像の再生速度を低くすることにより得られる画像は、動画だけでなく、静止画像(例えば、一時停止状態の画像)を含むものとする。ここで画像の再生速度は、その画像において、予め決められた単位時間(例えば、1秒)あたりに切り替わる静止画像の数である。よって、画像の再生速度を低くした結果、その画像の再生速度が0になる場合に得られる画像は、静止画像である。
また、画像の再生速度を高くする前の元画像は、動画だけでなく、静止画像(例えば、一時停止状態の元画像)を含むものとする。
<First Embodiment>
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the present embodiment, it is assumed that an image obtained by lowering the image reproduction speed includes not only a moving image but also a still image (for example, a paused image). Here, the image reproduction speed is the number of still images that are switched per unit time (for example, 1 second) determined in advance in the image. Therefore, as a result of lowering the image reproduction speed, the image obtained when the image reproduction speed becomes 0 is a still image.
In addition, the original image before increasing the image reproduction speed includes not only a moving image but also a still image (for example, an original image in a paused state).
図1は、第1の実施形態における画像再生装置100の構成を示す概略ブロック図である。
画像再生装置100は、記憶部110と、入力部120と、表示処理部130と、表示部140と、音声出力部150と、を備える。
FIG. 1 is a schematic block diagram illustrating a configuration of an image reproduction device 100 according to the first embodiment.
The image reproduction device 100 includes a
記憶部110には、再生の対象となる動画像符号化データと、表示形態に関するレイアウトと、表示内容に関する情報を含む再生プロパティデータと、を記憶している。
表示形態に必要な情報には、再生対象となる動画ファイルを指定するための動画像データパス、再生区間情報、表示位置指定情報および表示テキスト情報が含まれる。
The
The information necessary for the display mode includes a moving image data path for specifying a moving image file to be played back, playback section information, display position specifying information, and display text information.
入力部120は、動画サムネイルの選択(以下、選択された動画サムネイルを「選択画像」と言う。)を受け付け、その選択画像を示す選択画像情報を表示処理部130へ出力する。
また、入力部120は、拡大された選択画像(以下、「拡大選択画像」と言う。)の選択を解除する指示を受け付け、受け付けた拡大選択画像の選択を解除する指示を表示処理部130へ出力する。
The
In addition, the
表示処理部130は、複数(例えば、9個)の動画サムネイルを含む或る映像を、表示部140に出力する。
次に、選択画像の拡大について説明をする。
表示処理部130は、入力部120から選択画像の情報を受け取った場合、その選択画像の情報が示す選択画像が拡大遷移中でないか否か判定する。拡大遷移とは、選択画像像を拡大する操作の過程を言い、この過程を経て選択画像は拡大される。
表示処理部130は、選択画像が拡大遷移中でない場合、以下の処理を行う。
The
Next, enlargement of the selected image will be described.
When the
The
表示処理部130は、その時点での再生モードを選択画像の拡大前の再生モードMDとして記憶部110に記憶させる。再生モードの種類については、後述する。
そして、表示処理部130は、再生モードの切替方式を、選択画像が拡大または移動するときの再生モード切替方式(以下、拡大または変更時の切替方式と称す)に変更するとともに、再生モードをその時点よりも低い負荷の再生モードに変更することにより、入力部120から入力された選択画像情報が示す選択画像の再生速度をその時点の再生速度より低くし、その選択画像の拡大遷移を開始する。
The
Then, the
そして、表示処理部130は、拡大遷移が終了した場合、拡大選択画像の再生モードをその時点よりも高い負荷の再生モードに変更することにより、選択画像の再生速度をその時点の再生速度より高く設定する。具体的には、例えば、表示処理部130は、拡大遷移が終了した場合、拡大選択画像の再生モードを通常モードに変更する。そして、表示処理部130は、選択画像以外の一つまたは複数の動画サムネイルを一時停止させ、拡大選択画像の再生を再開する。また、表示処理部130は、選択画像の音声を示す音声信号を音声出力部150へ出力する。
Then, when the enlargement transition is completed, the
また、表示処理部130は、入力部120から拡大選択画像の選択を解除する指示を受け取った場合、すなわち変更された後の選択画像を変更前に戻す指示を取得した場合、拡大選択画像の再生を一時停止する。そして、表示処理部130は、拡大された選択画像の音声出力を一時停止する。そして、表示処理部130は、再生モードの切替方式を、通常時の再生モード切替方式に変更する。
Further, when the
表示処理部130は、記憶部110から選択画像の拡大前の再生モードMDを読み出し、読み出した再生モードをその時点の再生モードに設定する。
これにより、表示処理部130は、表示部140に表示されている全ての動画サムネイルを選択画像の拡大前の再生速度で再生することができる。選択画像の拡大前の再生速度は、各動画サムネイルの定常状態における再生速度であるので、表示処理部130は、各動画サムネイルを最適な再生速度で再生できる。その結果、表示処理部130は、処理負荷増大に伴う遅延を生じることなく、各動画サムネイルの再生を再開することができる。
The
Accordingly, the
そして、表示処理部130は、拡大選択画像の縮小遷移を開始する。表示処理部130は、縮小遷移が終了した場合、全動画サムネイルの再生を再開したか否か判定する。
ここで、各動画サムネイルの再生順番は、予め決められているものとし、再生順番が一番目の動画サムネイルを最初の動画サムネイルと称す。表示処理部130は、全動画サムネイルの再生を再開していない場合、最初の動画サムネイルを再生したかどうか判定する。最初の動画サムネイルを再生していない場合、表示処理部130は、最初の動画サムネイルの再生を再開する。表示処理部130は、最初の動画サムネイルの再生を再開した場合、予め決められた時間経過後、次の順番の動画サムネイルの再生を再開する。以下、表示処理部130は、順次動画サムネイルの再生を再開し、全ての動画サムネイルの再生を再開させる。
Then, the
Here, it is assumed that the playback order of each video thumbnail is determined in advance, and the video thumbnail with the first playback order is referred to as the first video thumbnail. If the reproduction of all the moving image thumbnails has not been resumed, the
表示部140は、表示処理部130から入力された出力動画像を表示する。具体的には、選択画像が拡大又は移動により変更される前には、表示部140は、複数(例えば、9個)の動画サムネイルを含む映像を表示する。
また、選択画像が拡大遷移中のときには、表示部140は、拡大遷移中の選択画像と選択画像以外の動画サムネイルとを含む映像を表示する。
The
In addition, when the selected image is in an enlarged transition, the
また、選択画像の拡大遷移が終了した後には、表示部140は、拡大選択画像と一時停止中の選択画像以外の動画サムネイルとを含む映像を表示する。
また、拡大選択画像の縮小遷移中のときには、表示部140は、縮小遷移中であって一時停止中の選択画像と一時停止中の選択画像以外の動画サムネイルとを含む映像を表示する。
In addition, after the enlargement transition of the selected image is completed, the
When the enlarged selection image is in the reduction transition, the
音声出力部150は、表示処理部130から入力された選択画像の音声を示す音声信号に基づいて、選択画像の音声を外部へ出力する。
The
図2は記憶部110に記憶されている再生プロパティデータの構成例を示すものである。同図において、属性、情報種別およびその情報により決定される情報を示す決定情報の組が示されている。ここで、再生プロパティデータは、再生対象となる動画像ストリームデータ毎に作成される。
再生プロパティデータは再生対象となる動画像データ全体に関する情報であるコンテンツ情報を一つ持ち、分割する各シーンの表示に際して必要な情報である分割シーン情報をシーンの動画像表示数に応じて持つ。例えば、9個のシーンに分割して再生を行う場合、9個の分割シーン情報を持つ。この点は、図7を参照して後述する。
FIG. 2 shows a configuration example of the reproduction property data stored in the
The reproduction property data has one piece of content information that is information relating to the entire moving image data to be reproduced, and has divided scene information that is necessary for displaying each scene to be divided according to the number of moving images displayed in the scene. For example, when reproduction is performed by dividing into nine scenes, the information has nine pieces of divided scene information. This point will be described later with reference to FIG.
コンテンツ情報には、動画像データパスの他に、コンテンツタイトルおよびコンテンツ解説情報が含まれる。表示処理部130は、コンテンツ全体に関する情報を表示させたい場合にコンテンツ情報を表示テキスト情報として利用することができる。また、コンテンツ情報は、動画表示数に関する情報を必要に応じて含む。
The content information includes a content title and content description information in addition to the moving image data path. The
分割シーン情報には、対象となる分割シーン毎の個別のシーンIDが含まれる。表示処理部130は、シーンIDから表示位置指定情報を得ることができる。これは、特定のシーンIDに対して、特定の表示位置を割り当てることで、任意の分割シーンを、レイアウト上で対応する表示位置へ割り当てるための表示位置指定情報とすることができる。
The divided scene information includes an individual scene ID for each target divided scene. The
また、再生開始位置および再生終端位置によって、再生区間情報を決定することができる。ここで、分割シーン情報はシーンの動画像表示数だけ存在するので再生区間情報には動画像表示数だけの再生区間が含まれる。
さらに、各分割シーン情報には、必要に応じてシーンキャプションおよびシーン説明が含まれる。表示処理部130は、各シーンに関する情報を表示させたい場合に表示テキスト情報として利用することができる。
Also, the playback section information can be determined by the playback start position and playback end position. Here, since the divided scene information exists as many as the number of moving image displays of the scene, the reproduction section information includes as many playback sections as the number of moving image displays.
Further, each divided scene information includes a scene caption and a scene description as necessary. The
図3は、第1の実施形態における表示処理部130の論理的な構成を示す概略ブロック図である。表示処理部130は、ストリーム制御部131と、多重化分離部132と、取得部133と、処理負荷制御部134と、復号処理部135と、配置決定部136と、テキストデータ処理部137と、出力合成部138と、を備える。
FIG. 3 is a schematic block diagram illustrating a logical configuration of the
ストリーム制御部131は、記憶部110から動画像データパスと再生区間情報とを読出し、読み出した動画像データパスと再生区間情報とから、再生の対象とする動画像符号化データ内の再生区間毎の符号化データを呼び出し、呼び出した符号化データを多重化分離部132に出力する。
これにより、ストリーム制御部131は、再生する動画像ストリームを制御する。
The
Thereby, the
ストリーム制御部131は、対象となる符号化データ再生位置が再生区間の終端である場合に、再生位置を符号化データの先頭とすることで、動画像符号化データ内の分割された区間をループするように、すなわち繰返し再生するように制御を行う。
When the target encoded data reproduction position is the end of the reproduction section, the
多重化分離部132は、ストリーム制御部131から入力された符号化データを取得し、必要な情報を復号処理部135に出力する。具体的には、例えば、MPEG等に代表される一般的な動画像データに対しては、多重化分離部132は、符号化データと動きベクトルおよび符号化モードとを復号処理部135に出力する。
The
取得部133は、複数の動画サムネイルから選択された選択画像を取得する。具体的には、入力部120から入力された選択画像情報を取得し、選択画像情報を処理負荷制御部134へ出力する。また、取得部133は、入力部120から入力された拡大選択画像を縮小する指示を処理負荷制御部134へ出力する。
The
処理負荷制御部134は、取得部133から選択画像情報または拡大選択画像を縮小する指示が入力された場合、復号処理部135における復号処理に係る処理量に応じて、その処理負荷を制御する。具体的には、例えば、処理負荷制御部134は、処理負荷が高い、あるいは処理遅延が生じる場合に復号するフレームを限定する。
When an instruction to reduce the selected image information or the enlarged selected image is input from the
復号処理部135は、多重化分離部132から入力された符号化データを可変長復号に利用し、動きベクトルおよび符号化モードを動き予測に利用することで、復号処理を行い、単一フレームを生成する。そして、復号処理部135は、N個(Nは正の整数で、例えば9個)のシーンに分割された符号化データを、並列に復号処理し、複数シーンの区間映像出力を生成する。
復号処理部135は、生成した複数シーンの区間映像出力(例えば、映像出力1からN)を出力合成部138へ出力する。これにより、表示部140は、同時に複数シーンの表示を行うことができる。
The
The
配置決定部136は、記憶部110から再生プロパティデータ内の表示位置指定情報を読み出し、予め決められた各映像出力のサイズおよび配置に関する情報を取得し、その配置レイアウトを決定する。そして、配置決定部136は、決定した配置レイアウトを出力合成部138へ出力する。
The
テキストデータ処理部137は、記憶部110から再生プロパティデータ内の表示テキスト情報を読み出し、表示テキスト情報から得られる各シーンの映像出力におけるキャプションテキスト情報とシーンの説明を含む説明テキスト情報とを含むテキスト情報を出力合成部138へ出力する。
The text
出力合成部138は、復号処理部135から入力された複数シーンの区間映像出力に対して、配置決定部136から入力された配置レイアウトに従って負荷限定動画サムネイル表示を行う。そして、出力合成部138は、テキストデータ処理部137から入力されたテキスト情報を配置、合成し、最終的な出力動画像を得る。出力合成部138は、出力動画像を表示部140に出力する。
The
これにより、出力合成部138は、配置決定部136によって決定されるテキスト情報の配置情報に従って、テキスト情報を配置することで、所望のレイアウトへのテキストの配置を得ることができる。
以上により、表示処理部130は、限られた処理量の中で、指定した区間である各シーンの動画像をサムネイルとして表示し、付随するキャプションテキスト情報、説明テキスト情報を同時に出力することができる。
Thereby, the
As described above, the
図4は、第1の実施形態における分割された各シーンのループ区間、すなわち繰り返し区間で、分割する各区間は、前後のシーンの再生終端位置と再生開始位置である時の分割例を表す図である。同図における動画像符号化データは、シーン1の符号化データからシーン9の符号化データまで連続していることが示されている。
ストリーム制御部131は、図3のように、分割する各区間は、前後のシーンの再生終端位置を再生開始位置とすることで、指定するシーンが重複したり、再生されない区間が生じたりしないような指定をしてもよい。
FIG. 4 is a diagram showing an example of division when the divided sections are loop sections of the divided scenes in the first embodiment, that is, the repeated sections, and the divided sections are the playback end position and the playback start position of the preceding and following scenes. It is. The moving image encoded data in the figure is shown to be continuous from the encoded data of scene 1 to the encoded data of scene 9.
As shown in FIG. 3, the
図5は、第1の実施形態における分割された各シーンのループ区間で、重複や再生されない区間を考慮せずに任意の再生区間を指定した時の分割例を表す図である。図5において、シーン1の符号化データ1とシーン2の符号化データ2とに重複が存在することが示されている。また、シーン2の符号化データ2とシーン3の符号化データ3との間に隙間があることが示されている。また、シーン5の符号化データ5とシーン6の符号化データ6との間は連続していることが示されている。
ストリーム制御部131は、図5のように、重複や再生されない区間を考慮せずに任意の再生区間を指定してもよい。
FIG. 5 is a diagram illustrating an example of division when an arbitrary reproduction section is designated in the loop section of each divided scene in the first embodiment without considering overlapping or non-reproduced sections. FIG. 5 shows that there is an overlap between the encoded data 1 of scene 1 and the encoded data 2 of scene 2. Further, it is shown that there is a gap between the encoded data 2 of the scene 2 and the encoded data 3 of the scene 3. Further, it is shown that the encoded data 5 of the scene 5 and the encoded data 6 of the scene 6 are continuous.
As shown in FIG. 5, the
<処理負荷制御部134の処理の詳細>
続いて、処理負荷制御部134の負荷制御の処理の詳細について説明する。
処理負荷制御部134は、通常再生モード、スロー再生モード、復号フレーム限定モード、一時停止モードの4つの制御方法を選択的に利用する。
<Details of Processing of Processing
Next, details of the load control processing of the processing
The processing
図6は、第1の実施形態における各再生モードの出力フレームとそのタイミングを表した模式図である。図6(а)は通常再生モードの模式図である。同図に置いて、全てのフレームの画像が時間軸に沿って並んでおり、各フレームの表示タイミングが示されている。
通常再生モードにおいて、復号処理部135において遅延がない場合に、復号処理部135は、実時間で全てのフレームを復号し、再生する。通常再生モードでは、処理負荷制御部134は、例えば毎秒30枚のフレーム画像を表示すべき動画像データに対して、全てのフレーム画像を復号させ、表示を行わせる。
FIG. 6 is a schematic diagram showing output frames and timings of the respective reproduction modes in the first embodiment. FIG. 6A is a schematic diagram of the normal playback mode. In the same figure, the images of all frames are arranged along the time axis, and the display timing of each frame is shown.
In the normal playback mode, when there is no delay in the
図6(b)は、スロー再生モードの模式図である。同図において、図6(a)に比べてフレーム間隔が2倍に広がったフレームが時間軸に沿って並んでおり、フレームレートを半分にしたもの、すなわち2倍スローの時の各フレームの表示タイミングが示されている。
スロー再生モードでは、復号処理部135は、予め決められた単位時間当たりに復号するフレームを制限し、通常再生速度よりも低いフレームレートで再生を行い、処理量を低減する。スロー再生モードでは、表示処理部130は、全てのフレームについて復号処理と表示を行うが、図5(a)に示す通常再生モードの各フレームの本来表示すべき時間(以下、タイムスタンプと称す)を変更し、フレームレートを変更する。
FIG. 6B is a schematic diagram of the slow playback mode. In the same figure, the frames whose frame intervals are doubled compared to FIG. 6A are arranged along the time axis, and the frame rate is halved, that is, the display of each frame when it is doubled slow. Timing is shown.
In the slow playback mode, the
図6(c)は、復号フレーム限定再生モードを表す模式図である。同図において、図6(a)の一部のフレームのみが時間軸に沿って並んでおり、その一部のフレームの表示タイミングが示されている。
復号フレーム限定再生モードは、本来表示すべき各フレームのうち、一部のフレームのみを復号し、表示するモードである。例えば、表示処理部130は、MPEGで符号化された画像データを復号する際にはIフレーム(Intra−coded Frame)またはIフレームおよびPフレーム(Predicted Frame)、あるいはH.264/AVC規格においてはIDR(Instantaneous Decoder Refresh)フレームのみを復号し、表示する。これにより、表示処理部130は、処理量を低減することができる。この時、復号されたフレームは、本来表示すべき時間に、表示を行えばよい。
FIG. 6C is a schematic diagram showing a decoded frame limited playback mode. In FIG. 6, only a part of the frames in FIG. 6A is arranged along the time axis, and the display timing of the part of the frames is shown.
The decoded frame limited playback mode is a mode in which only a part of the frames that should be displayed is decoded and displayed. For example, the
図6(d)は、一時停止モードを表す模式図である。同図に置いて、同一のフレーのム画像が静止画として表示されることが示されている。一時停止モードは、再生中のある時点で動画像データの復号を行わず、一時停止状態で静止画として表示を行うものであり、復号処理部135は、復号処理を行わない。
処理負荷制御部134は、前述のそれぞれの再生モードの全てあるいは一部の間で、遅延量に応じて再生モードを変更する。
FIG. 6D is a schematic diagram illustrating the pause mode. In the figure, it is shown that a frame image having the same frame is displayed as a still image. In the pause mode, moving image data is not decoded at a certain point during reproduction, and is displayed as a still image in a paused state. The
The processing
また、処理負荷制御部134によって各再生モードで再生を行う際にも、全てのモードでループ再生を行う必要があり、フレーム限定再生モードでは、IDRフレームまたはIフレームのみが出力される。
この場合、復号処理部135は、指定されている再生開始位置以後の最初のIDRフレームまたはIフレームから出力を開始すると同時にタイマーをスタートさせ、以後の出力されるフレームのみにおいて出力時刻とタイマーの時間比較を行い、予定した再生終端位置を過ぎていた場合に、再生開始位置にシークすることでループ処理を実現する。
Also, when playback is performed in each playback mode by the
In this case, the
本実施形態のように、複数の符号化データを並列に処理し、同時に動画像のサムネイルとして表示を行う場合に、処理負荷の制御を行いながら、全ての動画を再生するような表示形態を負荷限定動画サムネイル表示と呼ぶ。 When a plurality of encoded data is processed in parallel and displayed as moving image thumbnails simultaneously as in this embodiment, a load is applied to display all moving images while controlling the processing load. This is called limited movie thumbnail display.
次に、図7〜図9を用いて、特定区間の複数分割シーンの負荷限定動画サムネイル表示に対して、動画像サムネイルを9個のシーンに分割して表示する場合の動作例について説明する
図7は、第1の実施形態の負荷限定動画サムネイル表示の表示例を示す図である。
図7における表示例は、指定した動画像ストリームを9個のシーンに分割し、各分割シーン情報にシーンキャプションを持つ場合の例である。
Next, with reference to FIGS. 7 to 9, an operation example in the case where a moving image thumbnail is divided into nine scenes and displayed with respect to the load-limited moving image thumbnail display of a plurality of divided scenes in a specific section will be described. FIG. 7 is a diagram illustrating a display example of the load limited moving image thumbnail display according to the first embodiment.
The display example in FIG. 7 is an example in which the designated moving image stream is divided into nine scenes, and each divided scene information has a scene caption.
図8は、選択操作が行われた際に最終的に表示されるレイアウトを示した図である。
同図において、図7の画面左上のサムネイル動画(シーン1)が中央に拡大された状態で、動画像として表示されている。それ以外のサムネイルは、一時停止状態となっており、静止画として、部分的に表示されている。
なお、ユーザにおける選択操作は、表示部140の表示面がタッチパネルで、入力部120がタッチパネルであったときは、対象動画像領域のタッチ操作でもよいし、また、ポインタ操作でもよい。
FIG. 8 is a diagram showing a layout that is finally displayed when a selection operation is performed.
In FIG. 7, the thumbnail video (scene 1) at the upper left of the screen in FIG. 7 is displayed as a moving image in a state where it is enlarged in the center. Other thumbnails are in a paused state and are partially displayed as still images.
The selection operation by the user may be a touch operation on the target moving image area or a pointer operation when the display surface of the
図7の表示形態から図8の表示形態への遷移は、表示処理部130により、一定時間をかけて、動画像の再生(以下、アニメーションとも称す)を伴いながら行われる。
Transition from the display form of FIG. 7 to the display form of FIG. 8 is performed by the
図9は、図7の表示形態から図8の表示形態への遷移における動画サムネイルのアニメーション処理の例を表す図である。
図7で示される表示形態から図8で示される表示形態へ遷移する際は、選択したサムネイルは、移動を伴いながら、拡大処理を行う必要がある。
また、操作者が選択した動画像の拡大再生を終了して、図8の表示形態から図7の表示形態へ遷移する場合、表示処理部130は、移動を伴って縮小処理を行う。
表示処理部130は、このような遷移を所定の時間(例えば、1秒間)かけて行うことで、選択画像が選択されたこと、または選択画像の選択が終了したこと、をユーザに対し分かりやすく提示することができる。
FIG. 9 is a diagram illustrating an example of animation processing of a moving image thumbnail in the transition from the display form of FIG. 7 to the display form of FIG.
When transitioning from the display form shown in FIG. 7 to the display form shown in FIG. 8, the selected thumbnail needs to be enlarged while being moved.
In addition, when the enlargement reproduction of the moving image selected by the operator is finished and the display form in FIG. 8 is changed to the display form in FIG. 7, the
The
全動画サムネイルを再生しながら選択画像を拡大または移動するのは、急激な処理負荷の増加となるため、遅延のない動画の再生が実現できないおそれがある。
そのため、選択画像を拡大または移動しているときに、選択画像を遅延なく再生できるように、処理負荷制御部134は、以下の処理を行う。
Enlarging or moving the selected image while reproducing all moving image thumbnails increases the processing load rapidly, and there is a possibility that reproduction of moving images without delay may not be realized.
Therefore, the processing
図10は、第1の実施形態における通常時の処理負荷制御部134の再生モード切替方式と、拡大または移動時の処理負荷制御部134の再生モード切替方式と、拡大または移動開始時の再生モード遷移を示す図である。
同図において、負荷限定動画サムネイル表示を行う際に、通常時の再生モード切替方式901として、通常再生モード902と、スロー再生モード903と、復号フレーム限定再生モード904の三つの再生モードを有することが示されている。
処理負荷制御部134は、通常時に、上記三つの再生モードの間で再生モードを変更する。
FIG. 10 shows a reproduction mode switching method of the processing
In the figure, when performing load-limited movie thumbnail display, the normal playback
The processing
また、同図において、拡大または移動時の再生モード切替方式905として、通常再生モード906と、スロー再生モード907と、復号フレーム限定再生モード908と、一時停止モードの四つの再生モードを有することが示されている。
処理負荷制御部134は、選択画像の拡大または移動時に、上記四つの再生モードの間で再生モードを変更する。各モードの遷移条件は、通常時の処理負荷制御部134における遷移条件と同等である。但し、復号フレーム再生モード時に遅延が生じる場合は、処理負荷制御部134は、再生モードを一時停止モードに変更する。
In addition, in the same figure, as a playback
The processing
通常時において、処理負荷制御部134は、初期状態として通常再生モード902をとる。処理負荷制御部134は、通常再生モード902に従って、再生開始処理を実行した時から映像を本来表示すべき時刻(タイムスタンプ)と、再生開始処理を実行した時から経過した時間(経過時間)との比較を行い、経過時間からタイムスタンプを減算した遅延量を算出する。本来は、遅延が生じないように復号、表示処理を行うが、十分な処理リソースが確保できず、遅延が生じる場合には、処理負荷制御部134は、スロー再生モード903へ遷移する。
In a normal time, the processing
処理負荷制御部134がスロー再生モード903へ遷移した結果、変更されたタイムスタンプを用いて、遅延が生じない場合は、スロー再生モード903を継続し、それでも遅延が生じる場合はさらに処理量が削減できる復号フレーム限定再生モード904へ遷移する。ここで、通常時には、処理負荷制御部134は一時停止モードへの遷移を行わない。
これにより、処理負荷制御部134は、全ての動画サムネイルをできるだけ動画として動かす。また、十分な処理リソースが確保できた場合は、処理負荷制御部134は、逆の遷移を行うことにより、よりスムーズな再生を試みる。
As a result of the transition of the processing
Thereby, the processing
ここでは、図6に示されるように、スロー再生モードの方が復号フレーム限定モードよりも高いフレームレートで再生され、処理量もより高いものとして説明を行ったが、これに限ったものではない。スロー倍率を上げてよりフレームレートの低いスロー再生モード903にしたり、復号フレーム限定再生モード904における復号フレームをより多くしたりすることで、スロー再生モード903と復号フレーム限定再生モード904の遷移を逆にすることも可能である。これは、スロー再生モード時903のフレームレートと復復号フレーム限定再生モード904時の復号フレームの条件から予め決定しておけばよい。
Here, as illustrated in FIG. 6, the description has been made assuming that the slow playback mode is played back at a higher frame rate than the decoded frame limited mode and the processing amount is higher, but the present invention is not limited to this. . The transition between the
このように、処理負荷制御部134は、高処理負荷によって生じる遅延によってモード遷移を行い、最終的には、処理リソースの範囲内でなるべく遅延を起こさないような再生モードを定常状態に持つ。
In this way, the processing
選択画像の拡大または移動を開始する前に、処理負荷制御部134は、通常時の再生モードの遷移901から選択画像の拡大または移動時の再生モードの遷移905に変更する。その際、処理負荷制御部134は、現時点の再生モードよりも再生速度が低いモードへ遷移する。例えば、処理負荷制御部134は、現時点の再生モードが通常再生モード902の場合、再生モードをスロー再生モード907へ変更する。また、例えば、処理負荷制御部134は、現時点の再生モードがスロー再生モード903の場合、再生モードを復号フレーム限定再生モード908へ変更する。また、例えば、処理負荷制御部134は、現時点の再生モードが復号フレーム限定再生モード904の場合、再生モードを一時停止モード909へ変更する。これにより、処理負荷制御部134は、時の復号処理にかかる処理負荷を低減し、スムーズなアニメーションを実現することができる。
Before starting the enlargement or movement of the selected image, the processing
換言すれば、処理負荷制御部134は、選択画像が拡大または移動により変更しているときに、前記選択画像において単位時間当たりに切り替わる静止画の数を示す再生速度を、変更する前より低くする。
また、処理負荷制御部134は、選択画像が拡大または移動により変更しているときに、前記選択画像以外の動画であって画面に表示されている動画の再生速度を、変更する前より低くする。なお、全ての動画が止まっていてもよい。
In other words, when the selected image is changed due to enlargement or movement, the processing
In addition, when the selected image is changed by enlargement or movement, the processing
なお、処理負荷制御部134は、選択画像が拡大または移動により変更しているときに、選択画像の再生モードを、選択画像以外の再生モードより再生速度が高いモードにしてもよい。例えば、処理負荷制御部134は、選択画像が拡大または移動により変更しているときに、選択画像の再生モードをスロー再生モード907とし、選択画像以外の再生モードを復号フレーム限定再生モード908としてもよい。
Note that the processing
すなわち、処理負荷制御部134は、選択画像が拡大または移動により変更しているときに、選択画像において、それ以外の動画よりも再生速度を高くしてもよい。
これにより、処理負荷制御部134は、選択画像を選択または移動中になるべく再生させ、選択画像以外の動画は再生速度落とすことができるので、処理負荷を軽減しつつ、選択画像の視認性を向上させることができる。
That is, the processing
Accordingly, the processing
処理負荷制御部134は、選択画像を拡大させた後に、拡大選択画像を大きな画像領域を有して再生する場合、選択拡大動画の再生モードを通常再生モード906にし、選択画像以外の動画をスロー再生モード907または複合フレーム限定再生モードまたは一時停止モードにする。すなわち、処理負荷制御部134は、拡大選択画像はフレーム落ちや遅延無く再生するようにし、それ以外の動画は遅延が生じないように、通常より低い再生速度で再生する。なお、それ以外の動画は止まっていてもよい。
When the processing
これにより、処理負荷制御部134は、選択画像が拡大または移動により変更した後に、変更した後の選択画像をそれ以外の動画よりも高い再生速度で再生する。
また、処理負荷制御部134は、選択画像が拡大または移動により変更した後に、拡大または移動により変更しているときより高い再生速度で変更した後の選択画像を再生する。
As a result, the processing
In addition, the processing
図11は、第1の実施形態において、拡大および移動する際の表示処理部130の処理の一例を示すフローチャートである。まず、表示処理部130は、特定の動画サムネイルである選択画像がユーザによって選択されたことを検出する(ステップS101)。次に、表示処理部130は、選択画像が拡大遷移中でないか否か判定する(ステップS102)。選択画像が拡大遷移中の場合、表示処理部130は、ステップS106の処理に進む。
FIG. 11 is a flowchart illustrating an example of processing of the
選択画像が拡大遷移中でない場合(ステップS102 YES)、表示処理部130は、その時点の再生モードを選択画像の拡大前の再生モードMDとして記憶部110に記憶させる(ステップS103)。次に、表示処理部130は、再生モードの切替方式を通常時の再生モードの切替方式901から拡大または移動時の切替方式905に変更し、画面に表示されている全ての動画サムネイルの再生モードをその時点より低い負荷の再生モードに変更する(ステップS104)。次に、表示処理部130は、選択画像の拡大遷移を開始する(ステップS105)。
If the selected image is not undergoing enlargement transition (YES in step S102), the
次に、表示処理部130は、拡大遷移が終了したか否か判定する(ステップS106)。拡大遷移が終了していない場合(ステップS106 NO)、ステップS106の処理に戻る。一方、拡大遷移が終了した場合(ステップS106 YES)、表示処理部130は、拡大選択画像の再生モードを通常モードに変更する(ステップS107)。次に、表示処理部130は、拡大選択画像以外の動画サムネイルを一時停止する(ステップS108)。次に、表示処理部130は、拡大選択画像の再生を通常モード906で再開する(ステップS109)。次に、表示処理部130は音声出力を開始させる(ステップS110)。これにより表示処理部130は、図7のように、選択した選択画像のみが拡大された状態で通常のフレームレートで再生し、それ以外の動画サムネイルは一時停止した状態で静止画を提示する。以上で、本フローチャートの処理を終了する。
Next, the
以上、表示処理部130は、ユーザが選択した動画サムネイルである選択画像を動画の再生を伴って拡大および移動をし、拡大および移動により得られた拡大選択画像のみを再生し、拡大選択画像以外の動画サムネイルを一時停止させる。これにより、画像再生装置100は、処理量を抑えつつ、選択画像のみを見やすい形で拡大再生することができる。その結果、ユーザは、選択画像の内容を効率的に把握し、ユーザの目的とする映像シーンを容易に選び出すことができる。
As described above, the
また、表示処理部130は、負荷限定動画サムネイル表示において選択されていた再生モードを選択画像の拡大前の再生モードMDとして記憶部110に保存する。これによって、次に、負荷限定動画サムネイル表示に戻った際に、表示処理部130は、再生モードを記憶部110から選択画像の拡大前の再生モードMDを読み出し、読み出した選択画像の拡大前の再生モードMDで動画サムネイルの再生を再開できる。選択画像の拡大前の再生速度は、各動画サムネイルの定常状態における再生速度であるので、表示処理部130は、最適な再生モードで動画サムネイルの再生を再開することができる。その結果、表示処理部130は、処理負荷増大に伴う遅延を生じることなく再生を再開できる。
In addition, the
なお、表示処理部130は、拡大又は移動しているときに、画面に表示されている全ての動画サムネイルの再生速度を拡大及び移動前より低くしたが、画面に表示されている全ての動画サムネイルの再生が停止されていてもよい。これにより、表示処理部130は、処理負荷を軽減することができるので、遅延無く選択画像を拡大又は移動することができる。
It should be noted that the
また、表示処理部130は、拡大又は移動後に、拡大又は移動により得られた拡大選択画像を通常のフレームレートで再生したが、これに限らず、通常のフレームレートより低いフレームレートで再生してもよい。これにより、表示処理部130は、拡大又は移動後に、処理負荷を軽減することができるので、処理負荷増大による遅延が生じることなく拡大又は移動後の選択画像の再生を再開することができる。
Further, the
また、表示処理部130は、拡大又は移動後に、拡大選択画像以外の動画サムネイルを一時停止させたが、これに限らず、処理負荷に余裕がある場合には、通常の再生速度以下の再生速度で再生してもよい。これにより、表示処理部130は、拡大又は移動後でも、拡大選択画像以外の動画サムネイルを再生できるので、選択画像以外の動画サムネイルを効率的に把握し、ユーザの目的とする映像シーンを容易に選び出す事ができる。
In addition, the
また、表示処理部130は、拡大又は移動後に、拡大選択画像を通常レートで再生し拡大選択画像以外の動画サムネイルを一時停止させたが、これに限らず、拡大選択画像を拡大選択画像以外の動画サムネイルより高い再生速度で再生してもよい。これにより、表示処理部130は、拡大又は移動後に、処理負荷を下げることができるので、処理負荷増大による遅延が生じることなく拡大又は移動後の選択画像の再生を再開することができる。
In addition, after the enlargement or movement, the
また、表示処理部130は、拡大又は移動後に、拡大選択画像以外の動画サムネイルを一時停止させたが、これに限らず、拡大選択画像以外の動画サムネイルを構成する画素の輝度値を下げてもよいし、拡大選択画像以外の動画サムネイルの解像度を下げてもよいし、拡大選択画像以外の動画サムネイルを表示させないようにしてもよい。
これにより、表示処理部130は、拡大又は移動後に、処理負荷を下げることができるので、処理負荷増大による遅延が生じることなく拡大又は移動後の選択画像の再生を再開することができる。
In addition, the
As a result, the
次に、拡大再生を行っている場合に、拡大再生を終了し、負荷限定動画サムネイル表示へ戻る場合の処理フローについて説明する。
図12は、第1の実施形態において、拡大再生を行っている場合に、拡大再生を終了し、負荷限定動画サムネイル表示へ戻る場合の縮小および移動する際の表示処理部130の処理の一例を示すフローチャートである。
Next, a description will be given of a processing flow in the case where enlarged reproduction is performed and enlarged reproduction is terminated and the display is returned to the load limited moving image thumbnail display.
FIG. 12 shows an example of processing of the
まず、表示処理部130は、拡大選択画像の選択を解除する指示を取得した場合、拡大再生を行っている拡大選択画像を一時停止させる(ステップS201)。次に、表示処理部130は、音声出力を終了させる(ステップS202)。次に、表示処理部130は、負荷再生となるよう通常時の切替方式901に変更する(ステップS203)。次に、拡大開始時に記憶部110に記憶した選択画像の拡大前の再生モードMDを読み出し、各動画サムネイルの再生モードを読み出した選択画像の拡大前の再生モードMDに設定する(ステップS204)。
First, when the
次に、表示処理部130は、拡大選択画像の縮小遷移を開始し、負荷限定動画サムネイル表示レイアウトへの遷移を行う(ステップS205)。縮小および移動が完了した時、全ての動画像ストリームは一時停止した状態である。
次に、表示処理部130は、縮小遷移が終了したか否か判定する(ステップS206)。縮小遷移が終了していない場合、表示処理部130は、ステップS206の処理に戻る。一方、縮小遷移が終了した場合、表示処理部130は、全動画サムネイルを再開したか否か判定する(ステップS207)。
Next, the
Next, the
全動画サムネイルを再開していない場合(ステップS207 NO)、表示処理部130は、次に再生を再開する動画サムネイルが予め決められた最初の動画サムネイルであるか否か判定する(ステップS208)。次に再生を再開する動画サムネイルが最初の動画サムネイルである場合(ステップS208 YES)、最初の動画サムネイルの再生を再開し(ステップS209)、ステップS207の処理に戻る。
If all the moving image thumbnails have not been resumed (NO in step S207), the
一方、次に再生を再開する動画サムネイルが最初の動画サムネイルでない場合(ステップS208 NO)、すなわち少なくとも一つ以上の動画サムネイルの再生の再開処理が行われていた場合には、表示処理部130は、予め決められた所定時間待機する(ステップS210)。次に、表示処理部130は、次の動画サムネイルの再生を再開し(ステップS211)、ステップS207の処理に戻る。
ステップS207において、全動画サムネイルを再開した場合(ステップS207 YES)、表示処理部130はその処理を終了する。以上で、本フローチャートの処理を終了する。
On the other hand, when the moving image thumbnail to be resumed next is not the first moving image thumbnail (NO in step S208), that is, when resuming processing of at least one moving image thumbnail has been performed, the
In step S207, when all the moving image thumbnails are restarted (step S207 YES), the
以上、表示処理部130は、拡大開始時に記憶部110に記憶した再生モードを読み出し、読み出した再生モードで各動画サムネイルの再生モードを設定することにより、通常時の定常状態の再生モードで動画サムネイルの再生を再開できる。このため、表示処理部130は、遅延なく再生の再開を行うことができる。
As described above, the
なお、再生モードを各動画サムネイルに設定しない場合は、通常通り、初期状態として通常再生モードを持つ構成にすればよい。 When the playback mode is not set for each moving image thumbnail, the normal playback mode may be configured as the initial state as usual.
また、表示処理部130は、縮小および移動の終了後、一定時間間隔で順次、動画サムネイルを再生させる。そして、表示処理部130は、再開処理を全ての動画像ストリームの再開が完了するまで繰り返し行い、全動画サムネイルの再生を再開させる。
これによれば、表示処理部130は順次動画サムネイルの再生の再開処理を行うことにより、急激に処理負荷が高くなることを防ぎ、再生開始処理に遅延が生じることを防止することができる。すなわち、表示処理部130は、再開処理を一定時間間隔で順次行うことで、瞬間的な処理リソースを抑えることができ、遅延なく動画サムネイルの再生を再開することができる。
Further, the
According to this, the
以上、本実施形態の画像再生装置100は、同時に複数シーンの動画サムネイルを限られた処理量の中で視聴可能とすることができる。
また、本実施形態の画像再生装置100は、より最適なシーン区間を提示し、それに合わせて適切なシーンのキャプションおよび説明を提示するので、ユーザは各シーンの内容をより簡単に理解できる。
As described above, the image reproducing apparatus 100 according to the present embodiment can simultaneously view a plurality of scenes of moving image thumbnails within a limited processing amount.
In addition, since the image reproduction device 100 according to the present embodiment presents a more optimal scene section and presents an appropriate scene caption and description accordingly, the user can more easily understand the contents of each scene.
また、本実施形態の画像再生装置100は、特定区間の映像の選択時にはアニメーションを伴う拡大処理を行い、その際に他の映像を一時停止し、処理量の低減を図る。これにより、ユーザは、特定区間の映像の内容をより詳細に把握することができる。
また、本実施形態の画像再生装置100は、複数の動画サムネイルの再生を再開する時の処理負荷を分散するので、遅延なく動画サムネイルの再生の再開を実現することができる。
In addition, the image reproduction apparatus 100 according to the present embodiment performs an enlargement process with animation when selecting a video in a specific section, and temporarily pauses another video at that time to reduce the processing amount. Thereby, the user can grasp | ascertain the content of the image | video of a specific area in detail.
In addition, since the image playback apparatus 100 according to the present embodiment distributes the processing load when restarting the playback of a plurality of moving image thumbnails, the playback of the moving image thumbnails can be restarted without delay.
<第2の実施形態>
続いて、第2の実施形態について説明する。第2の実施形態における画像再生装置100bは、用意された複数のレイアウト構成を用いて、動画像の分割表示数に応じたレイアウトでサムネイルを表示する。
<Second Embodiment>
Next, the second embodiment will be described. The image playback device 100b according to the second embodiment displays thumbnails in a layout corresponding to the number of divided display of moving images using a plurality of prepared layout configurations.
図13は、第2の実施形態における画像再生装置100bの構成を示す概略ブロック図である。図1の画像再生装置100に比べて、図13の画像再生装置100bは、記憶部110が記憶部110bに変更され、表示処理部130が表示処理部130bに変更されたものになっている。なお、図1と共通する要素には同一の符号を付し、その具体的な説明を省略する。
FIG. 13 is a schematic block diagram illustrating a configuration of the image reproduction device 100b according to the second embodiment. Compared to the image reproduction device 100 of FIG. 1, the image reproduction device 100b of FIG. 13 is configured such that the
第2の実施形態の画像再生装置100bの基本的な構成および実施形態については、第1の実施形態の画像再生装置100と同一であり、差異のある部分についてのみ記述する。
第2の実施形態の画像再生装置100bは、動画像の提供者またはコンテンツの作成者が入力した動画像データ、再生プロパティデータおよび動画像表示数に基づいて、入力された動画像表示数で、各シーンの動画サムネイルを同時に表示する。
The basic configuration and embodiment of the image reproduction device 100b of the second embodiment are the same as those of the image reproduction device 100 of the first embodiment, and only differences are described.
The image playback device 100b according to the second embodiment has the number of moving images displayed based on the moving image data, the playback property data, and the number of moving images displayed by the moving image provider or content creator. Display movie thumbnails for each scene at the same time.
第2の実施形態における画像再生装置100bは、例えば、2乃至9シーンに分割した表示内容に対応する。
記憶部110bには、再生プロパティデータ中の動画像表示数と各映像出力のサイズおよび配置に関する情報とが関連付けられて記憶されている。
入力部120は、動画像表示数の指定を受け付け、受け付けた動画像表示数を表示処理部130bに出力する。
The image reproducing device 100b according to the second embodiment corresponds to display contents divided into, for example, 2 to 9 scenes.
In the
The
表示処理部130bは、入力部120により入力された動画像表示数によってレイアウトを決定し、決定したレイアウトにより動画サムネイルを表示する。具体的には、表示処理部130bの配置決定部136は、入力部120から入力された動画像表示数が6の場合、再生プロパティデータ中の動画像表示数に6に対応する動画像表示数各映像出力のサイズおよび配置に関する情報を取得し、6シーンに分割された表示レイアウトを決定する。そして、配置決定部136は、決定した6シーンに分割された表示レイアウトを出力合成部138へ出力する。これにより、表示処理部130bは、6シーンに分割された表示レイアウトで動画サムネイルを表示する。
The
図14は、第2の実施形態における負荷限定動画サムネイル表示の表示例を示す図である。同図における表示例は、指定した動画像サムネイルを6個のシーンに分割し、各分割シーン情報にシーンキャプションを持つ場合の例である。同図において、コンテンツタイトル、コンテンツ解説、6個のシーンキャプションおよび各シーンキャプションに対応するシーン説明が示されている。ここで、シーン説明の表示領域内でスクロール操作することにより、シーン説明がシーン説明の表示領域内で表示しきれない場合でも、シーン説明を最後まで閲覧可能である。 FIG. 14 is a diagram illustrating a display example of the load limited moving image thumbnail display according to the second embodiment. The display example in the figure is an example in which the specified moving image thumbnail is divided into six scenes, and each divided scene information has a scene caption. In the figure, a content title, a content description, six scene captions, and a scene description corresponding to each scene caption are shown. Here, by scrolling in the scene description display area, the scene description can be browsed to the end even if the scene description cannot be displayed in the scene description display area.
図14で示した表示例のように、表示処理部130は、再生プロパティデータ内のコンテンツ情報であるコンテンツタイトルやコンテンツ解説、分割シーン情報であるシーンキャプションやシーン説明に対しても、動画像表示数によって予め決められたレイアウトに従って表示部140に表示させる。
As in the display example shown in FIG. 14, the
ただし、これらの表示文字列は、必ずしも必要ではなく、プロパティデータ内にその記述がない場合には、表示処理部130bは、空白になるか、所定の文字列出力を行う。逆に、記述がなされていても、予め定められたレイアウト上に配置できない場合には表示処理部130bは、表示文字列を表示しない。
However, these display character strings are not necessarily required, and if the description is not included in the property data, the
ここで、例えば、予め定められたレイアウトが確保したシーン説明等のテキスト領域は再生プロパティデータに記述されたテキストを表示するのに十分な領域でないことがあるが、表示処理部130bは、テキスト領域内のスクロールによってシーン説明を最後まで表示することができるので、そのテキスト領域内に一度に表示しきれない場合でも問題は生じないため、特にその文字数は制限されない。
Here, for example, a text area such as a scene description secured by a predetermined layout may not be a sufficient area to display the text described in the reproduction property data, but the
また、第1の実施形態における画像再生装置100と同様、第2の実施形態における画像再生装置100bは、操作者の選択した動画サムネイルに対して、スムーズなアニメーションを伴って拡大および移動をし、その後、選択シーン動画像ストリームのみの再生を行う。
また、第2の実施形態における画像再生装置100bは、再生していた拡大選択画像を再生しながら縮小および移動し、負荷限定動画サムネイル表示へ遷移させる。
Similarly to the image reproducing device 100 in the first embodiment, the image reproducing device 100b in the second embodiment enlarges and moves the moving image thumbnail selected by the operator with a smooth animation, Thereafter, only the selected scene moving image stream is reproduced.
In addition, the image playback device 100b according to the second embodiment reduces and moves the playback of the enlarged selected image that has been played back, and transitions to the load-limited movie thumbnail display.
以上によって、第2の実施形態における画像再生装置100bは、入力された動画像表示数に従ってレイアウトを決定し、入力された対象動画像データと再生プロパティデータとに基づいて、その決定したレイアウトで動画サムネイルの再生を行う。
これにより、コンテンツの制作者が対象動画像データと再生プロパティデータとを用意し、動画像表示数を指定するだけで、簡単に所望の動画像表示数で動画サムネイルを表示することができる。
As described above, the image reproduction device 100b according to the second embodiment determines the layout according to the input moving image display number, and based on the input target moving image data and the reproduction property data, the moving image with the determined layout. Play thumbnails.
As a result, the content creator can easily display the moving image thumbnail with the desired number of moving image displays simply by preparing the target moving image data and the reproduction property data and specifying the number of moving image displays.
<効果>
本発明の各実施形態における画像再生装置(100、100b)の処理負荷制御部134は、選択画像が拡大あるいは移動またはその双方により変更された後、選択画像以外の動画であって画面に表示されている動画の再生速度を、選択画像が変更される前より低くする。これにより、画像再生装置(100、100b)は、処理量増加に伴う遅延や操作性の悪化を招くことなく、選択画像を拡大あるいは移動またはその双方により変更することができる。その結果、ユーザは、選択画像の内容を効率的に把握し、ユーザの目的とする映像シーンを容易に選び出すことができる。
<Effect>
The processing
また、画像再生装置(100、100b)の処理負荷制御部134は、選択画像が拡大あるいは移動またはその双方により変更されているときに、選択画像の前記再生速度を、選択画像が変更される前より低くする。これにより、画像再生装置100は、処理量増加に伴う遅延や操作性の悪化を招くことなく、選択画像を拡大あるいは移動またはその双方により変更することができる。その結果、ユーザは、選択画像の内容を効率的に把握し、ユーザの目的とする映像シーンを容易に選び出すことができる。
In addition, the processing
また、画像再生装置(100、100b)の処理負荷制御部134は、選択画像を構成する画素の少なくとも一部の位置が変更されているときに、前記選択画像以外の動画における再生速度を前記選択画像における再生速度よりも低くする。これにより、画像再生装置100は、選択画像を拡大、縮小、移動、拡大及び移動または縮小及び移動により変更しているときに、選択画像を選択画像以外の動画より優先して再生することができる。その結果、ユーザは、選択画像の内容を効率的に把握し、ユーザの目的とする映像シーンを容易に選び出すことができる。
In addition, the processing
また、画像再生装置(100、100b)の処理負荷制御部134は、選択画像が拡大あるいは移動またはその双方により変更された後に、変更された後の選択画像において、変更された後の選択画像以外の動画よりも前記再生速度を高くする。これにより、画像再生装置(100、100b)は、選択画像を拡大あるいは移動またはその双方により変更した後に、変更した後の選択画像をそれ以外の動画より優先して再生することができる。その結果、ユーザは、選択画像の内容を効率的に把握し、ユーザの目的とする映像シーンを容易に選び出すことができる。
In addition, the processing
また、画像再生装置(100、100b)の処理負荷制御部134は、選択画像が拡大あるいは移動またはその双方により変更された後に、拡大又は移動により変更されているときより、変更された後の選択画像の再生速度を高くする。これにより、画像再生装置100は、拡大あるいは移動またはその双方により変更した後に、変更した後の選択画像の再生速度が高くする。その結果、ユーザは、選択画像の内容を効率的に把握し、ユーザの目的とする映像シーンを容易に選び出すことができる。
Further, the processing
また、画像再生装置(100、100b)は、の処理負荷制御部134は、選択画像が拡大あるいは移動またはその双方により変更される前に、その時点に表示画面に表示されている画像の再生速度を記憶部110に記憶させ、変更された後の選択画像を変更前に戻す指示を取得した場合、記憶部110から動画の再生速度を読み出し、変更前に戻した後に表示画面に表示されている動画の再生速度を該読み出した再生速度にする。
これにより、選択画像の拡大あるいは移動またはその双方前の再生速度は定常状態の再生速度であるので、処理負荷制御部134は、各動画を最適な再生速度で再生させることができる。その結果、処理負荷制御部134は、処理負荷増大に伴う遅延を生じることなく、各動画サムネイルの再生を再開させることができる。
In addition, the processing
Thereby, since the playback speed before the enlargement and / or movement of the selected image is a steady playback speed, the processing
また、本実施形態の画像再生装置(100、100b)の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、画像再生装置(100、100b)に係る上述した種々の処理を行ってもよい。 Further, a program for executing each process of the image reproducing device (100, 100b) of the present embodiment is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system, By executing this, the above-described various processes relating to the image reproduction device (100, 100b) may be performed.
なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。 Here, the “computer system” may include an OS and hardware such as peripheral devices. Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used. The “computer-readable recording medium” means a flexible disk, a magneto-optical disk, a ROM, a writable nonvolatile memory such as a flash memory, a portable medium such as a CD-ROM, a hard disk built in a computer system, etc. This is a storage device.
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。 Further, the “computer-readable recording medium” refers to a volatile memory (for example, DRAM (Dynamic) in a computer system serving as a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. Random Access Memory)) that holds a program for a certain period of time is also included. The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, what is called a difference file (difference program) may be sufficient.
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要指示を逸脱しない範囲の設計等も含まれる。 As mentioned above, although embodiment of this invention was explained in full detail with reference to drawings, the concrete structure is not restricted to this embodiment, The design etc. of the range which does not deviate from the important instruction | indication of this invention are included.
100、100b 画像再生装置
110、110b 記憶部
120 入力部
130、130b 表示処理部
131 ストリーム制御部
132 多重化分離部
133 取得部
134 処理負荷制御部
135 復号処理部
136 配置決定部
137 テキストデータ処理部
138 出力合成部
140 表示部
150 音声出力部
100, 100b
Claims (8)
前記複数の画像から選択された選択画像を取得する取得部と、
前記選択画像が拡大あるいは移動またはその双方により変更された後、前記選択画像以外の画像であって画面に表示されている画像における再生速度を、前記選択画像が変更される前より低くする処理負荷制御部と、
を備えることを特徴とする画像再生装置。 An output composition unit for displaying a plurality of images on the display unit;
An acquisition unit for acquiring a selected image selected from the plurality of images;
A processing load for lowering the playback speed of an image other than the selected image displayed on the screen after the selected image has been changed by enlargement and / or movement, compared to before the change of the selected image A control unit;
An image reproducing apparatus comprising:
前記処理負荷制御部は、前記選択画像が拡大あるいは移動またはその双方により変更される前に、その時点に表示画面に表示されている画像の再生速度を前記記憶部に記憶させ、変更された後の選択画像を変更前に戻す指示を取得した場合、前記記憶部から前記画像の再生速度を読み出し、変更前に戻した後に表示画面に表示されている画像の再生速度を該読み出した再生速度にすることを特徴とする請求項1から請求項5のいずれか一項に記載の画像再生装置。 A storage unit for storing the playback speed of the image;
The processing load control unit stores the reproduction speed of the image currently displayed on the display screen in the storage unit before the selected image is changed by enlargement or movement or both, and after the change is made When the instruction to return the selected image before change is acquired, the playback speed of the image is read from the storage unit, and the playback speed of the image displayed on the display screen after returning to before the change is set to the read playback speed. The image reproducing device according to claim 1, wherein the image reproducing device is an image reproducing device.
前記複数の画像から選択された選択画像を取得する取得手順と、
前記選択画像が拡大又は移動により変更された後、前記選択画像以外の画像であって画面に表示されている画像における再生速度を、前記選択画像が変更される前より低くする処理負荷制御手順と、
を有することを特徴とする画像再生方法。 An output composition procedure for displaying a plurality of images on the display unit;
An acquisition procedure for acquiring a selected image selected from the plurality of images;
A processing load control procedure for lowering the playback speed of an image other than the selected image displayed on the screen after the selected image has been changed by enlargement or movement, compared to before the selected image is changed; ,
An image reproduction method comprising:
複数の画像を表示部に表示させる出力合成ステップと、
前記複数の画像から選択された選択画像を取得する取得ステップと、
前記選択画像が拡大又は移動により変更された後、前記選択画像以外の画像であって画面に表示されている画像における再生速度を、前記選択画像が変更される前より低くする処理負荷制御ステップと、
を実行させるための画像再生プログラム。 On the computer,
An output composition step for displaying a plurality of images on a display unit;
An obtaining step of obtaining a selected image selected from the plurality of images;
A processing load control step of lowering the reproduction speed of an image other than the selected image displayed on the screen after the selected image has been changed by enlargement or movement as compared with before the change of the selected image; ,
An image playback program for executing
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011184873A JP2013046357A (en) | 2011-08-26 | 2011-08-26 | Image reproduction apparatus, image reproduction method, and image reproduction program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011184873A JP2013046357A (en) | 2011-08-26 | 2011-08-26 | Image reproduction apparatus, image reproduction method, and image reproduction program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013046357A true JP2013046357A (en) | 2013-03-04 |
Family
ID=48009888
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011184873A Pending JP2013046357A (en) | 2011-08-26 | 2011-08-26 | Image reproduction apparatus, image reproduction method, and image reproduction program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013046357A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016517085A (en) * | 2013-03-15 | 2016-06-09 | フェイスブック,インク. | Postponing heavy movements when scrolling |
JP7075610B1 (en) | 2021-08-27 | 2022-05-26 | 西武建設株式会社 | Video generation system |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004032535A (en) * | 2002-06-27 | 2004-01-29 | Canon Inc | Image reproducing device, image recording/reproducing device, those control methods, program, and storage medium |
JP2011082635A (en) * | 2009-10-02 | 2011-04-21 | Panasonic Corp | Image display device, image display method and program |
-
2011
- 2011-08-26 JP JP2011184873A patent/JP2013046357A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004032535A (en) * | 2002-06-27 | 2004-01-29 | Canon Inc | Image reproducing device, image recording/reproducing device, those control methods, program, and storage medium |
JP2011082635A (en) * | 2009-10-02 | 2011-04-21 | Panasonic Corp | Image display device, image display method and program |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016517085A (en) * | 2013-03-15 | 2016-06-09 | フェイスブック,インク. | Postponing heavy movements when scrolling |
US10592278B2 (en) | 2013-03-15 | 2020-03-17 | Facebook, Inc. | Defer heavy operations while scrolling |
JP7075610B1 (en) | 2021-08-27 | 2022-05-26 | 西武建設株式会社 | Video generation system |
JP2023032639A (en) * | 2021-08-27 | 2023-03-09 | 西武建設株式会社 | video generation system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5142453B2 (en) | Playback device | |
JP4476261B2 (en) | Decoding device and decoding method | |
KR20040039852A (en) | Trick play embodiment method using frame index | |
JP2011182118A (en) | Display controlling apparatus and control method for the same | |
KR101323331B1 (en) | Method and apparatus of reproducing discontinuous AV data | |
KR20070028375A (en) | Content reproducing device, content reproducing method, content reproducing system, and its computer program | |
JP4362510B2 (en) | Recording / playback editing device | |
JP5120981B2 (en) | Generating video data for special playback | |
WO2017026230A1 (en) | Information processing device, information processing method, and program | |
WO2009139302A1 (en) | Recording/playback device | |
JP2013046357A (en) | Image reproduction apparatus, image reproduction method, and image reproduction program | |
JP2011188244A (en) | Video content reproducing device, control method of the same, program, and recording medium | |
US20100189412A1 (en) | Play Back Device with Adaptive Trick Play Function | |
JP2004112769A (en) | Device and method for controlling decoding, device and method for processing information, and program | |
WO2008035459A1 (en) | Dynamic image reproducing method and device | |
JP2009290554A (en) | Recording and playback method and apparatus | |
US6999090B2 (en) | Data processing apparatus, data processing method, information storing medium, and computer program | |
JP5188209B2 (en) | Display control apparatus, method, and program | |
JP2006100982A (en) | Image reproducing apparatus and method | |
JP3922199B2 (en) | Data recording / reproducing device | |
JP2009111531A (en) | High-speed playback device | |
JP2004135241A (en) | Data processing apparatus, data processing method, and program | |
JP2009088665A (en) | Video reproducing device and video reproducing method | |
JP2008311808A (en) | Information processor, information processing method, program, and recording medium | |
JPH0998382A (en) | Device and method for reproducing dynamic image information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140401 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150106 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150507 |