JP2020127148A - Information processing apparatus, control method thereof and program - Google Patents

Information processing apparatus, control method thereof and program Download PDF

Info

Publication number
JP2020127148A
JP2020127148A JP2019019070A JP2019019070A JP2020127148A JP 2020127148 A JP2020127148 A JP 2020127148A JP 2019019070 A JP2019019070 A JP 2019019070A JP 2019019070 A JP2019019070 A JP 2019019070A JP 2020127148 A JP2020127148 A JP 2020127148A
Authority
JP
Japan
Prior art keywords
moving image
reproduction
image quality
range
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019019070A
Other languages
Japanese (ja)
Other versions
JP7233234B2 (en
Inventor
友季子 宇野
Yukiko Uno
友季子 宇野
竜太 庄司
Ryuta Shoji
竜太 庄司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019019070A priority Critical patent/JP7233234B2/en
Priority to GB2000590.6A priority patent/GB2582422B/en
Priority to US16/778,663 priority patent/US11210762B2/en
Priority to DE102020102585.8A priority patent/DE102020102585A1/en
Priority to CN202010080455.4A priority patent/CN111526423B/en
Publication of JP2020127148A publication Critical patent/JP2020127148A/en
Application granted granted Critical
Publication of JP7233234B2 publication Critical patent/JP7233234B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)

Abstract

To improve usability by saving an image obtained by performing development processing in a memory and clearly indicating a smoothly reproducible range to a user.SOLUTION: An information processing apparatus, which performs reproduction processing of a moving image, comprises: an image processing unit for performing image processing, which includes development processing, on undeveloped moving image data of the moving image, and generating processed moving image data; a buffer memory for temporarily storing the processed moving image data generated by the image processing unit; and a display control unit for performing control so that a seek bar for displaying a reproduction position with respect to a length of a time axis of the moving image is displayed on a display unit. Here, the display control unit displays, together with the seek bar, a range of the moving image, which can be stored in the buffer memory when the image processing is performed on the undeveloped moving image data of the moving image by the image processing unit, as a processable range of the moving image.SELECTED DRAWING: Figure 4

Description

本発明は、未現像の動画像データの再生技術に関するものである。 The present invention relates to a reproduction technique of undeveloped moving image data.

近年、映像制作に用いられる動画像データの解像度・フレームレートは増大する傾向にあり、データ量も増える一方である。このようなデータ量の大きい動画像に対し、各フレームについて、デコード・デモザイクなどの画像処理を施しながらスムーズに再生するには、再生装置(特にプロセッサ)に高い処理能力が要求される。つまり、その処理能力を有さない装置の場合は、スムーズな再生を行うことは困難となる。 In recent years, the resolution and frame rate of moving image data used for video production have been increasing, and the amount of data is also increasing. In order to smoothly reproduce a moving image with such a large amount of data while performing image processing such as decoding and demosaicing on each frame, a reproducing device (especially a processor) is required to have a high processing capability. That is, in the case of a device that does not have the processing capability, it is difficult to perform smooth reproduction.

この問題に対する解決策として、再生開始前に負荷の高い画像処理をバックグラウンドで実行して、その処理結果を一時的に保存しておくことが挙げられる。このようにすることで、再生開始後は処理結果の読み出しと表示のみを行えばよくなり、スムーズに再生することが可能である。ただし、全てのフレームの処理結果が保存される前に再生開始が指示されると、一部のフレームは表示前に処理をはじめから行わなければならないため、表示速度が突然著しく低下してユーザに違和感を与える。これを避けるため、再生前に処理の進捗状況を表示することで、所望の範囲の処理が終わるまで待機することをユーザに促すことが考えられる。 As a solution to this problem, a high-load image processing is executed in the background before the reproduction is started, and the processing result is temporarily stored. By doing so, it is only necessary to read and display the processing result after the reproduction is started, and it is possible to smoothly reproduce. However, if the playback start is instructed before the processing results of all frames are saved, some frames must be processed from the beginning before they are displayed, so the display speed suddenly decreases significantly and the user is informed. Give a feeling of strangeness. In order to avoid this, it is possible to prompt the user to wait until the processing in the desired range is completed by displaying the progress status of the processing before the reproduction.

しかし、結果を保存するメモリの容量に上限がある場合には、どれだけ待機しても動画像の全フレームに対する処理結果を保存することができない。ユーザは所望の範囲のスムーズな再生が可能かどうか、保存された処理結果がメモリ容量の上限に達するまで知ることができない。特に、処理結果のデータサイズが画像処理のパラメータなどによって異なる場合、処理結果を保存できるフレーム数がパラメータによって変化する。 However, if there is an upper limit to the capacity of the memory for storing the result, the processing result for all the frames of the moving image cannot be stored no matter how long the process waits. The user cannot know whether or not smooth reproduction in a desired range is possible until the stored processing result reaches the upper limit of the memory capacity. In particular, when the data size of the processing result differs depending on the parameters of the image processing, the number of frames that can store the processing result changes depending on the parameter.

記録装置であれば、メディアの残り容量から記録可能な静止画の枚数や動画の時間的長さを算出して表示することが一般的である。例えば特許文献1は、記憶メディアの残り容量から撮影可能な動画の時間を計算し、規定値以下であればより長く動画を記録できるように画像処理のパラメータを自動的に変更するか、画質設定画面を表示してユーザにパラメータの再設定を促す技術を提案している。 In the case of a recording device, it is general to calculate and display the number of recordable still images and the temporal length of a moving image from the remaining capacity of the medium. For example, Patent Document 1 calculates the time of a moving image that can be captured from the remaining capacity of the storage medium, and automatically changes the parameter of image processing so that the moving image can be recorded longer if it is equal to or less than a specified value, or sets the image quality. We propose a technology that displays a screen and prompts the user to reset the parameters.

特開2007−110221号公報JP, 2007-110221, A

再生装置においても同様に、メモリの残り容量から処理結果を保存可能なフレーム数を算出することができる。しかし、ユーザが再生を行おうとする動画像が十分短く、動画像を構成するフレーム数が少ない場合には、特許文献1のように必ずしもデータ量が小さくなるパラメータに変更する必要はない。また、動画像全体の長さが既知であるため、より視覚的な表示が可能となる。 Similarly, in the reproducing apparatus, the number of frames that can store the processing result can be calculated from the remaining capacity of the memory. However, when the moving image to be reproduced by the user is sufficiently short and the number of frames forming the moving image is small, it is not always necessary to change the parameter so that the data amount becomes small as in Patent Document 1. Further, since the entire length of the moving image is known, it is possible to display more visually.

本発明は、現像処理を施して得た画像をメモリに保存して、スムーズに再生できる範囲をユーザに明示することにより、ユーザビリティを向上することを目的とする。 An object of the present invention is to improve usability by saving an image obtained by development processing in a memory and clearly indicating to the user a range in which the image can be smoothly reproduced.

この課題を解決するため、例えば本発明の情報処理装置は以下の構成を備える。すなわち、
動画像の再生処理を行う情報処理装置であって、
前記動画像の未現像の動画像データに対し現像処理を含む画像処理を施し、処理済みの動画像データを生成する画像処理手段と、
該画像処理手段で生成された処理済みの動画像データを一時的に記憶するためバッファメモリと、
前記動画像の時間軸の長さに対する再生位置を示すためのシークバーを表示部に表示するように制御する表示制御手段と、を有し、
前記表示制御手段は、
前記動画像のうち、当該動画像の未現像の動画像データに対し前記画像処理手段により画像処理を施す際に前記バッファメモリに格納可能な前記動画像の範囲を、処理可能範囲として前記シークバーと共に表示することを特徴とする。
In order to solve this problem, for example, the information processing apparatus of the present invention has the following configuration. That is,
An information processing device for performing a moving image reproduction process,
Image processing means for performing image processing including development processing on undeveloped moving image data of the moving image to generate processed moving image data,
A buffer memory for temporarily storing the processed moving image data generated by the image processing means,
A display control unit that controls the display unit to display a seek bar for indicating a reproduction position with respect to the length of the time axis of the moving image,
The display control means,
Of the moving image, the range of the moving image that can be stored in the buffer memory when the image processing means performs image processing on the undeveloped moving image data, together with the seek bar as a processable range. It is characterized by displaying.

本発明によれば、現像処理を施して得た画像をメモリして、スムーズに再生できる範囲をユーザに明示することが可能となり、ユーザは再生したい範囲をスムーズに再生することが可能であるかを事前に確認することができる。 According to the present invention, it is possible to store the image obtained by performing the development processing and clearly indicate to the user the range in which the image can be smoothly reproduced, and the user can smoothly reproduce the range to be reproduced. Can be confirmed in advance.

実施形態における情報処理装置のブロック構成図。FIG. 1 is a block configuration diagram of an information processing device according to an embodiment. 実施形態におけるGUIの一例を示す図。The figure which shows an example of GUI in embodiment. 動画データの構造を示す図。The figure which shows the structure of moving image data. 第1の実施形態におけるRAW動画の再生処理手順を示すフローチャート。6 is a flowchart showing a RAW moving image reproduction processing procedure according to the first embodiment. 実施形態における、現像可能枚数の算出処理手順を示すフローチャート。6 is a flowchart showing a procedure for calculating the number of developable sheets in the embodiment. 実施形態における、現像可能範囲の決定処理手順を示すフローチャート。6 is a flowchart showing a procedure of determining a developable range in the embodiment. 実施形態における、現像処理手順を示すフローチャート。6 is a flowchart showing a developing processing procedure in the embodiment. 実施形態における、再生処理手順を示すフローチャート。6 is a flowchart showing a reproduction processing procedure in the embodiment. 実施形態におけるGUIの示す図。The figure which shows GUI in embodiment. 実施形態におけるGUIの示す図。The figure which shows GUI in embodiment. 実施形態における、RAW動画の再生処理手順を示すフローチャート。6 is a flowchart showing a RAW moving image reproduction processing procedure in the embodiment. 第2の実施形態における、必要メモリ量の通知処理手順を示すフローチャート。The flowchart which shows the notification processing procedure of the required memory amount in 2nd Embodiment. 第2の実施形態における、必要メモリ量の通知処理による通知画面の例を示す図。The figure which shows the example of the notification screen by the notification process of the required memory amount in 2nd Embodiment. 第2の実施形態における現像処理手順を示すフローチャート。9 is a flowchart showing a developing process procedure according to the second embodiment. 第2の実施形態における再生処理手順を示すフローチャート。The flowchart which shows the reproduction|regeneration processing procedure in 2nd Embodiment. 第2の実施形態におけるGUIの例を示す図。The figure which shows the example of GUI in 2nd Embodiment. 第3の実施形態における、必要メモリ量の通知処理手順を示すフローチャート。The flowchart which shows the notification processing procedure of the required memory amount in 3rd Embodiment. 第3の実施形態における、必要メモリ量の通知処理による通知画面の例を示す図。The figure which shows the example of the notification screen by the notification process of the required memory amount in 3rd Embodiment. 第3の実施形態におけるGUIの例を示す図。The figure which shows the example of GUI in 3rd Embodiment.

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでするものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。 Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. The following embodiments are not intended to limit the invention according to the claims. Although a plurality of features are described in the embodiment, not all of the plurality of features are essential to the invention, and the plurality of features may be arbitrarily combined. Further, in the accompanying drawings, the same or similar components are designated by the same reference numerals, and duplicated description will be omitted.

[第1の実施形態]
本実施形態が適用する情報処理装置は、CPU(Central Processing Unit)とGPU(Graphics Processing Unit)を搭載したパーソナルコンピュータ(PC)であるものとして説明する。本実施形態のPCは、再生開始前に入力RAW動画データを構成するフレーム画像にデコード処理と現像処理を施して表示可能な画像データを生成し、メモリに格納する現像機能、再生開始後に現像結果を読み出して所定の時間間隔で連続して表示する再生機能を有する。本実施形態では、画質パラメータの設定によって変化する現像可能範囲と現像完了範囲を表示するPCの例を説明する。
[First Embodiment]
The information processing apparatus to which this embodiment is applied will be described as a personal computer (PC) equipped with a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit). The PC according to the present embodiment performs a decoding process and a developing process on the frame images forming the input RAW moving image data before the reproduction is started to generate displayable image data, and stores it in the memory. Has a reproducing function of reading out and displaying continuously at a predetermined time interval. In the present embodiment, an example of a PC that displays a developable range and a development completed range that change depending on the setting of image quality parameters will be described.

図1は、本実施形態が適用するPC100のブロック構成図である。PC100は、CPU110、GPU120、RAM130、ROM140、記録媒体150、操作部160、表示部170、インタフェース(I/F)190、及び、これらを接続するバス180を有する。 FIG. 1 is a block configuration diagram of a PC 100 to which this embodiment is applied. The PC 100 has a CPU 110, a GPU 120, a RAM 130, a ROM 140, a recording medium 150, an operation unit 160, a display unit 170, an interface (I/F) 190, and a bus 180 connecting these.

CPU110は、PC100全体を制御すると共に、自身で生成した画像処理コマンドを実行し、画像処理を行うことができる。GPU120は、CPU110によって生成された画像処理コマンドを実行し、画像処理を行う。GPU120は内部にVRAM(Video Random Access Memory)を持ち、GPU120はデータ転送コマンドによってCPU110とのVRAM間でのデータの送受信を行うことができる。RAM130は、外部から供給されるプログラムやデータを一時記憶するメモリであり、プログラムの実行に伴って出力されるデータの一時的な格納領域としても用いられる。ROM140は、BIOS(Basic Input/Output Sytem)やブートプログラムや各種パラメータを記憶する、不揮発性メモリである。ROM140は、例えばフラッシュROMであり、制御プログラムを書き換え可能な構成となっている。 The CPU 110 can control the entire PC 100, execute an image processing command generated by itself, and perform image processing. The GPU 120 executes the image processing command generated by the CPU 110 to perform image processing. The GPU 120 has a VRAM (Video Random Access Memory) inside, and the GPU 120 can transmit/receive data to/from the VRAM with the CPU 110 by a data transfer command. The RAM 130 is a memory for temporarily storing programs and data supplied from the outside, and is also used as a temporary storage area for data output as the programs are executed. The ROM 140 is a non-volatile memory that stores a BIOS (Basic Input/Output System), a boot program, and various parameters. The ROM 140 is, for example, a flash ROM, and has a configuration in which the control program can be rewritten.

記録媒体150は、PC100が読み書き可能な記録媒体である。例えばコンピュータが備える内蔵メモリや、コンピュータに着脱可能に接続されるメモリカードやHDD、CD−ROM、MOディスク、光ディスク、光磁気ディスクなどの電子データを記録することができるような媒体等を意味する。記録媒体150には、動画データなどのデジタルデータがファイルとして格納されている。 The recording medium 150 is a recording medium that can be read and written by the PC 100. For example, it means a built-in memory included in a computer, a memory card detachably connected to the computer, a medium such as an HDD, a CD-ROM, an MO disc, an optical disc, and a magneto-optical disc that can record electronic data. .. Digital data such as moving image data is stored as a file in the recording medium 150.

操作部160は、キーボード、マウス等のポインティングデバイスで構成される。ユーザは、この操作部160を介した操作により、PC100に対して各種指示を入力できる。 The operation unit 160 is composed of a pointing device such as a keyboard and a mouse. The user can input various instructions to the PC 100 by operating the operation unit 160.

表示部170は、PC100に組み込まれた液晶ディスプレイ等の表示部であり、例えばアプリケーション200のGUI(Graphical User Interface)画面や、画像処理の結果などを表示する。 The display unit 170 is a display unit such as a liquid crystal display incorporated in the PC 100, and displays a GUI (Graphical User Interface) screen of the application 200, a result of image processing, and the like.

インタフェース(I/F)190は、外部装置と通信するためのインタフェースであり、ネットワークインタフェース、USBインタフェース等である。実施形態では、このインタフェース190を介して、外部装置(ビデオカメラ等)から入力したRAW動画像データが記録媒体150に格納されるものとしている。 The interface (I/F) 190 is an interface for communicating with an external device, and is a network interface, a USB interface, or the like. In the embodiment, RAW moving image data input from an external device (video camera or the like) via the interface 190 is stored in the recording medium 150.

バス180は、PC100における上記各要素間の制御信号やデータ信号の伝送路である。 The bus 180 is a transmission path for control signals and data signals between the above-mentioned elements of the PC 100.

上記構成において、PC100の電源がONになると、CPU110はROM140に格納されたブートプログラムを実行して、OS(Operating System)を記録媒体150からRAM130にロードし、OSを実行する。そして、CPU110は、OSの制御下で、記録媒体150から、後述するRAW動画像の再生に係るアプリケーションプログラム200をRAM130にロードし実行することで、PC100はRAW動画像の再生装置として機能することになる。 In the above configuration, when the power of the PC 100 is turned on, the CPU 110 executes the boot program stored in the ROM 140, loads the OS (Operating System) from the recording medium 150 into the RAM 130, and executes the OS. Then, under the control of the OS, the CPU 110 loads the application program 200 related to the reproduction of the RAW moving image, which will be described later, from the recording medium 150 into the RAM 130 and executes the application program 200 so that the PC 100 functions as a RAW moving image reproducing apparatus. become.

図2は、CPU110がアプリケーション200を実行している際の表示部170に表示するグラフィカルユーザインタフェース(GUI)の例を示している。 FIG. 2 shows an example of a graphical user interface (GUI) displayed on the display unit 170 when the CPU 110 is executing the application 200.

図示のGUIにて、参照符号210は、記録媒体150から読み込まれた動画データの一覧を表示する動画データ一覧表示エリアである。参照符号211は、表示エリア210内の単一の動画データをアイコンで表したもので、ユーザは操作部160のマウスに連動するカーソルをアイコン211に移動して、マウスのクリック操作を行うことで、画像処理の対象となる入力動画データを選択することができる。なお、説明を簡単にするため、上記のユーザの操作を、以降、ユーザがアイコン211をクリックする、と表現する。 In the illustrated GUI, reference numeral 210 is a moving image data list display area for displaying a list of moving image data read from the recording medium 150. Reference numeral 211 represents a single moving image data in the display area 210 with an icon. The user moves the cursor interlocking with the mouse of the operation unit 160 to the icon 211 and clicks the mouse. , It is possible to select input moving image data to be subjected to image processing. Note that, for the sake of simplicity, the above user operation will be referred to as the user clicking the icon 211 hereinafter.

参照符号220は、ユーザによって選択された入力動画データに画像処理を行った結果を再生表示するプレビューエリアである。参照符号230は、ユーザが再生制御を行うための、再生コントロール部である。ユーザは再生コントロール部230の再生/停止ボタンをクリックすることで、動画再生機能による画像処理の開始や中止を指示することができる。なお、再生/停止ボタンは、動画を再生している状態では再生の一時停止、再生していない状態では再生開始を指示する機能を有する。また、再生コントロール部230は、再生/停止ボタンの他に、再生位置を1コマ前または後ろへ移動するコマ送りボタンや、動画再生の開始・終了位置へ移動するジャンプボタンなどを有する。 Reference numeral 220 is a preview area for reproducing and displaying the result of image processing performed on the input moving image data selected by the user. Reference numeral 230 is a reproduction control unit for the user to perform reproduction control. The user can instruct to start or stop the image processing by the moving image reproducing function by clicking the reproduction/stop button of the reproduction control unit 230. The play/stop button has a function of instructing to pause the reproduction when the moving image is being reproduced and to start the reproduction when the moving image is not being reproduced. In addition to the play/stop button, the playback control section 230 has a frame advance button for moving the playback position forward or backward by one frame, a jump button for moving to the start/end position of the moving image playback, and the like.

参照符号240は、入力動画データが持つ時間軸における現在の再生位置などを示すシークバー部である。このシークバー部240の左端には動画の開始を示すためのタイマ値“00:00:00:00(時、分、秒、100分の1秒の値を示している)”が表示され、右端には選択した動画像の終了するタイマ値“00:00:30:00”が表示されている。この表示から、ユーザは、アイコン211が示すファイルが30秒の動画像であるRAW動画像ファイルであることを把握できる。なお、時間を表示する代わりに、シークバー部240の左端にフレーム番号“1”、右端に最終フレームの番号(フレーム総数)を表示しても構わない。 Reference numeral 240 is a seek bar section indicating the current reproduction position on the time axis of the input moving image data. At the left end of the seek bar section 240, a timer value "00:00:00:00 (indicating values of hour, minute, second, hundredths of a second)" for indicating the start of a moving image is displayed, and the right end. Indicates the timer value "00:00:30:00" at which the selected moving image ends. From this display, the user can understand that the file indicated by the icon 211 is a RAW moving image file that is a 30-second moving image. Instead of displaying the time, the frame number “1” may be displayed at the left end of the seek bar unit 240, and the final frame number (the total number of frames) may be displayed at the right end.

参照符号241、242はそれぞれ入力動画データにおける動画の再生範囲設定部と機能するアイコンであり、アイコン241は再生範囲の先頭を示し、アイコン242は再生範囲の後端を示すために用いられる。これらのアイコンは、ユーザがドラッグ&ドロップを行うことによって、その位置を変更することができる。 Reference numerals 241 and 242 are icons that respectively function as a moving image reproduction range setting unit in the input moving image data, the icon 241 indicates the beginning of the reproducing range, and the icon 242 indicates the rear end of the reproducing range. The positions of these icons can be changed by the user performing drag and drop.

参照符号243は、入力動画データにおける現在の再生位置設定部として機能するアイコンである。再生位置アイコン243が示すフレームに対して画像処理が施された結果がプレビューエリア220に表示されている。再生位置アイコン243の位置は、ユーザがドラッグ&ドロップを行うか、再生コントロール部230のコマ送りボタンやジャンプボタンをクリックすることで変更することができる。ユーザが再生コントロール部230の再生ボタンをクリックすると、再生位置アイコン243が示すフレームを開始点として入力動画データの再生が行われる。ユーザが新規にRAW動画像ファイルを選択した場合、アイコン241、243は初期位置としてシークバー部240の左端に位置するものとする。また、アイコン242は、初期位置としてシークバー部240の右端に位置しているものとする。 Reference numeral 243 is an icon that functions as a current reproduction position setting unit in the input moving image data. The result of image processing performed on the frame indicated by the reproduction position icon 243 is displayed in the preview area 220. The position of the reproduction position icon 243 can be changed by the user by dragging and dropping or by clicking the frame advance button or the jump button of the reproduction control unit 230. When the user clicks the play button of the play control section 230, the input moving image data is played back starting from the frame indicated by the play position icon 243. When the user newly selects a RAW moving image file, the icons 241 and 243 are assumed to be located at the left end of the seek bar section 240 as initial positions. The icon 242 is assumed to be located at the right end of the seek bar section 240 as the initial position.

参照符号244は、入力動画データにおいて現像結果の生成が完了した範囲(現像完了範囲)を示し、参照符号245は入力動画データにおける現像が可能な範囲(現像処理可能範囲)を示す。これらについての詳細は後述する。 Reference numeral 244 indicates a range in which generation of a development result is completed in the input moving image data (development completion range), and reference numeral 245 indicates a developable range (development processing range) in the input moving image data. Details of these will be described later.

参照符号250は、ユーザが画像処理の画質レベルを特定するための画質パラメータを選択する画質設定部である。ユーザが画質設定部250で選択した画質パラメータに応じた内容の画像処理が実行される。本実施形態における画質パラメータは、「High」、「Middle」、「Low」の中から選択可能である。実施形態では、画質パラメータは解像度を表すものとする。例えば、RAW動画像ファイルが示す1フレームの画素数を間引き無しに表示することをHIGH,水平、垂直とも1/2に間引きすることをMiddle,同1/4に間引きすることをLowとする。なお、画質の違いを、1画素当たりのビット数で表しても良く、画素数とビット数の組み合わせで画質を定義しても良い。 Reference numeral 250 is an image quality setting unit that allows the user to select an image quality parameter for specifying the image quality level of image processing. Image processing of the content according to the image quality parameter selected by the user in the image quality setting unit 250 is executed. The image quality parameter in this embodiment can be selected from “High”, “Middle”, and “Low”. In the embodiment, the image quality parameter represents the resolution. For example, displaying the number of pixels of one frame indicated by the RAW moving image file without thinning is HIGH, thinning to 1/2 in both horizontal and vertical directions is Middle, and thinning to 1/4 in the same is Low. The difference in image quality may be represented by the number of bits per pixel, or the image quality may be defined by a combination of the number of pixels and the number of bits.

参照符号251は、現像結果(現像処理済みの画像データ)の保存に使用するバッファメモリ量をユーザが設定するための、メモリ量設定部である。設定可能な値の上限は、アプリケーション200を実行している環境における、RAM130のアプリケーション200に割り当て可能な容量である。なお、メモリ量設定部251にメモリ量を設定した場合(ユーザがその値を変更した場合)、その値をOSのレジストリに登録しておき、次回アプリケーション200を起動した際にはその値をメモリ量設定部251に読み出すようにしても良い。 Reference numeral 251 is a memory amount setting unit for the user to set the buffer memory amount used for storing the development result (developed image data). The upper limit of the settable value is the capacity of the RAM 130 that can be assigned to the application 200 in the environment in which the application 200 is running. In addition, when the memory amount is set in the memory amount setting unit 251 (when the user changes the value), the value is registered in the registry of the OS, and the value is stored in the memory when the application 200 is started next time. You may make it read to the quantity setting part 251.

参照符号260は、動画再生中に色味に関する画像処理を実施するための一般的なパラメータ設定部であり、本実施形態ではスライダバーによる「明るさ」、「ホワイトバランス」の調整と、プルダウンによる「ガンマ変換」「色域変換」の切り替え操作が可能である。この他、アプリケーション200は、動画再生に関する一般的な各機能を実行するための操作部を有するが、ここでは図示しない。 Reference numeral 260 is a general parameter setting unit for performing image processing relating to tint during moving image reproduction, and in the present embodiment, adjustment of “brightness” and “white balance” by a slider bar and pull-down are performed. It is possible to switch between “gamma conversion” and “color gamut conversion”. In addition, the application 200 has an operation unit for executing general functions related to moving image reproduction, but it is not shown here.

図3は、記録媒体150に格納されているRAW動画データ(ファイル)300の概念図である。 FIG. 3 is a conceptual diagram of the RAW moving image data (file) 300 stored in the recording medium 150.

参照符号301はヘッダ部であり、ここに動画の属性情報が記録されている。具体的には、クリップ名、撮影日時情報、タイムコード、動画を構成するフレーム画像の画像サイズ(水平、垂直方向の画素数)、フレームレート、カメラ機種名、色温度、絞り値、ISO感度、そして、各フレームの符号化データの先頭アドレス等の付加情報である。 Reference numeral 301 is a header part in which the attribute information of the moving image is recorded. Specifically, clip name, shooting date/time information, time code, image size (number of pixels in the horizontal and vertical directions) of frame images forming a moving image, frame rate, camera model name, color temperature, aperture value, ISO sensitivity, Then, it is additional information such as the start address of the encoded data of each frame.

参照符号302はフレーム画像データ部(もしくはペイロード部)であり、撮影された動画を構成するフレーム画像の内容が、撮影されたタイミングが早い順に記録されている。図示の場合、画像データ1、2、…NのトータルでN個のRAWフレーム画像が、RAW画像データ300に格納されていることを示している。本実施形態では、図示の画像データ1、2、…は、RAW画像データ(ベイヤ配列の画像データ)をエンコードして得た符号化データであるものとし、各フレームをデコードした後に現像処理を施すことによって、プレビューなどが可能な1画素RGBで表現された画像データが生成されるものとする。 Reference numeral 302 is a frame image data portion (or payload portion), and the contents of the frame images that form the captured moving image are recorded in the order in which the capturing timing is earlier. In the case shown in the figure, a total of N RAW frame images of image data 1, 2,... N are stored in the RAW image data 300. In the present embodiment, the illustrated image data 1, 2,... Is assumed to be encoded data obtained by encoding the RAW image data (image data in the Bayer array), and the development processing is performed after decoding each frame. As a result, image data represented by 1-pixel RGB capable of previewing is generated.

次に、本実施形態に係る動画再生の動作について、図4〜10を参照し、説明する。なお本実施形態では、動画再生を行うアプリケーションプログラム200は当初は記録媒体150に格納されており、OSの制御下で記録媒体150からRAM130にロードされ、実行されるものとする。なお、このアプリケーションプログラム200は、ROM140に格納されていても構わない。また同様に、ネットワーク上のサーバにプログラムが格納されており、インタフェース190を介してRAM130にダウンロードして実行する形態でも構わない。 Next, the operation of moving image reproduction according to the present embodiment will be described with reference to FIGS. Note that in the present embodiment, the application program 200 for playing a moving image is initially stored in the recording medium 150, and is loaded from the recording medium 150 to the RAM 130 and executed under the control of the OS. The application program 200 may be stored in the ROM 140. Similarly, the program may be stored in a server on the network and downloaded to the RAM 130 via the interface 190 and executed.

図4は、図3で説明したRAW動画データ300に対して、RAW動画再生を行う際のアプリケーションプログラム200の動作手順を示すフローチャートである。なお、アプリケーションプログラム200は、RAW動画データ300とは異なる一般的な形式の動画ファイルに対して、一般的な動画再生機能を有してもよい。ここではRAW動画再生処理についてのみ説明する。 FIG. 4 is a flowchart showing an operation procedure of the application program 200 when performing RAW moving image reproduction on the RAW moving image data 300 described in FIG. The application program 200 may have a general moving image playback function for moving image files of a general format different from the RAW moving image data 300. Here, only the RAW moving image reproduction process will be described.

S400にて、CPU110は、ユーザからの操作を受け付け、操作があったかどうかを判断する。CPU110は、ユーザからの操作があったと判断した場合は処理をS401に進め、操作がなかったと判断した場合は処理をS400に戻し、操作を待つ。 In S400, CPU 110 receives an operation from the user and determines whether or not there is an operation. If the CPU 110 determines that there is an operation from the user, the process proceeds to step S401. If the CPU 110 determines that there is no operation, the process returns to step S400 and waits for the operation.

S401にて、CPU110は、ユーザによる再生対象のRAW画像データの変更があったか、ユーザのメモリ量設定部251の操作によってメモリ量が変更されたか、及び、ユーザの画質設定部250の操作によって画質パラメータが変更されたかを判定する。CPU110は、いずれかの変更があると判定した場合には処理をS405に進め、いずれも変更がないと判定した場合は処理をS402に進める。本実施形態においては、入力動画データ変更直後の再生位置は先頭フレームとする。なお、ユーザが最後に設定した再生位置を動画データごとに記憶し、次回選択時にはその位置を用いる構成でもよい。 In step S<b>401, the CPU 110 determines whether the RAW image data to be reproduced has been changed by the user, the memory amount has been changed by the user's operation of the memory amount setting unit 251, and the image quality parameter by the user's operation of the image quality setting unit 250. Is changed. The CPU 110 advances the processing to S405 when determining that there is any change, and advances the processing to S402 when determining that there is no change. In the present embodiment, the reproduction position immediately after changing the input moving image data is the head frame. The reproduction position last set by the user may be stored for each moving image data, and the position may be used at the next selection.

S402にて、CPU110は、ユーザによって再生位置アイコン243が変更されたか、再生開始位置アイコン241または終了位置アイコン242が変更されたか、または再生/停止ボタンの押下によって再生の一時停止が指示されたかを判定する。CPU110は、いずれかの変更があると判定した場合は処理をS406に進め、いずれも変更がないと判定した場合は処理をS403へ進める。 In S402, the CPU 110 determines whether the user has changed the reproduction position icon 243, the reproduction start position icon 241 or the end position icon 242, or whether the reproduction/stop button is pressed to instruct to pause the reproduction. judge. If the CPU 110 determines that there is any change, it advances the process to S406, and if it determines that there is no change, the process advances to S403.

S403にて、CPU110は、ユーザによるパラメータ設定部260の操作によって画像処理パラメータが変更されたかを判定する。CPU110が、ユーザによる画像処理パラメータが変更されたと判定した場合は、処理をS407へ進め、画像処理パラメータの変更がないと判定した場合は処理をS404に進める。 In S403, CPU 110 determines whether the image processing parameter has been changed by the user operating parameter setting unit 260. If the CPU 110 determines that the image processing parameter has been changed by the user, the process proceeds to step S407, and if the image processing parameter is not changed, the process proceeds to step S404.

S404にて、CPU110は、ユーザによる再生/停止ボタンの押下によって再生開始が指示されたか否かを判定する。CPU110は、ユーザによる再生開始が指示されたと判定した場合は処理をS409へ進め、その指示が無いと判定した場合は処理をS411に進める。 In S404, CPU 110 determines whether or not the reproduction start is instructed by the user pressing the reproduction/stop button. If the CPU 110 determines that the user has instructed to start the reproduction, the process proceeds to step S409; otherwise, the process proceeds to step S411.

S405にて、CPU110は、現像可能枚数算出処理を行う(詳細は後述)。S406にて、CPU110は、現像可能範囲決定処理を行う(詳細は後述)。S407にて、CPU110は、S410で開始した再生処理を中断する。S408にて、CPU110は、現像処理を開始し、処理をS400に戻す(詳細は後述する)。 In S405, CPU 110 performs a developable sheet number calculation process (details will be described later). In S406, CPU 110 performs a developable range determination process (details will be described later). In S407, CPU 110 interrupts the reproduction process started in S410. In S408, CPU 110 starts the developing process and returns the process to S400 (details will be described later).

S409にて、CPU110は、S408で開始した現像処理を中断する。S410にて、CPU110は、再生処理を開始し、処理をS400に戻す(詳細は後述)。 In S409, CPU 110 interrupts the developing process started in S408. In S410, CPU 110 starts the reproduction process and returns the process to S400 (details will be described later).

S411にて、CPU110は、ユーザによってアプリケーション終了操作がされたかを判定する。CPU110は、ユーザによるアプリケーション終了操作があったと判定した場合は、本RAW動画再生処理を終了し、アプリケーション終了操作がなかったと判定した場合は処理をS400に戻す。 In S411, CPU 110 determines whether the application termination operation has been performed by the user. If the CPU 110 determines that the user has performed an application end operation, the CPU 110 ends the RAW moving image reproduction process, and if it is determined that there is no application end operation, the process returns to S400.

なお、RAW動画再生処理開始後、最初にS401で入力動画データが選択されるまでは、再生コントロール部230などをグレーアウトし、S402〜S404の判定を常に偽とするような構成でもよい。あるいは、動画データ一覧表示エリア210に表示されている動画データのうち、表示位置、クリップ名、撮影日時などによる順番が先頭または末尾になる動画データや、前回画像処理の対象とした動画データなどを、初期の入力動画データとしてあらかじめ選択しておいてもよい。 It should be noted that, after the RAW moving image reproduction processing is started, the reproduction control unit 230 and the like may be grayed out until the input moving image data is first selected in S401, and the determinations in S402 to S404 are always false. Alternatively, among the moving picture data displayed in the moving picture data list display area 210, moving picture data in which the order of the display position, clip name, shooting date and time is the first or the last, or the moving picture data targeted for the previous image processing is displayed. , May be selected in advance as initial input moving image data.

次に、図5のフローチャートを用いて、図4のステップS405における現像可能枚数の算出処理について説明する。本実施形態では、画質設定部250で設定可能なすべての画質パラメータについて現像可能枚数を算出する。 Next, the process of calculating the number of developable sheets in step S405 of FIG. 4 will be described with reference to the flowchart of FIG. In this embodiment, the number of developable sheets is calculated for all image quality parameters that can be set by the image quality setting unit 250.

S500でCPU110は、RAM130で現像結果の保存に使用できる領域のサイズ(メモリ量設定部251に設定された値)を取得する。以降、この現像結果の保存領域のサイズを、変数Mを用いてMバイトと表現する。 In step S500, the CPU 110 acquires the size of the area that can be used to store the development result in the RAM 130 (the value set in the memory amount setting unit 251). Hereinafter, the size of the storage area of the development result is expressed as M bytes using the variable M.

S501でCPU110は、画質設定部250で設定可能なすべての画質パラメータについて、1フレーム画像あたりの現像結果のサイズを取得する。現像結果のサイズは画質パラメータによって異なる。画質パラメータは例えば、解像度、ビット深度、圧縮率、縮小率などのうち少なくとも一つを指定するものである。本実施形態では、先に説明したように、画質パラメータは元データの解像度に対する縮小率を指定するものであり、「High」は1倍、「Middle」は水平、垂直とも1/2倍、「Low」は水平、垂直とも1/4倍とする。つまり、現像結果のサイズ(画素数)は画質パラメータが「High」に設定されている場合が最も大きく、「Middle」が「High」の1/4、「Low」が「High」の1/16で最も小さくなる。「High」「Middle」「Low」の各画質パラメータに従って現像処理して得た1フレーム当たりのサイズを、それぞれNH、NM、NLバイトとする。 In step S501, the CPU 110 acquires the size of the development result per frame image for all image quality parameters that can be set by the image quality setting unit 250. The size of the development result depends on the image quality parameter. The image quality parameter specifies, for example, at least one of resolution, bit depth, compression rate, reduction rate, and the like. In the present embodiment, as described above, the image quality parameter designates the reduction ratio with respect to the resolution of the original data. “High” is 1 time, “Middle” is 1/2 times in both horizontal and vertical directions, and “ "Low" is 1/4 in both horizontal and vertical directions. That is, the size (number of pixels) of the development result is the largest when the image quality parameter is set to “High”, “Middle” is 1/4 of “High”, and “Low” is 1/16 of “High”. Is the smallest. The sizes per frame obtained by the development processing according to the image quality parameters of “High”, “Middle”, and “Low” are N H , N M , and N L bytes, respectively.

S502でCPU110は、「High」「Middle」「Low」の各画質パラメータにおける現像可能枚数FH、FM、FLを以下の式で算出する。現像可能枚数とは、RAM130の現像結果保存領域に保存可能な現像結果の枚数である。
H=FLOOR(M/NH
M=FLOOR(M/NM
L=FLOOR(M/NL
ここで、FLOOR(X)は、実数Xを超えない最大整数を返す床関数である。
S502 in CPU110 calculates developable number F H in each image quality parameter of "High", "Middle", "Low", F M, the F L by the following equation. The number of developable sheets is the number of developable results that can be stored in the development result storing area of the RAM 130.
F H =FLOOR(M/N H )
F M =FLOOR(M/N M )
F L = FLOOR (M / N L)
Here, FLOOR(X) is a floor function that returns a maximum integer that does not exceed the real number X.

次に、図6のフローチャートを用いて、図4のS406における現像可能範囲決定処理について説明する。ここで、入力動画における再生位置243のフレーム番号をFNow、再生範囲の再生開始位置241のフレーム番号をFSTART、再生終了位置242のフレーム番号をFENDとする。 Next, the developable range determination process in S406 of FIG. 4 will be described with reference to the flowchart of FIG. Here, the frame number of the reproduction position 243 in the input moving image is F Now , the frame number of the reproduction start position 241 of the reproduction range is F START , and the frame number of the reproduction end position 242 is F END .

S600にて、CPU110は、各画質パラメータについて、現像処理を行うフレームの範囲を求める。本実施形態では、再生位置243を起点とし、現像可能枚数のフレームに対して順に現像結果を生成する。つまり、現像処理を行う範囲は、ある画質パラメータにおける現像可能枚数をFCANとすると、FNOW〜FNOW+FCANであると求められる。ただし、FNOW+FCAN>FENDとなる場合、再生範囲外となる(FNOW+FCAN)−FENDフレーム分は、FSTART以降のフレームに割り当てる。また、FCAN≧FSTART−FENDとなる場合には、再生範囲の全フレームが現像可能範囲となる。 In S600, CPU 110 obtains the range of frames for which the developing process is to be performed for each image quality parameter. In this embodiment, starting from the reproduction position 243, the development result is sequentially generated for the frames of the developable number. That is, the range in which the development processing is performed is calculated to be F NOW to F NOW +F CAN, where F CAN is the number of developable sheets under a certain image quality parameter. However, when F NOW +F CAN >F END , the frame is out of the reproduction range (F NOW +F CAN )-F END frames are allocated to frames after F START . When F CAN ≧F START −F END , all frames in the reproduction range are the developable range.

S601でCPU110は、各画質パラメータについて、S600で求めた現像可能範囲に基づいて現像可能表示を行う。現像可能表示とは、シークバー部240上で、入力動画データの現像処理が可能な範囲に該当する部分を、それ以外の部分と識別可能(実施形態では色)で、且つ、強調表示する処理である。現像可能表示は、画質設定部250で設定可能なすべての画質パラメータについて行ってもよいし、一部の画質パラメータのみに対して行ってもよい。表示方法の詳細は後述する。 In S601, the CPU 110 displays developable for each image quality parameter based on the developable range obtained in S600. The developable display is a process for distinguishing (coloring in the embodiment) a portion corresponding to a range in which the development processing of the input moving image data is possible on the seek bar portion 240 and highlighting the portion. is there. The developable display may be performed for all the image quality parameters that can be set by the image quality setting unit 250, or may be performed for only some of the image quality parameters. Details of the display method will be described later.

次に、図7のフローチャートを用いて、図4のS408における現像処理について説明する。CPU110は、現像可能範囲決定処理で求めた、画質設定部250で選択状態の画質パラメータに応じたフレーム単位の現像処理を、再生位置243から順に実行する。 Next, the developing process in S408 of FIG. 4 will be described with reference to the flowchart of FIG. The CPU 110 sequentially executes, from the reproduction position 243, the development processing in frame units according to the image quality parameter selected by the image quality setting unit 250, which is obtained in the developable range determination processing.

S700にて、CPU110は、RAM130に保存されている既存の現像結果のうち、不要な部分を削除しメモリを開放する。既存の現像結果を生成した後に、入力動画データ、画質パラメータ、画像処理パラメータが変更されていれば、すべての既存の現像結果を削除する。それ以外の場合、再生位置、再生範囲、メモリサイズが変更された場合は、RAM130に保存されている既存の現像結果のうち、図6のS600で求めた現像可能範囲に含まれるものは残し、そうでない現像結果を削除する。現像結果の削除については、RAM130から削除する処理を行ってもよいし、削除対象の現像結果のフレームデータが保存されているRAM130の領域を解放する処理を行うことにより、現像結果のフレームデータを破棄するようにしてもよい。 In S700, CPU 110 deletes an unnecessary portion of the existing development result stored in RAM 130 and opens the memory. After the existing development result is generated, if the input moving image data, the image quality parameter, and the image processing parameter are changed, all the existing development results are deleted. In other cases, if the reproduction position, reproduction range, and memory size are changed, the existing development results stored in the RAM 130 remain within the developable range obtained in S600 of FIG. Delete the development result that is not so. As for the deletion of the development result, the processing of deleting from the RAM 130 may be performed, or the processing of releasing the area of the RAM 130 in which the frame data of the development result to be deleted is saved, the frame data of the development result is deleted. It may be discarded.

S701にて、CPU110は、変数FにFNOWを代入する。 In S701, the CPU 110 substitutes F NOW into the variable F.

S702にて、CPU110は、入力動画データのF番目のフレームに対して生成された現像結果がRAM130の現像結果保存領域に存在するか否かを判定する。CPU119は、F番目のフレームに対する現像結果がRAM130の現像結果保存領域に存在すると判定した場合、処理をS707に移行し、存在しないと判定した場合は処理をS703に進める。つまり、図6のS600で求めた現像可能範囲に含まれており、現像結果がRAM13に残されているフレームの場合には、S703、S704での現像処理は行わない。そして、現像可能範囲に含まれているが、現像結果がRAM13に残されていないフレームの場合には、S703以降の現像処理のための処理を実行する。 In S702, CPU 110 determines whether the development result generated for the Fth frame of the input moving image data exists in the development result storage area of RAM 130. If the CPU 119 determines that the development result for the Fth frame exists in the development result storage area of the RAM 130, the process proceeds to step S707, and if it does not exist, the process proceeds to step S703. That is, in the case where the frame is included in the developable range obtained in S600 of FIG. 6 and the development result remains in the RAM 13, the development process in S703 and S704 is not performed. Then, in the case of a frame that is included in the developable range but the development result is not left in the RAM 13, the processing for the development processing after S703 is executed.

S703でCPU110は、入力動画データのF番目のフレームのデータを読み込む。S704にて、CPU110は、読み込んだフレームの現像処理を行う。現像処理は例えば、フレーム画像が圧縮画像の場合のデコード処理、フレーム画像がRAW画像の場合のデモザイク処理、ノイズ除去、偽色除去などの画質を改善するための処理、周辺光量補正、色収差補正などの補正処理、明るさ、ホワイトバランス、ガンマ、色域などを設定された内容に調整する調整処理、画像表示領域であるプレビューエリア220のサイズにリサイズするリサイズ処理などである。現像処理はCPU110またはGPU120によって実行されるが、処理内容や画像領域を分割し、CPU110とGPU120に分担させてもよい。現像処理の詳細なアルゴリズムは本特許の本質ではないので特に説明しない。現像処理の結果は、画質設定部250で選択された画質パラメータに応じたサイズの現像結果として出力される。 In step S703, the CPU 110 reads the data of the Fth frame of the input moving image data. In step S704, the CPU 110 performs the developing process of the read frame. The development processing includes, for example, decoding processing when the frame image is a compressed image, demosaicing processing when the frame image is a RAW image, processing for improving image quality such as noise removal and false color removal, peripheral light amount correction, and chromatic aberration correction. Correction processing, adjustment processing for adjusting the brightness, white balance, gamma, color gamut, etc. to the set contents, and resizing processing for resizing to the size of the preview area 220 which is the image display area. The development processing is executed by the CPU 110 or the GPU 120, but the processing content and the image area may be divided and shared by the CPU 110 and the GPU 120. The detailed algorithm of the developing process is not the essence of this patent and will not be described in detail. The result of the development processing is output as a development result of a size corresponding to the image quality parameter selected by the image quality setting unit 250.

S705にて、CPU110は、現像結果をRAM130の現像結果保存領域に格納する。S706にて、CPU110は、入力動画データのF番目のフレームの現像完了表示をONにする。表示方法の詳細は後述する。 In S705, CPU 110 stores the development result in the development result storage area of RAM 130. In S706, CPU 110 turns on the development completion display of the Fth frame of the input moving image data. Details of the display method will be described later.

S707でCPU110は、変数Fに“1”を加算する。そして、S708にて、CPU110は、変数FがFEND以下であるか否かを判定する。変数FがFEND以下である場合、CPU110は処理をS710に進め、そうでない場合には処理をS709に進める。 In S707, the CPU 110 adds “1” to the variable F. Then, in S708, CPU 110 determines whether variable F is equal to or less than F END . If variable F is less than or equal to F END , CPU 110 advances the process to S710, and if not, advances the process to S709.

S709にて、CPU110は、変数FにFSTARTを代入する。S710にて、CPU110は、図6のS600で求めた現像可能範囲のすべてのフレームの現像処理を完了したかを判定する。CPU110は、現像可能範囲のすべてのフレームの現像処理が完了したと判定した場合、この現像処理を終了する。また、CPU110は、現像可能範囲内に未現像のフレームがあると判定した場合は、処理をS702に戻す。 In S709, CPU 110 substitutes F START for variable F. In S710, CPU 110 determines whether the development processing of all the frames within the developable range obtained in S600 of FIG. 6 has been completed. When the CPU 110 determines that the development processing has been completed for all the frames within the developable range, the CPU 110 ends this development processing. If the CPU 110 determines that there is an undeveloped frame within the developable range, the process returns to S702.

次に、図8のフローチャートを用いて、図4のS410における再生処理について説明する。本実施形態では、現像結果が存在しないフレームを再生しようとした場合には、1枚のフレームの現像処理とプレビュー表示を順次行うことで、プレビュー表示の速度は下がるがほぼ一定時間間隔で行う例を説明する。 Next, the reproduction process in S410 of FIG. 4 will be described using the flowchart of FIG. In the present embodiment, when a frame without a development result is to be reproduced, the development processing of one frame and the preview display are sequentially performed, so that the preview display speed is reduced, but is performed at substantially constant time intervals. Will be explained.

S800にて、CPU110は、変数FにFNOWを代入する。そして、S801にて、CPU110は、入力動画データの変数FNOWが示すフレームの現像処理で得た画像データがRAM130の現像結果保存領域に存在するか否かを判定する。CPU110は、変数Fが示すフレームの画像データがRAM130の現像結果保存領域に存在すると判定した場合には処理をS802に進め、存在しないと判定した場合は処理をS803に進める。 In S800, CPU 110 substitutes F NOW for variable F. Then, in step S<b>801, the CPU 110 determines whether the image data obtained by the development processing of the frame indicated by the variable F NOW of the input moving image data exists in the development result storage area of the RAM 130. If the CPU 110 determines that the image data of the frame indicated by the variable F exists in the development result storage area of the RAM 130, the process proceeds to step S802; otherwise, the process proceeds to step S803.

S802にて、CPU110は、入力動画データの変数Fが示すフレームの現像処理結果である画像データを、RAM130の現像結果保存領域から読み込む。 In step S<b>802, the CPU 110 reads the image data, which is the development processing result of the frame indicated by the variable F of the input moving image data, from the development result storage area of the RAM 130.

S803にて、CPU110は、入力動画データから、変数Fが示すフレームのデータを読み込む。そして、S804にて、CPU110は、読み込んだフレームのデータの現像処理を行う。現像処理は、図7のS704と同様であるため、ここでの説明は省略する。 In S803, CPU 110 reads the frame data indicated by variable F from the input moving image data. Then, in step S804, the CPU 110 develops the read frame data. Since the developing process is the same as S704 in FIG. 7, the description here is omitted.

S805にて、CPU110は、S802で読み込んだ現像結果の画像データ、または、S804で生成した現像結果で得た画像データを、プレビューエリア220に表示する。 In S805, CPU 110 causes preview area 220 to display the image data of the development result read in S802 or the image data of the development result generated in S804.

S806にて、CPU110は変数Fに“1”を加算する。そして、S807にて、CPU110は、変数FがFEND以下であるか否かを判定する。CPU110は、変数FがFEND以下であると判定した場合、処理をS801に戻し、そうでない場合はこの再生処理を終了する。 In S806, CPU 110 adds “1” to variable F. Then, in S807, the CPU 110 determines whether or not the variable F is less than or equal to F END . CPU110, if variable F is equal to or less than F END, returns the process to S801, otherwise ends the regeneration process.

図9(a)乃至(c)は、図2のGUIにおいて、画質設定部250で選択状態にある画質パラメータのみについて、図6のS601の現像可能表示、図7のS706の現像完了表示を行った場合の詳細な表示構成を説明するための図である。 9A to 9C, in the GUI of FIG. 2, only the image quality parameters selected by the image quality setting unit 250 are displayed as the development possible in S601 of FIG. 6 and the development completion display in S706 of FIG. It is a figure for demonstrating the detailed display structure in case of.

図9(a)は、FNOW+FCAN≦FENDである場合の表示例である。シークバー部900上では、現像可能範囲に該当する領域905(FNOW〜FNOW+FCAN)が薄い灰色で表示され、現像完了範囲に該当する領域904が濃い灰色で表示される。 FIG. 9A shows a display example when F NOW +F CAN ≤F END . On the seek bar section 900, a region 905 (F NOW to F NOW +F CAN ) corresponding to the developable range is displayed in light gray, and a region 904 corresponding to the development completed range is displayed in dark gray.

図9(c)はFCAN≧FSEND−FSTARTである場合の表示例である。シークバー部920上では、現像可能範囲に該当する部分921すなわち再生範囲の全体が薄い灰色で表示される。 FIG. 9C is a display example in the case of F CAN ≧FS END −F START . On the seek bar portion 920, a portion 921 corresponding to the developable range, that is, the entire reproduction range is displayed in light gray.

図9(b)はそれ以外の場合の表示例である。シークバー部910上では、現像可能範囲に該当する部分911(FSTART〜FSTART+(FNOW+FCAN)−FEND)と、部分912(FNOW〜FEND)が薄い灰色で表示される。 FIG. 9B is a display example in other cases. On the seek bar portion 910, a portion 911 (F START to F START +(F NOW +F CAN )−F END ) corresponding to the developable range and a portion 912 (F NOW to F END ) are displayed in light gray.

図4のS410の再生処理中は、現像結果が存在するフレーム、すなわち現像完了範囲(濃い灰色)内では読み込み後すぐにプレビュー表示を行うことができるため、スムーズに再生を行うことができる。一方、現像結果が存在しないフレーム、すなわち濃い灰色以外の色で表示された範囲では図8のS804の現像処理に時間がかかるため、表示に遅延が生じ、再生品質が大幅に低下することになる。また、図4のS408の現像処理が進行するにつれて、薄い灰色の部分が濃い灰色で塗り替えられていき、すべて塗り替えられると表示が変化しなくなる。つまり、シークバー部の表示は、再生処理を開始した時点では濃い灰色で表示された範囲でのみ高い再生品質で再生することができ、薄い灰色の範囲はある程度の時間待機した後で高い再生品質で再生できるようになるということを示している。 During the reproduction process in S410 of FIG. 4, the preview display can be performed immediately after reading in the frame in which the development result exists, that is, in the development completion range (dark gray), so that the reproduction can be smoothly performed. On the other hand, in the frame in which the development result does not exist, that is, in the range displayed in a color other than dark gray, the development processing in S804 of FIG. 8 takes time, so that the display is delayed and the reproduction quality is significantly deteriorated. .. Further, as the developing process of S408 of FIG. 4 progresses, the light gray portion is repainted with dark gray, and when all the repainting is performed, the display does not change. In other words, the display of the seek bar section can be reproduced with high reproduction quality only in the range displayed in dark gray at the start of the reproduction process, and the range of light gray can be reproduced with high reproduction quality after waiting for some time. It shows that it can be played.

なお、上記では、現像可能表示および現像完了表示の領域を色(灰色の濃淡)で表現したが、これ以外の方法で実現してもよい。また、現像可能表示はユーザが表示と非表示を切り替えることができる構成でもよい。例えば現像可能表示の有無を切り替えるチェックボックスのGUIや、キーボードの特定のキーを押下中にのみ表示を行うような機能を設けてもよい。 In the above description, the areas of the developable display and the development completion display are represented by colors (shades of gray), but they may be realized by other methods. The developable display may be configured so that the user can switch between display and non-display. For example, a GUI for a check box for switching the presence/absence of a developable display, or a function for displaying only when a specific key on the keyboard is pressed may be provided.

図10は、図2のGUIにおいて、画質設定部250で設定可能なすべての画質パラメータに対して、図6のS601の現像可能表示、図7のS706の現像完了表示を行った場合の詳細な表示構成を説明するための図である。 FIG. 10 is a detailed diagram when the development possible display in S601 of FIG. 6 and the development completion display in S706 of FIG. 7 are performed for all the image quality parameters that can be set by the image quality setting unit 250 in the GUI of FIG. It is a figure for demonstrating a display structure.

図10(a)は、どの画質パラメータでも再生範囲の全フレームが現像可能範囲とならない場合の表示例である。シークバー部1000上では、画質パラメータが「High」の場合の現像可能範囲1001、同「Middle」の場合の現像可能範囲1002、同「LOW」の場合の現像可能範囲1003、1004がそれぞれ異なる色で表示され、それぞれの終点位置には対応する画質パラメータの内容を示すアイコンが付加される。また、画質設定部250で選択状態にある画質パラメータのアイコンは、他のアイコンと区別するために異なる色で表示される。 FIG. 10A is a display example when all the frames in the reproduction range are not in the developable range with any image quality parameter. On the seek bar unit 1000, the developable range 1001 when the image quality parameter is “High”, the developable range 1002 when the image quality parameter is “Middle”, and the developable range 1003 and 1004 when the image quality parameter is “LOW” are different colors. An icon indicating the content of the corresponding image quality parameter is displayed and displayed at each end point position. The icon of the image quality parameter selected in the image quality setting unit 250 is displayed in a different color so as to be distinguished from other icons.

図10(b)および図10(c)は、画質パラメータ「Middle」「Low」で再生範囲の全フレームが再生可能である場合の表示例である。シークバー部1010および1020上では、画質パラメータ「Middle」「Low」の現像可能範囲1012および1022は同色で表示する。さらに、どの画質パラメータであれば再生範囲の全フレームが現像可能となるかを表示することで、ユーザの画質パラメータの選択を支援することができる。例えば図10(b)は、画質設定メニューである画質設定部1060のドロップダウンリストを展開時、再生範囲の全フレームが再生可能な画質パラメータの行は他と異なる色で強調表示する例である。そして、図10(c)は、画質設定部1070のドロップダウンリストを展開時、再生範囲の全フレームが再生可能な最高の画質パラメータの行のみ、推奨されるパラメータである旨を表す文字列(“recommended”)を追加することで強調表示する例である。推奨されるパラメータは、再生範囲の全フレームが再生可能な画質パラメータのうち、画質が高いものとするとよい。あるいは、入力動画データの全が再生可能な画質パラメータのうち、画質が高いものを推奨されるパラメータとしてもよい。 10B and 10C are display examples in the case where all the frames in the reproduction range can be reproduced with the image quality parameters "Middle" and "Low". On the seek bar units 1010 and 1020, the developable ranges 1012 and 1022 of the image quality parameters “Middle” and “Low” are displayed in the same color. Further, it is possible to assist the user in selecting the image quality parameter by displaying which image quality parameter makes all the frames in the reproduction range developable. For example, FIG. 10B is an example in which, when the drop-down list of the image quality setting unit 1060, which is an image quality setting menu, is expanded, lines of image quality parameters that can reproduce all frames in the reproduction range are highlighted in a different color. .. Then, in FIG. 10C, when the drop-down list of the image quality setting unit 1070 is expanded, only the line of the highest image quality parameter that can reproduce all the frames in the reproduction range is a character string (representing that it is a recommended parameter ( This is an example of highlighting by adding "recommended"). The recommended parameter is a high image quality parameter among the image quality parameters capable of reproducing all frames in the reproduction range. Alternatively, among the image quality parameters capable of reproducing the entire input moving image data, the one having high image quality may be the recommended parameter.

各画質パラメータに対する現像可能表示は、シークバー部の表示色を変える以外の方法で実現してもよい。例えば、終点のみをアイコンで示す構成や、シークバー部の上部または下部に別のGUIを設けて表示する構成でもよい。あるいは、図10(b)の参照符号1013のように、各画質パラメータについて再生範囲全体を現像可能かどうかだけをシークバー部付近に表示する構成でもよい。また、再生範囲だけではなく、入力動画データ全体が現像可能かを表示する構成にしてもよい。再生範囲が設定されている場合は再生範囲全体が現像可能かを表示し、再生範囲が設定されていない場合は入力画像全体が現像可能かを表示するようにしてもよい。また、シークバー部において、入力動画データの終端部に対応する右側の端部に、推奨されるパラメータを表示することにより、入力動画データの全フレームが再生可能な推奨画質パラメータをユーザに通知してもよい。あるいは、シークバー部の右側の端部等の特定の部分をマウスオーバー操作した場合に、推奨される画質パラメータをポップアップ表示するようにしてもよい。 The developable display for each image quality parameter may be realized by a method other than changing the display color of the seek bar portion. For example, a configuration may be used in which only the end point is indicated by an icon, or another GUI is provided above or below the seek bar section to display. Alternatively, as indicated by reference numeral 1013 in FIG. 10B, it may be configured such that only whether or not the entire reproduction range can be developed for each image quality parameter is displayed near the seek bar portion. In addition, not only the reproduction range but also the entire input moving image data may be displayed for development. When the reproduction range is set, it may be displayed whether the entire reproduction range is developable, and when the reproduction range is not set, it may be displayed whether the entire input image is developable. Also, in the seek bar section, the recommended parameters are displayed at the right end portion corresponding to the end portion of the input moving image data to notify the user of the recommended image quality parameters capable of reproducing all frames of the input moving image data. Good. Alternatively, when the mouseover operation is performed on a specific portion such as the right end portion of the seek bar portion, the recommended image quality parameters may be displayed in a pop-up.

また、画質設定部250で選択状態ではない画質パラメータのうち、一部のみについて現像可能表示をする構成でもよい。例えば、画質設定部250で選択状態の画質パラメータのひとつ上またはひとつ下の画質パラメータのみについて表示する構成や、再生範囲の全フレームが再生可能な最高の画質パラメータのみについて表示する構成でもよい。 Further, the image quality setting unit 250 may display only a part of the image quality parameters that are not in the selected state as the developable display. For example, the image quality setting unit 250 may display only the image quality parameter that is one level above or below the selected image quality parameter, or only the highest image quality parameter that can reproduce all the frames in the reproduction range.

また、画質設定部250で選択状態ではない画質パラメータについては、ユーザが所定の操作をしている間または直後のみ現像可能表示を行う構成でもよい。例えば画質設定部250やシークバー部240を操作している間や、その直後5秒間のみ表示を行うような機能を設けてもよい。 Further, regarding the image quality parameter which is not selected by the image quality setting unit 250, the developability display may be performed only while the user is performing a predetermined operation or immediately thereafter. For example, a function may be provided to display the image while operating the image quality setting unit 250 or the seek bar unit 240 or immediately after that for 5 seconds.

このように、本実施形態によれば、再生開始前にメモリに保存可能な枚数だけ入力動画ファイルに対して現像結果を生成して保存し、再生時には現像結果の読み出しと表示のみを行うことで、現像結果が生成済みの範囲について再生品質を向上することができる。また、現像結果の生成が完了した範囲と生成可能な範囲を前もって表示することで、現時点で高い再生品質で再生できる範囲と、待機後に高い再生品質で再生できるようになる範囲をユーザに提示することができる。さらに、画質パラメータごとに現像結果の生成が可能な範囲を表示することで、どの画質パラメータを選択すれば、所望の再生範囲が高い再生品質で再生できるようになるかをユーザに提示することができる。そのため、ユーザは画質パラメータの変更と再生範囲の確認を繰り返し行う必要がなく、一度の画質パラメータの変更で目的の再生を行うことが可能となる。 As described above, according to the present embodiment, the development result is generated and stored for the input moving image file as many as can be stored in the memory before the reproduction is started, and only the development result is read and displayed during the reproduction. The reproduction quality can be improved in the range where the development result has already been generated. Further, by displaying in advance the range in which generation of the development result has been completed and the range in which it can be generated, the user is presented with a range in which reproduction can be performed with high reproduction quality at the present time and a range in which reproduction can be performed with high reproduction quality after waiting. be able to. Further, by displaying the range in which the development result can be generated for each image quality parameter, it is possible to present the user with which image quality parameter to select so that the desired reproduction range can be reproduced with high reproduction quality. it can. Therefore, the user does not need to repeatedly change the image quality parameter and confirm the reproduction range, and the target reproduction can be performed by changing the image quality parameter once.

[第2の実施形態]
上記第1の実施形態では、現像完了範囲と現像可能範囲を、画質パラメータごとに算出し表示するPCの例を説明した。本実施形態では、指定された再生範囲が現像可能であるかを、使用可能なメモリ量に基づいて通知し、ユーザがメモリ量を変更するかどうか選択できるPCの例を説明する。また、第1の実施形態では、再生位置から後ろのフレームを順に現像するPCの例を説明した。本第2の実施形態では、ユーザの操作状態によって現像するフレームの範囲と順番を変更する例も説明する。
[Second Embodiment]
In the first embodiment, the example of the PC for calculating and displaying the development completion range and the developable range for each image quality parameter has been described. In the present embodiment, an example of a PC will be described in which whether the designated reproduction range can be developed is notified based on the available memory amount, and the user can select whether to change the memory amount. Further, in the first embodiment, the example of the PC for sequentially developing the frames subsequent to the reproduction position has been described. In the second embodiment, an example in which the range and order of frames to be developed is changed depending on the operation state of the user will be described.

本第2の実施形態におけるPCの構成を示すブロック図、アプリケーション200のGUI構成図、記録媒体150に格納されているRAW動画データの概念図は、それぞれ第1の実施形態の図1〜3と同じであるとし、その説明は省略する。 The block diagram showing the configuration of the PC in the second embodiment, the GUI configuration diagram of the application 200, and the conceptual diagram of the RAW moving image data stored in the recording medium 150 are as shown in FIGS. 1 to 3 of the first embodiment, respectively. The same description is omitted.

以下、本第2の実施形態に係る動画再生の動作を、図11乃至図16を参照し説明する。 The operation of moving image reproduction according to the second embodiment will be described below with reference to FIGS. 11 to 16.

図11は、図3で説明したRAW動画データ300に対して、RAW動画再生を行う際のアプリケーション200の処理手順を示すフローチャートである。 FIG. 11 is a flowchart showing a processing procedure of the application 200 when performing RAW moving image reproduction on the RAW moving image data 300 described in FIG.

S1100、S1101はそれぞれ、図4のS400、S401と同様の処理を行うことができるため、ここでの説明は省略する。 Since S1100 and S1101 can perform the same processes as S400 and S401 of FIG. 4, respectively, description thereof will be omitted here.

S1102にて、CPU110は、ユーザによって再生位置243が変更されたか、再生範囲(再生開始位置241または終了位置242)が変更されたか、再生/停止ボタンの押下によって再生の一時停止が指示されたかを判定する。CPU110は、いずれかに該当する操作があったと判定した場合、処理をS1105に進め、上記のいずれの操作もなかったと判定した場合は処理をS1103に進める。 In step S1102, the CPU 110 determines whether the user has changed the reproduction position 243, the reproduction range (reproduction start position 241 or end position 242), or whether the reproduction/stop button is pressed to instruct reproduction to be paused. judge. The CPU 110 advances the processing to S1105 when determining that there is an operation corresponding to any of the operations, and advances the processing to S1103 when determining that there is no operation of the above.

S1103、S1104はそれぞれ、図4のS403、S404と同様の処理を行うことができるため、説明を省略する。 Since steps S1103 and S1104 can perform the same processes as steps S403 and S404 of FIG. 4, respectively, description thereof will be omitted.

S1105にて、CPU110は、必要メモリ量通知処理を行う(詳細後述)。 In S1105, the CPU 110 performs a necessary memory amount notification process (details will be described later).

S1106〜S1111はそれぞれ、図4のS406〜S411と同様の処理を行うことができるため、説明を省略する。 Since each of S1106 to S1111 can perform the same processing as S406 to S411 of FIG. 4, description thereof will be omitted.

次に、図12のフローチャートを参照して、図11のS1105における必要メモリ量通知処理について説明する。 Next, the required memory amount notification processing in S1105 of FIG. 11 will be described with reference to the flowchart of FIG.

S1200にて、CPU110は、現像可能枚数算出処理を行う。現像可能枚数算出処理は、図5と同様となるので説明を省略する。画質設定部250で選択状態の画質パラメータについて算出した現像可能枚数をFCANとする。 In S1200, CPU 110 performs a process for calculating the number of developable sheets. The process for calculating the number of developable sheets is the same as that shown in FIG. Let F CAN be the number of developable sheets calculated by the image quality setting unit 250 for the selected image quality parameter.

S1201にて、CPU110は、再生範囲の再生開始位置241と終了位置242の間に含まれる再生範囲のフレーム数FNEEDとFCANとを比較する。そして、CPU110は、FNEEDがFCANよりも大きいと判定した場合には処理をS1202に進め、FNEEDがFCAN以下であると判定した場合、本処理を終了する。 In S1201, the CPU 110 compares the number of frames F NEED in the reproduction range included between the reproduction start position 241 and the end position 242 in the reproduction range with F CAN . Then, when the CPU 110 determines that F NEED is larger than F CAN , the CPU 110 advances the process to S1202, and when it determines that F NEED is less than or equal to F CAN , ends the present process.

S1202にて、CPU110は、必要メモリ量MNEEDを以下の式で算出する。ここで変数Nは、画質設定部250で選択状態の画質パラメータにおける、1フレーム画像当たりの現像結果の出力サイズである。
NEED=N×FNEED
S1203にて、CPU110は、必要メモリ量の通知(表示)し、ユーザの操作を受け付ける。この表示方法の詳細は後述する。
In S1202, CPU 110 calculates required memory amount M NEED by the following formula. Here, the variable N is the output size of the development result per one frame image in the image quality parameter selected by the image quality setting unit 250.
M NEED = N×F NEED
In S1203, CPU 110 notifies (displays) the required memory amount and accepts the user's operation. Details of this display method will be described later.

S1204にて、CPU110は、ユーザによるメモリ量変更指示があったか否かを判定する。CPU110は、ユーザによるメモリ量変更指示があったと判定した場合は処理をS1205に進め、そうでない場合は本処理を終了する。 In S1204, CPU 110 determines whether or not there is a memory amount change instruction from the user. When the CPU 110 determines that the user has instructed to change the memory amount, the CPU 110 advances the process to S1205, and otherwise ends this process.

S1205にて、CPU110は、メモリ量をS1203でユーザによって指示された値に変更する。そして、S1206にて、CPU110は、現像可能枚数算出処理を行い、FCANを再計算する。 In S1205, CPU 110 changes the memory amount to the value instructed by the user in S1203. Then, in step S1206, the CPU 110 performs a process for calculating the number of developable sheets and recalculates F CAN .

図13(a),(b)は、図12のステップS1203の必要メモリ量通知を行った場合の詳細な表示例を示す図である。同図(a)は必要メモリ量MNEEDが設定可能な上限値以下である場合の表示例である。メモリ量設定部251で設定されている現在のメモリ量と、必要メモリ量MNEEDを表示し、ユーザが押下できるボタンを3つ表示する。ボタンに表記されるメッセージはたとえば次の通りである。
・「設定を変更する」
・「このクリップのみ変更する」
・「いいえ」
それぞれのボタンが押下された場合のアプリケーション200の動作は次の通りである。
13A and 13B are diagrams showing detailed display examples when the required memory amount notification is made in step S1203 of FIG. FIG. 10A is a display example when the required memory amount M NEED is less than or equal to the settable upper limit value. The current memory amount set by the memory amount setting unit 251 and the required memory amount M NEED are displayed, and three buttons that the user can press are displayed. The message written on the button is as follows, for example.
・"Change settings"
・"Change only this clip"
·"No"
The operation of the application 200 when each button is pressed is as follows.

「設定を変更する」の表記のボタンの押下された場合、CPU110は、メモリ量設定部251で設定されるメモリ量をMNEEDに変更する。「このクリップのみ変更する」の表記のボタンが押下された場合、CPU110は、一時的にメモリ量をMNEEDに変更し、入力動画データが変更されたタイミング、もしくは、アプリケーションが再起動した際に元の値に戻す。「いいえ」の表記のボタンが押下された場合、CPU110は、メモリ量設定部251に設定されたメモリ量を変更しない。 When the button labeled “Change settings” is pressed, the CPU 110 changes the memory amount set by the memory amount setting unit 251 to M NEED . When the button labeled “Change only this clip” is pressed, the CPU 110 temporarily changes the memory amount to M NEED , and when the input moving image data is changed or when the application is restarted. Restore the original value. When the button labeled “No” is pressed, the CPU 110 does not change the memory amount set in the memory amount setting unit 251.

図13(b)は必要メモリ量MNEEDが設定可能な上限値を超える場合の表示例である。メモリ量設定部251で設定されているメモリ量、必要メモリ量MNEED、設定可能なメモリ量の上限値MMAXを表示し、ユーザが押下できるボタンを3つ表示する。ボタンに表記されるメッセージはたとえば次の通りである。
・「設定を変更する」
・「このクリップのみ変更する」
・「いいえ」
それぞれのボタンが押下された場合のアプリケーション200の動作は次の通りである。
FIG. 13B is a display example when the required memory amount M NEED exceeds the settable upper limit value. The memory amount set in the memory amount setting unit 251, the required memory amount M NEED , and the upper limit value M MAX of the settable memory amount are displayed, and three buttons that the user can press are displayed. The message written on the button is as follows, for example.
・"Change settings"
・"Change only this clip"
·"No"
The operation of the application 200 when each button is pressed is as follows.

「設定を変更する」の表記のボタンの押下された場合、CPU110は、メモリ量設定部251で設定されるメモリ量をMMAXに変更する。「このクリップのみ変更する」の表記のボタンが押下された場合、CPU110は、一時的にメモリ量をMMAXに変更し、入力動画データが変更されたタイミング、もしくは、アプリケーションが再起動した際に元の値に戻す。「いいえ」の表記のボタンが押下された場合、CPU110は、メモリ量設定部251に設定されたメモリ量を変更しない。 When the button labeled “Change settings” is pressed, the CPU 110 changes the memory amount set by the memory amount setting unit 251 to M MAX . When the button labeled “Change only this clip” is pressed, the CPU 110 temporarily changes the memory amount to M MAX , and when the input moving image data is changed or when the application is restarted. Restore the original value. When the button labeled “No” is pressed, the CPU 110 does not change the memory amount set in the memory amount setting unit 251.

図11のS1106における現像可能範囲決定処理は、図6と同様となるので説明を省略する。ただし、本実施形態では、S601において現像可能範囲を以下のように求める。 The process of determining the developable range in S1106 of FIG. 11 is similar to that of FIG. However, in this embodiment, the developable range is obtained in S601 as follows.

再生範囲の再生開始位置241及び終了位置242のどちらかが確定していない場合には、再生位置243の前のFMARGIN枚のフレームと、再生位置243以降のフレームに対して現像処理を行うとする。つまり、現像処理を行う範囲は、FNOW−FMARGIN〜FNOW+(FCAN−FMARGIN)で求められる。 If either the reproduction start position 241 or the end position 242 of the reproduction range is not determined, the development processing is performed on the F MARGIN frames before the reproduction position 243 and the frames after the reproduction position 243. To do. That is, the range in which the development processing is performed is obtained by F NOW- F MARGIN to F NOW +(F CAN- F MARGIN ).

再生範囲の再生開始位置241及び終了位置242の両方が確定している場合には、再生開始位置241の後のFMARGIN枚のフレームと、再生位置243以降のフレームに対して現像処理を行うものとする。つまり、現像処理を行う範囲は、FSTART〜FSTART+FMARGINと、FNOW〜FNOW+(FCAN−FMARGIN)で求められる。 When both the reproduction start position 241 and the end position 242 of the reproduction range are fixed, the development processing is performed on the F MARGIN frames after the reproduction start position 241 and the frames after the reproduction position 243. And That is, the range in which the development processing is performed is obtained by F START to F START +F MARGIN and F NOW to F NOW +(F CAN −F MARGIN ).

終点が再生範囲外となった分については第1の実施形態と同様にFSTART以降のフレームに割り当てる。 The portion of which the end point is out of the reproduction range is assigned to the frames after F START as in the first embodiment.

本第2の実施形態において、FMARGINは入力動画データの3秒分に含まれるフレーム数とする。ただし、FMARGINは、FCANの一定の比率となるように設定してもよいし、入力動画データを構成するフレーム数によって決定してもよい。また、マウスポインタの位置などに応じてFMARGINを変更する構成でもよい。例えば、再生範囲の再生開始位置241及び終了位置242の両方が確定している場合で、マウスポインタが再生開始ボタン上にあれば再生位置243以降のフレームをより多く(FMARGINを小さく)、再生開始位置へのジャンプボタン上にあれば再生開始位置241以降のフレームをより多く(FMARGINを大きく)する例が考えられる。 In the second embodiment, F MARGIN is the number of frames included in 3 seconds of the input moving image data. However, F MARGIN may be set to be a constant ratio of F CAN , or may be determined by the number of frames forming the input moving image data. Further, the configuration may be such that the F MARGIN is changed according to the position of the mouse pointer. For example, when both the reproduction start position 241 and the end position 242 of the reproduction range are fixed, and if the mouse pointer is on the reproduction start button, more frames after the reproduction position 243 (smaller F MARGIN ) are reproduced. An example is considered in which the number of frames after the reproduction start position 241 is increased (F MARGIN is increased) if it is on the jump button to the start position.

また、本第2の実施形態において、再生範囲の再生開始位置241及び終了位置242が確定しているか否かの判定方法は以下の通りである。入力動画データが選択された直後、再生開始位置241及び終了位置242の初期位置はそれぞれ入力動画データの先頭フレームと最終フレームに設定されるものとする。再生開始位置241と終了位置242の両方が、ユーザ操作によって初期位置以外のフレームに設定されてから一定時間経過後に、確定されたと判定する。もちろん他の判定方法を用いてもよい。 Further, in the second embodiment, the method of determining whether or not the reproduction start position 241 and the end position 242 of the reproduction range are fixed is as follows. Immediately after the input moving image data is selected, the initial positions of the reproduction start position 241 and the end position 242 are set to the first frame and the last frame of the input moving image data, respectively. It is determined that both the reproduction start position 241 and the end position 242 have been fixed after a certain time has elapsed since the frame was set to a frame other than the initial position by the user operation. Of course, other determination methods may be used.

ここで説明したように現像処理を行う範囲を決定することで、以下のような効果が期待される。まず再生開始位置241及び終了位置242が確定していない間は、ユーザがシークバー部240上の狭い範囲で再生位置243の移動と再生開始を繰り返しながら適切なフレームを探す操作を行うことが考えられる。このような操作が行われる場合には、再生位置243の前後に対して現像結果を生成しておくことによって、ユーザの操作後すぐにプレビュー表示を行うことができる。再生開始位置241及び終了位置242が確定した後は、ユーザは再生位置243から再生開始するか、再生開始位置241へジャンプしてから再生開始して入力動画データの確認を行うことが考えられるため、この二つの位置の直後に対して現像結果を生成することによって同様の効果が得られる。 By determining the range in which the development processing is performed as described here, the following effects are expected. First, while the reproduction start position 241 and the end position 242 are not fixed, it is conceivable that the user performs an operation of searching for an appropriate frame by repeatedly moving the reproduction position 243 and starting the reproduction within a narrow range on the seek bar section 240. .. When such an operation is performed, a preview result can be displayed immediately after the user's operation by generating a development result before and after the reproduction position 243. After the reproduction start position 241 and the end position 242 are determined, the user may start reproduction from the reproduction position 243 or jump to the reproduction start position 241 and then start reproduction to confirm the input moving image data. The same effect can be obtained by generating the development result immediately after the two positions.

次に、図14のフローチャートを参照して、図11におけるS1108の現像処理を説明する。現像処理では、現像可能範囲決定処理で求めた、画質設定部250で選択状態の画質パラメータに対する現像可能範囲のフレームを現像する。再生開始位置241及び終了位置242が確定している場合には、再生位置243の前後を交互に現像し、そうでない場合には再生位置243以降と再生開始位置241以降を交互に現像する。 Next, the developing process of S1108 in FIG. 11 will be described with reference to the flowchart of FIG. In the developing process, the frame within the developable range corresponding to the image quality parameter selected by the image quality setting unit 250, which is obtained in the developable range determination process, is developed. When the reproduction start position 241 and the end position 242 are fixed, the areas before and after the reproduction position 243 are alternately developed, and when not, the reproduction position 243 and after and the reproduction start position 241 and after are alternately developed.

S1400〜S1409はそれぞれ図7のS700〜S709と同様の処理であるためその説明は省略し、S1410以降について説明する。 Since S1400 to S1409 are the same as S700 to S709 of FIG. 7, respectively, the description thereof will be omitted, and S1410 and the subsequent steps will be described.

S1410にて、CPU110は、再生範囲(再生開始位置241及び終了位置242)が確定しているか否かを判定する。CPU110は、再生範囲が確定していないと判定した場合は処理をS1411へ、確定していると判定した場合は処理をS1419に進める。 In S1410, CPU 110 determines whether or not the reproduction range (reproduction start position 241 and end position 242) is fixed. If the CPU 110 determines that the reproduction range has not been determined, the process advances to step S1411; otherwise, the process advances to step S1419.

S1411でCPU110は、変数F’にFNOW−1を代入する。そして、S1412にて、CPU110は、変数F’とFNOW−FMARGINとを比較する。CPU110は、変数F’がFNOW−FMARGINより小さいと判定した場合、処理をS1427に進め、そうでない場合は処理をS1413に進める。 In S1411, the CPU 110 substitutes F NOW -1 for the variable F'. Then, in S1412, CPU 110 compares variable F′ with F NOW- F MARGIN . If the CPU 110 determines that the variable F'is smaller than F NOW- F MARGIN , the CPU 110 advances the process to S1427, and otherwise advances the process to S1413.

S1413にて、CPU110は、入力動画データのF’番目のフレームの現像結果である画像データがRAM130の現像結果保存領域に存在するか否かを判定する。CPU110は、F’番目のフレームの現像結果の画像データがRAM130の現像結果保存領域に存在すると判定した場合は、処理をS1418に進め、存在しないと判定した場合は処理をS1414に進める。 In S1413, CPU 110 determines whether the image data that is the development result of the F'th frame of the input moving image data exists in the development result storage area of RAM 130. If the CPU 110 determines that the image data of the development result of the F'th frame exists in the development result storage area of the RAM 130, the process proceeds to step S1418, and if it does not exist, the process proceeds to step S1414.

S1414にて、CPU110は、入力動画データのF’番目のフレームのデータを読み込む。そして、S1415にて、CPU110は、S1414にて読み込んだフレームのデータの現像処理を行い、F’番目の画像データを生成する。この現像処理はS1404と同じであるので、その説明は省略する。S1416にて、CPU110は、現像結果の画像データをRAM130の現像結果保存領域に格納する。S1417にて、CPU110は、入力動画データのF’番目のフレームの現像完了表示をONにする。この表示方法の詳細は後述する。S1418にて、CPU110は、変数F’から“1”を減算する。 In S1414, CPU 110 reads the data of the F'th frame of the input moving image data. Then, in step S1415, the CPU 110 develops the data of the frame read in step S1414 to generate F′-th image data. Since this developing process is the same as S1404, its description is omitted. In S1416, CPU 110 stores the image data of the development result in the development result storage area of RAM 130. In S1417, CPU 110 turns on the development completion display of the F'th frame of the input moving image data. Details of this display method will be described later. In S1418, CPU 110 subtracts "1" from variable F'.

S1419にて、CPU110は、変数F’にFSTARTを代入する。そして、S1420にて、CPU110は、変数F’とFSTART+FMARGINとを比較する。CPU110は、変数F’がFSTART+FMARGINよりも大きいと判定した場合は処理をS1427へ進め、そうでない場合には処理をS1421へ進める。 In S1419, CPU 110 substitutes F START for variable F′. Then, in S1420, CPU 110 compares variable F′ with F START +F MARGIN . If CPU 110 determines that variable F′ is larger than F START +F MARGIN , it advances the process to S1427, and otherwise advances the process to S1421.

S1421にて、CPU110は、入力動画データのF’番目のフレームの現像結果である画像データがRAM130の現像結果保存領域に存在するか否かを判定する。CPU110は、F’番目のフレームの画像データがRAM130の現像結果保存領域に存在すると判定した場合は処理をS1426に進め、そうでない場合には処理をS1422に進める。 In S1421, CPU 110 determines whether the image data that is the development result of the F'th frame of the input moving image data exists in the development result storage area of RAM 130. If the CPU 110 determines that the image data of the F'th frame exists in the development result storage area of the RAM 130, the process proceeds to step S1426, and if not, the process proceeds to step S1422.

S1422〜S1425のそれぞれは、S1414〜S1417と同様の処理であるため、その説明を省略する。 Since each of S1422 to S1425 is the same processing as S1414 to S1417, the description thereof will be omitted.

S1426でCPU110は、変数F’に“1”を加算する。 In S1426, the CPU 110 adds "1" to the variable F'.

S1427は図7のS710と同様の判定処理であるため、その説明は省略する。 Since S1427 is the same determination processing as S710 of FIG. 7, its description is omitted.

以上の結果、再生位置アイコン243の位置が変更された場合、その変更後の再生位置アイコン243が示す位置に最寄りの未現像のフレームに対する現像処理が行われていくことになり、現像結果保存領域への未再生のフレームの画像データの格納が継続する。したがって、ユーザが再生位置アイコン243の位置を変更した場合には、次第にその位置が現像済みのフレームとなる確率が高くなり、再生指示を受けた際にはスムーズな再生は期待できるようになる。 As a result, when the position of the reproduction position icon 243 is changed, the development process is performed on the undeveloped frame closest to the position indicated by the changed reproduction position icon 243, and the development result storage area The image data of the unreproduced frame continues to be stored in. Therefore, when the user changes the position of the reproduction position icon 243, the probability that the position becomes a developed frame gradually increases, and smooth reproduction can be expected when a reproduction instruction is received.

なお、本第2の実施形態では、二か所のフレームを一枚ずつ交互に現像するとしたが、現像する順番は他の方法で決定してもよい。例えば、マウスポインタが再生開始ボタン上にあれば再生位置243以降のフレームを複数枚ずつ、再生開始位置へのジャンプボタン上にあれば再生開始位置241以降のフレームを複数枚ずつ現像するといった例が考えられる。 In the second embodiment, two frames are alternately developed one by one, but the order of development may be determined by another method. For example, if the mouse pointer is on the reproduction start button, a plurality of frames after the reproduction position 243 are developed, and if the mouse pointer is on the jump button to the reproduction start position, a plurality of frames after the reproduction start position 241 are developed. Conceivable.

次に、図15のフローチャートを参照し、図11のS1110の再生処理を説明する。本第2の実施形態では、現像結果が存在しないフレームを再生しようとした場合には、複数のフレームに対してまとめて現像処理を行うことでプレビュー表示が一時停止させ、その後にその範囲のプレビュー表示をなめらかに行うことを繰り返す例を説明する。 Next, the reproduction process of S1110 of FIG. 11 will be described with reference to the flowchart of FIG. In the second embodiment, when a frame for which a development result does not exist is to be reproduced, the preview display is temporarily stopped by collectively performing development processing on a plurality of frames, and then the preview of that range is performed. An example of repeating the smooth display will be described.

S1500〜S1502のそれぞれは、図8のS800〜S802と同様の処理であるものとし、その説明を省略する。 Each of S1500 to S1502 is the same processing as S800 to S802 in FIG. 8, and the description thereof will be omitted.

S1503にて、CPU110は、RAM130に保存されている既存の現像結果のうち、F−FMARGINより前のフレームに対する現像結果を削除し、メモリを開放する。 In step S1503, the CPU 110 deletes the development result for the frame before the F-F MARGIN from the existing development results stored in the RAM 130 and releases the memory.

S1504にて、CPU110は、変数F’にFを代入する。 In S1504, CPU 110 substitutes F for variable F'.

S1505〜S1509のそれぞれは、図14のS1421〜S1424、S1426と同じであるため、その説明は省略する。 Since each of S1505 to S1509 is the same as S1421 to S1424 and S1426 in FIG. 14, the description thereof will be omitted.

S1510にて、CPU110は、変数F’とF+FMARGINとを比較する。そして、CPU110は、変数F’がF+FMARGINよりも大きいと判定した場合は処理をS11501へ進め、そうでないと判定した場合は処理をS1505へ進める。 In S1510, CPU 110 compares variable F′ with F+F MARGIN . Then, the CPU 110 advances the process to S11501 if it is determined that the variable F′ is larger than F+F MARGIN, and advances the process to S1505 if it is determined otherwise.

S1511〜S1513のそれぞれは、図8のS805〜S807と同じであるため、その説明を省略する。 Since each of S1511-S1513 is the same as S805-S807 of FIG. 8, the description thereof will be omitted.

図16は、図2のGUIにおいて、画質設定部250で選択状態にある画質パラメータのみについて、図6のS601の現像可能表示、図14のS1406、S1417、S1425の現像完了表示を行った場合の詳細な表示構成を説明するための図である。 FIG. 16 shows a case where the development possible display of S601 of FIG. 6 and the development completion display of S1406, S1417, and S1425 of FIG. 14 are performed only for the image quality parameters selected by the image quality setting unit 250 in the GUI of FIG. It is a figure for demonstrating a detailed display structure.

図16(a)は再生開始位置241及び終了位置242が確定していない場合の表示例である。シークバー部1600上では、現像可能範囲に該当する部分1601(FNOW〜FNOW+(FCAN−FMARGIN))と、部分1602(FNOW−FMARGIN〜FNOW)が薄い灰色で表示され、現像完了範囲に該当する部分1603と1604が濃い灰色で表示される。この後、部分1603は後方向、部分1604は前方向に伸びていき、部分1604が部分1602と一致した後は、部分1603のみ部分1601に一致するまで後ろ方向に伸びていくことになる。 FIG. 16A is a display example when the reproduction start position 241 and the end position 242 are not fixed. On the seek bar portion 1600, a portion 1601 (F NOW- F NOW +(F CAN- F MARGIN )) and a portion 1602 (F NOW- F MARGIN- F NOW ) corresponding to the developable range are displayed in light gray, Portions 1603 and 1604 corresponding to the development completion range are displayed in dark gray. After that, the portion 1603 extends backward, the portion 1604 extends forward, and after the portion 1604 coincides with the portion 1602, only the portion 1603 extends backward until it coincides with the portion 1601.

図16(b)は再生開始位置241及び終了位置242が確定している場合の表示例である。シークバー部1610上では、現像可能範囲に該当する部分1611(FNOW〜FNOW+(FCAN−FMARGIN))と、部分1612(FSTART〜FSTART+FMARGIN)が薄い灰色で表示され、現像完了範囲に該当する部分1613と1614が濃い灰色で表示される。この後、部分1613、1614は共に後方向に伸びていき、部分1614が部分1612と一致した後は、部分1613のみ部分1611に一致するまで後ろ方向に伸びていくことになる。 FIG. 16B shows a display example when the reproduction start position 241 and the end position 242 are fixed. On the seek bar portion 1610, a portion 1611 (F NOW to F NOW +(F CAN- F MARGIN )) and a portion 1612 (F START to F START +F MARGIN ) corresponding to the developable range are displayed in light gray, and the development is performed. The parts 1613 and 1614 corresponding to the completion range are displayed in dark gray. After this, the portions 1613 and 1614 both extend rearward, and after the portion 1614 coincides with the portion 1612, only the portion 1613 extends rearward until it coincides with the portion 1611.

以上のように本第2の実施形態によれば、必要なメモリ量をユーザに通知すると同時に設定を変更するかどうか問い合わせることで、ユーザは所望の再生範囲を高い再生品質で再生するためのメモリ量をすぐに設定することが可能となる。そのため、ユーザはメモリ量の変更と再生範囲の確認を繰り返し行う必要がなく、一度のメモリ量の変更で目的の再生を行うことが可能となる。また、ユーザの操作状態に応じて、ユーザが次に表示を求める可能性の高い範囲に対して現像処理を優先的に行うことで、ユーザの操作後すぐに表示を行うことが可能となる。 As described above, according to the second embodiment, by notifying the user of the required memory amount and inquiring whether to change the setting at the same time, the user can make a memory for reproducing a desired reproduction range with high reproduction quality. The amount can be set immediately. Therefore, the user does not need to repeatedly change the memory amount and confirm the reproduction range, and the target reproduction can be performed by changing the memory amount once. Further, according to the operation state of the user, the developing process is preferentially performed for the range in which the user is likely to request the next display, so that the display can be performed immediately after the user's operation.

[第3の実施形態]
上記の第1の実施形態では、現像完了範囲と現像可能範囲を、画質パラメータごとに算出し表示するPCの例を説明した。また、第2の実施形態では、指定された再生範囲が現像可能であるかを、使用可能なメモリ量に基づいて通知し、メモリ量を変更するかどうかユーザが選択できるPCの例を説明した。本第3の実施形態では、画質パラメータとメモリ量の両方を同時に変更可能なPCの例を説明する。また、第1の実施形態では、再生処理中は現像処理を行わないPCの例を説明した。本実施形態では、再生処理中でも現像処理を行うPCの例を説明する。また、本実施形態では、ユーザが再生範囲を指定するための操作中に必要メモリ量を表示するPCの例を説明する。
[Third Embodiment]
In the above-described first embodiment, an example of a PC that calculates and displays the development completion range and the developable range for each image quality parameter has been described. Further, in the second embodiment, an example of the PC in which whether the designated reproduction range can be developed is notified based on the available memory amount and the user can select whether or not to change the memory amount has been described. .. In the third embodiment, an example of a PC capable of simultaneously changing both the image quality parameter and the memory amount will be described. Further, in the first embodiment, the example of the PC in which the developing process is not performed during the reproducing process has been described. In this embodiment, an example of a PC that performs development processing even during reproduction processing will be described. In addition, in the present embodiment, an example of a PC that displays the required memory amount during the operation for the user to specify the reproduction range will be described.

本第3の実施形態におけるPCの構成を示すブロック図、アプリケーション200のGUI構成図、記録媒体150に格納されているRAW動画データの概念図は、それぞれ第1の実施形態の図1〜3と同様であるものとし、その説明を省略する。ただし本第3の実施形態では、再生開始位置241及び終了位置242の指定方法として、シークバー部240上をドラッグアンドドロップする操作を備えるものとする。操作中のGUIの表示例については後述する。 The block diagram showing the configuration of the PC in the third embodiment, the GUI configuration diagram of the application 200, and the conceptual diagram of the RAW moving image data stored in the recording medium 150 are the same as FIGS. 1 to 3 of the first embodiment, respectively. The same is assumed, and the description thereof will be omitted. However, in the third embodiment, as a method of specifying the reproduction start position 241 and the end position 242, an operation of dragging and dropping on the seek bar unit 240 is provided. A display example of the GUI during operation will be described later.

次に、本第3の実施形態に係る動画再生の動作について、図17〜19を参照して説明を行う。 Next, the operation of moving image reproduction according to the third embodiment will be described with reference to FIGS.

RAW動画再生を行う際のアプリケーション200の動作を示すフローチャートは、第2の実施形態の図11と同様であるものとし、その説明は省略する。ただし、図11のS1109における現像処理の中断は行わないものとする。PCの処理速度が十分速い場合には、S1110の再生処理中もS1108で開始した現像処理を継続することで、より多くのフレームの現像結果をプレビュー表示前に生成することができる。ただし、再生処理中に現像処理を行った際、現像結果保存領域に空きがない場合には、再生処理を開始した際に表示した現像結果から順に削除するとする。 The flowchart showing the operation of the application 200 when performing the RAW moving image reproduction is the same as that of FIG. 11 of the second embodiment, and the description thereof is omitted. However, the development process in S1109 of FIG. 11 is not interrupted. If the processing speed of the PC is sufficiently fast, the development processing started in S1108 can be continued even during the reproduction processing in S1110, so that the development results of more frames can be generated before the preview display. However, when the development processing is performed during the reproduction processing and there is no space in the development result storage area, the development results displayed when the reproduction processing is started are deleted in order.

次に、図17のフローチャートを参照して、図11のS1105における必要メモリ量通知処理について説明する。 Next, the required memory amount notification processing in S1105 of FIG. 11 will be described with reference to the flowchart of FIG.

S1700〜S1701のそれぞれは、図12のS1200〜S1201と同じ処理であるため、その説明は省略する。 Since each of S1700 to S1701 is the same process as S1200 to S1201 in FIG. 12, the description thereof will be omitted.

S1702にて、CPU110は、画質設定部250で設定可能なすべての画質パラメータについて、必要メモリ量MH、MH、MLを以下の式に従って算出する。各画質パラメータにおける現像結果の出力サイズをそれぞれNH、NM、NLバイトとする。
H=NH×FNEED
M=NM×FNEED
L=NL×FNEED
At S1702, CPU 110 for all quality parameters that can be set in the image quality setting section 250 calculates memory requirements M H, M H, a M L according to the following equation. The output size of the development result for each image quality parameter is N H , N M , and N L bytes, respectively.
M H =N H ×F NEED
M M =N M ×F NEED
M L =N L ×F NEED

S1703にて、CPU110は、必要メモリ量通知を表示し、ユーザの操作を受け付ける。この表示方法の詳細は後述する。 In S1703, CPU 110 displays the required memory amount notification and accepts the user's operation. Details of this display method will be described later.

S1704にて、CPU110は、S1703の表示に対し、ユーザが画質パラメータ、メモリ量を変更する操作を行ったか否かを判定する。CPU110は、ユーザがいずれかの操作を行ったと判定した場合は処理をS1705に進め、いずれの操作も行わなかったと判定した場合は、この必要メモリ量通知処理を終了する。 In S1704, the CPU 110 determines whether or not the user has performed an operation of changing the image quality parameter and the memory amount with respect to the display in S1703. If the CPU 110 determines that the user has performed any operation, the process proceeds to step S1705. If it is determined that the user has not performed any operation, the CPU 110 ends the required memory amount notification process.

S1705にて、CPU110は、画質パラメータ、メモリ量を、S1703でユーザによって指示された値に変更する。そして、S1706にて、CPU110は現像可能枚数の算出処理を行う。 In S1705, the CPU 110 changes the image quality parameter and the memory amount to the values instructed by the user in S1703. Then, in step S1706, the CPU 110 calculates the number of developable sheets.

図17のS1700、S1706における現像可能枚数の算出処理は、図5と同様となるので、その説明を省略する。ただし、本第3の実施形態では、現像可能枚数FCANは以下の式に従って算出する。
CAN=FLOOR(M/N)+FWILL
ここで、FWILLはFLOOR(M/N)枚のフレームを再生する間に現像処理を行うことができるフレームの数である。FWILLはCPU110やGPU120の性能から予測して算出するとする。なお、アプリケーション200が起動した後、最初に行った現像処理の実行速度に基づいて算出してもよい。
The process of calculating the number of developable sheets in S1700 and S1706 of FIG. 17 is the same as that of FIG. 5, and thus the description thereof is omitted. However, in the third embodiment, the developable sheet number FCAN is calculated according to the following formula.
F CAN =FLOOR(M/N)+F WILL
Here, F WILL is the number of frames that can be developed during the reproduction of FLOOR (M/N) frames. It is assumed that F WILL is predicted and calculated from the performance of the CPU 110 and the GPU 120. It should be noted that the calculation may be performed based on the execution speed of the developing process performed first after the application 200 is activated.

図18は、図17のS1703の必要メモリ量通知を行った場合の詳細な表示構成を説明するための図である。 FIG. 18 is a diagram for explaining a detailed display configuration when the required memory amount notification of S1703 of FIG. 17 is performed.

現在画質設定部250で選択状態の画質パラメータと、メモリ量設定部251で設定されているメモリ量と、設定可能なメモリ量の上限値が表示される。また、ドロップダウンリストのGUIで、各画質パラメータの必要メモリ量を表示し、ユーザはそのいずれかを選択可能とする。必要メモリ量が設定可能な上限値を超えている画質パラメータがある場合には、ドロップダウンリスト上でその行をグレーアウトする。また、図13と同様、3つのボタンを3つ表示する。それぞれのボタンに表記されるメッセージも図13と同じ「設定を変更する」、「このクリップのみ変更する」、「いいえ」である。ボタンが押下された場合のアプリケーション200の動作は次の通りである。
・「設定を変更する」の表記のボタンが押下された場合、CPU110は、画質パラメータとメモリ量をドロップダウンリストで選択したものに変更する。
・「このクリップのみ変更する」の表記のボタンが押下された場合、CPU110は、一時的に画質パラメータとメモリ量をドロップダウンリストで選択したものに変更し、入力動画データが変更されたタイミングで元の値に戻す。
・「いいえ」の表記のボタンが押下された場合、CPU110は、メモリ量を変更しない。
The image quality parameter currently selected in the image quality setting unit 250, the memory amount set in the memory amount setting unit 251, and the upper limit value of the settable memory amount are displayed. Also, the required memory amount of each image quality parameter is displayed on the GUI of the drop-down list, and the user can select one of them. If there is an image quality parameter whose required memory amount exceeds the upper limit value that can be set, that line is grayed out on the drop-down list. Further, as in FIG. 13, three three buttons are displayed. The message displayed on each button is also “change setting”, “change only this clip”, and “no” as in FIG. The operation of the application 200 when the button is pressed is as follows.
When the button labeled "Change settings" is pressed, the CPU 110 changes the image quality parameter and memory amount to those selected from the drop-down list.
When the button labeled "Change only this clip" is pressed, the CPU 110 temporarily changes the image quality parameter and the memory amount to those selected from the drop-down list, and at the timing when the input moving image data is changed. Restore the original value.
-When the button labeled "No" is pressed, the CPU 110 does not change the memory amount.

なお、必要メモリ量が設定可能な上限値を超えている画質パラメータは、ドロップダウンリスト上でグレーアウトせずに選択可能とし、ユーザがその画質パラメータを選択した場合には、メモリ量には設定可能な上限値を設定する旨を警告として表示する構成でもよい。 Image quality parameters for which the required memory amount exceeds the upper limit that can be set can be selected without being grayed out in the drop-down list. If the user selects the image quality parameter, the memory amount can be set. It may be configured to display as a warning that a different upper limit value is set.

図11のS1106における現像可能範囲決定処理、図11のS1108における現像処理、及び図11のS1110における再生処理は、それぞれ図6、図7、図8と同様となるので説明を省略する。 The process of determining the developable range in S1106 of FIG. 11, the process of developing in S1108 of FIG. 11, and the process of reproducing in S1110 of FIG. 11 are the same as those in FIG. 6, FIG. 7, and FIG.

図19を参照し、シークバー部240上をドラッグアンドドロップする操作によって、再生開始位置241及び終了位置242を指定する方法を説明する。 A method of designating the reproduction start position 241 and the end position 242 by an operation of dragging and dropping on the seek bar unit 240 will be described with reference to FIG.

ユーザがシークバー部1900上でマウスのドラッグ操作を行うと、ドラッグ開始位置を仮の再生開始位置1901として表示する。ドラッグ操作中には、マウスポインタの位置を仮に再生終了位置とした場合に必要となるメモリ量をリアルタイムで算出し、マウスポインタの上部の参照符号1902のように表示する。ドラッグ操作が完了すると、ドラッグ操作の開始位置と終了位置をそれぞれ再生開始位置241及び終了位置242として設定する。 When the user performs a drag operation of the mouse on the seek bar unit 1900, the drag start position is displayed as a temporary reproduction start position 1901. During the drag operation, the memory amount required when the position of the mouse pointer is assumed to be the reproduction end position is calculated in real time and displayed as the reference numeral 1902 above the mouse pointer. When the drag operation is completed, the start position and the end position of the drag operation are set as the reproduction start position 241 and the end position 242, respectively.

図19(a)は、ドラッグ操作中に算出された必要メモリ量が設定可能なメモリ量の上限値以下である場合の表示例である。 FIG. 19A is a display example when the required memory amount calculated during the drag operation is equal to or less than the upper limit value of the settable memory amount.

図19(b)は、ドラッグ操作中に算出された必要メモリ量が設定可能なメモリ量の上限値を超える場合の表示例である。このとき算出したメモリ量が上限値を超えていることをユーザに知らせるため、CPU110は、図示の参照符号1912に示すように、算出したメモリ量を示す部分の表示色を変化させる。 FIG. 19B is a display example when the required memory amount calculated during the drag operation exceeds the upper limit value of the settable memory amount. In order to notify the user that the calculated memory amount exceeds the upper limit value, the CPU 110 changes the display color of the portion indicating the calculated memory amount, as indicated by reference numeral 1912 in the drawing.

このように、本第3の実施形態によれば、すべての選択可能な画質パラメータについて必要なメモリ量をユーザに通知すると同時に設定を変更するかどうか問い合わせることで、ユーザは所望の再生範囲を高い再生品質で再生するための画質パラメータとメモリ量の組み合わせをすぐに設定することが可能となる。そのため、ユーザは画質パラメータとメモリ量の変更と再生範囲の確認を繰り返し行う必要がなく、一度の設定で目的の再生を行うことが可能となる。また、再生処理中に現像処理を並行して行うことで、より多くのフレームを再生直前に現像しておくことができる。また、ユーザが再生範囲を指定する操作を行っている間、必要メモリ量をリアルタイムで表示することによって、ユーザはメモリ量に注意しながら再生範囲の設定を行うことができる。 As described above, according to the third embodiment, the user is notified of the required memory amount for all the selectable image quality parameters, and at the same time, the user is inquired whether to change the setting. It is possible to immediately set the combination of the image quality parameter and the memory amount for reproducing with the reproduction quality. Therefore, the user does not need to repeatedly change the image quality parameter and the memory amount and confirm the reproduction range, and the target reproduction can be performed with one setting. Further, by performing the development processing in parallel during the reproduction processing, more frames can be developed immediately before the reproduction. Also, by displaying the required memory amount in real time while the user is performing the operation of designating the reproducing range, the user can set the reproducing range while paying attention to the memory amount.

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。 Although the present invention has been described in detail above based on its preferred embodiments, the present invention is not limited to these specific embodiments, and various embodiments within the scope not departing from the gist of the present invention are also included in the present invention. included. Part of the above-described embodiments may be combined as appropriate.

また、本発明の目的は、以下の処理を実行することによって達成される。 Further, the object of the present invention is achieved by executing the following processing.

まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記憶媒体)を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。 First, a storage medium (or storage medium) recording a program code of software that realizes the functions of the above-described embodiments is supplied to a system or an apparatus. Then, the computer (or CPU or MPU) of the system or apparatus reads and executes the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention.

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、ハードディスク、ROM、RAM、不揮発性の記憶媒体CD‐ROM、CD‐R、DVD、光ディスク、光磁気ディスク、MOなどが考えられる。また、LAN(ローカル・エリア・ネットワーク)やWAN(ワイド・エリア・ネットワーク)などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。 Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also the following functions can be achieved. That is, when the operating system (OS) running on the computer performs a part or all of the actual processing based on the instructions of the read program code, and the processing realizes the functions of the above-described embodiments. Is. Here, as a storage medium for storing the program code, for example, a hard disk, a ROM, a RAM, a non-volatile storage medium CD-ROM, a CD-R, a DVD, an optical disk, a magneto-optical disk, an MO, etc. can be considered. Also, a computer network such as a LAN (Local Area Network) or WAN (Wide Area Network) can be used to provide the program code.

(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. It can also be realized by the processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。 The invention is not limited to the above-described embodiments, and various changes and modifications can be made without departing from the spirit and scope of the invention. Therefore, the following claims are attached to open the scope of the invention.

110…CPU、120…GPU、130…RAM、140…ROM、150…記録媒体、160…操作部、170…表示部、180…システムバス 110... CPU, 120... GPU, 130... RAM, 140... ROM, 150... Recording medium, 160... Operation unit, 170... Display unit, 180... System bus

Claims (19)

動画像の再生処理を行う情報処理装置であって、
前記動画像の未現像の動画像データに対し現像処理を含む画像処理を施し、処理済みの動画像データを生成する画像処理手段と、
該画像処理手段で生成された処理済みの動画像データを一時的に記憶するためバッファメモリと、
前記動画像の時間軸の長さに対する再生位置を示すためのシークバーを表示部に表示するように制御する表示制御手段と、を有し、
前記表示制御手段は、
前記動画像のうち、当該動画像の未現像の動画像データに対し前記画像処理手段により画像処理を施す際に前記バッファメモリに格納可能な前記動画像の範囲を、処理可能範囲として前記シークバーと共に表示する、
ことを特徴とする情報処理装置。
An information processing device for performing a moving image reproduction process,
Image processing means for performing image processing including development processing on undeveloped moving image data of the moving image to generate processed moving image data,
A buffer memory for temporarily storing the processed moving image data generated by the image processing means,
A display control unit that controls the display unit to display a seek bar for indicating a reproduction position with respect to the length of the time axis of the moving image,
The display control means,
Of the moving image, the range of the moving image that can be stored in the buffer memory when the image processing means performs image processing on the undeveloped moving image data, together with the seek bar as a processable range. indicate,
An information processing device characterized by the above.
前記表示制御手段は、前記バッファメモリに記憶された処理済みの動画像データに基づいて再生した動画像を前記表示部に表示するように制御することを特徴とする請求項1に記載の情報処理装置。 2. The information processing according to claim 1, wherein the display control unit controls to display a moving image reproduced based on the processed moving image data stored in the buffer memory on the display unit. apparatus. 前記表示制御手段は、前記処理可能範囲を前記シークバー内に表示するように制御することを特徴とする請求項1に記載の情報処理装置。 The information processing apparatus according to claim 1, wherein the display control unit controls to display the processable range in the seek bar. 前記表示制御手段は、前記画像処理手段による画像処理により生成される処理済みの動画像データの出力サイズと、前記バッファメモリのメモリ量とに応じて、前記処理可能範囲を決定することを特徴とする請求項1に記載の情報処理装置。 The display control unit determines the processable range according to an output size of processed moving image data generated by image processing by the image processing unit and a memory amount of the buffer memory. The information processing device according to claim 1. 前記画像処理手段が行う画像処理における画質レベルを設定する画質設定手段を更に有すること特徴とする請求項1に記載の情報処理装置。 The information processing apparatus according to claim 1, further comprising image quality setting means for setting an image quality level in image processing performed by the image processing means. 前記画質設定手段により画質レベルの設定が変更されたことに応じて、前記画像処理手段は、前記変更後の画質レベルに応じた画像処理を開始し、前記表示制御手段は、前記変更後の画質レベルに対応する処理可能範囲を表示するように制御することを特徴とする請求項5に記載の情報処理装置。 In response to the change of the image quality level set by the image quality setting unit, the image processing unit starts image processing according to the changed image quality level, and the display control unit sets the changed image quality. The information processing apparatus according to claim 5, wherein the information processing apparatus controls to display a processable range corresponding to the level. 前記表示制御手段は、前記画質設定手段により設定された画質レベルと、前記バッファメモリのメモリ量とに応じて決定した処理可能範囲を表示するように制御することを特徴とする請求項5に記載の情報処理装置。 The display control means controls to display a processable range determined according to the image quality level set by the image quality setting means and the memory amount of the buffer memory. Information processing equipment. 前記表示制御手段は、前記画質設定手段により設定された画質レベルに対応する前記処理可能範囲を前記シークバーに表示すると共に、前記画質設定手段により設定可能な他の画質レベルに変更した際の処理可能範囲を示す情報を表示することを特徴とする請求項7に記載の情報処理装置。 The display control unit displays the processable range corresponding to the image quality level set by the image quality setting unit on the seek bar, and can perform processing when changing to another image quality level settable by the image quality setting unit. The information processing apparatus according to claim 7, wherein the information indicating the range is displayed. 前記表示制御手段は、前記画質設定手段により設定可能な複数の画質レベルについて、当該画質レベルとそれぞれに対応する処理可能範囲とを表示するように制御することを特徴とする請求項6に記載の情報処理装置。 7. The display control means controls the plurality of image quality levels settable by the image quality setting means so as to display the image quality levels and processable ranges corresponding to the image quality levels. Information processing device. 前記バッファメモリのメモリ量を設定するメモリ量設定手段を更に有し、
前記表示制御手段は、前記メモリ量設定手段により設定されたメモリ量に応じて決定した処理可能範囲を表示するように制御することを特徴とする請求項1に記載の情報処理装置。
Further comprising a memory amount setting means for setting the memory amount of the buffer memory,
The information processing apparatus according to claim 1, wherein the display control unit controls to display a processable range determined according to the memory amount set by the memory amount setting unit.
前記メモリ量設定手段によりメモリ量の設定が変更されたことに応じて、前記画像処理手段は、前記変更後のメモリ量に応じた画像処理を開始し、前記表示制御手段は、前記変更後のメモリ量に対応する処理可能範囲を表示するように制御することを特徴とする請求項10に記載の情報処理装置。 In response to the memory amount setting unit changing the memory amount setting, the image processing unit starts image processing according to the changed memory amount, and the display control unit sets the changed memory amount. The information processing apparatus according to claim 10, wherein the information processing apparatus controls to display a processable range corresponding to a memory amount. 前記動画像における再生位置を設定する再生位置設定手段を更に有し、
前記再生位置設定手段により再生位置の設定が変更されたことに応じて、前記画像処理手段は、前記変更後の再生位置に対応する未現像の動画像データから画像処理を開始し、前記表示制御手段は、前記変更後の再生位置を含む処理可能範囲を表示するように制御することを特徴とする請求項1に記載の情報処理装置。
Further comprising a reproduction position setting means for setting a reproduction position in the moving image,
In response to the change of the reproduction position setting by the reproduction position setting unit, the image processing unit starts image processing from undeveloped moving image data corresponding to the changed reproduction position, and performs the display control. The information processing apparatus according to claim 1, wherein the means controls to display a processable range including the changed reproduction position.
前記処理済みの動画像データの出力サイズと、前記バッファメモリのメモリ量とに基づいて、前記バッファメモリに格納できるフレーム数を算出し、算出されたフレーム数に基づいて処理可能範囲を決定する決定手段を更に有し、
前記表示制御手段は、前記決定手段により決定された処理可能範囲を前記シークバーと共に表示するように制御することを特徴とする請求項4に記載の従情報処理装置。
A determination that calculates the number of frames that can be stored in the buffer memory based on the output size of the processed moving image data and the memory amount of the buffer memory, and determines the processable range based on the calculated number of frames Further having means,
The slave information processing apparatus according to claim 4, wherein the display control unit controls the displayable range determined by the determination unit to be displayed together with the seek bar.
前記表示制御手段は、前記シークバーにおいて、前記処理可能範囲を識別可能となるように色を変えて表示するように制御することを特徴とする請求項3に記載の情報処理装置。 The information processing apparatus according to claim 3, wherein the display control unit controls the seek bar to display the processable range in different colors so that the processable range can be identified. 前記画像処理手段が画像処理する未現像の動画像データは、RAW動画像データであることを特徴とする請求項1に記載の情報処理装置。 The information processing apparatus according to claim 1, wherein the undeveloped moving image data subjected to image processing by the image processing unit is RAW moving image data. 前記動画像データにおける再生範囲を設定する再生範囲設定手段を更に有し、
前記画質設定手段は、ユーザに複数の画質レベルの中から画質レベルを設定させるための画質メニューを前記表示部に表示し、当該画質メニューを表示する際には、前記複数の画質レベルのうち、前記再生範囲設定手段で設定した再生範囲全体が処理可能範囲に含まれる画質レベルと、前記再生範囲設定手段で設定した再生範囲全体は処理可能範囲に含まれない画質レベルとを識別可能に表示する
ことを特徴とすると請求項5に記載の情報処理装置。
Further comprising a reproduction range setting means for setting a reproduction range in the moving image data,
The image quality setting means displays an image quality menu for allowing the user to set an image quality level from a plurality of image quality levels on the display unit, and when displaying the image quality menu, among the plurality of image quality levels, An image quality level in which the entire reproduction range set by the reproduction range setting means is included in the processable range and an image quality level in which the entire reproduction range set by the reproduction range setting means is not included in the processable range are displayed in a distinguishable manner. The information processing apparatus according to claim 5, characterized in that:
前記画質設定手段は、前記画質メニューを表示するとき、前記複数の画質レベルそれぞれについて、前記再生範囲設定手段で設定された再生範囲が処理可能範囲に含まれるようにするために要するメモリ量を併せて表示する
ことを特徴とする請求項16に記載の情報処理装置。
When the image quality menu is displayed, the image quality setting unit also includes, for each of the plurality of image quality levels, a memory amount required for the reproduction range set by the reproduction range setting unit to be included in the processable range. The information processing apparatus according to claim 16, wherein the information processing apparatus displays the information.
動画像の再生処理を行う情報処理装置の制御方法であって、
前記動画像の未現像の動画像データに対し現像処理を含む画像処理を施し、処理済みの動画像データを生成する画像処理工程と、
該画像処理工程で生成された処理済みの動画像データをバッファメモリに格納する一時的に格納する格納工程と、
前記動画像の時間軸の長さに対する再生位置を示すためのシークバーを表示部に表示するように制御する表示制御工程と、を有し、
前記表示制御工程は、
前記動画像のうち、当該動画像の未現像の動画像データに対し前記画像処理工程により画像処理を施す際に前記バッファメモリに格納可能な前記動画像の範囲を、処理可能範囲として前記シークバーと共に表示する、
ことを特徴とする情報処理装置の制御方法。
A method of controlling an information processing device for performing moving image reproduction processing, comprising:
An image processing step of performing image processing including development processing on undeveloped moving image data of the moving image to generate processed moving image data,
A storage step of temporarily storing the processed moving image data generated in the image processing step in a buffer memory;
A display control step of controlling to display a seek bar for displaying a reproduction position with respect to the length of the time axis of the moving image on a display unit,
The display control step,
Of the moving image, the range of the moving image that can be stored in the buffer memory when performing image processing on the undeveloped moving image data of the moving image together with the seek bar as a processable range. indicate,
A method for controlling an information processing device, comprising:
コンピュータを、請求項1乃至17のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。 A program for causing a computer to function as each unit of the information processing apparatus according to claim 1.
JP2019019070A 2019-02-05 2019-02-05 Information processing device and its control method and program Active JP7233234B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019019070A JP7233234B2 (en) 2019-02-05 2019-02-05 Information processing device and its control method and program
GB2000590.6A GB2582422B (en) 2019-02-05 2020-01-15 Video processing progress bar, indicating which parts have already been processed and which are yet to be processed
US16/778,663 US11210762B2 (en) 2019-02-05 2020-01-31 Information processing apparatus, control method thereof, and non-transitory computer-readable storage medium
DE102020102585.8A DE102020102585A1 (en) 2019-02-05 2020-02-03 Information processing device, control method therefor and program
CN202010080455.4A CN111526423B (en) 2019-02-05 2020-02-05 Information processing apparatus, information processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019019070A JP7233234B2 (en) 2019-02-05 2019-02-05 Information processing device and its control method and program

Publications (2)

Publication Number Publication Date
JP2020127148A true JP2020127148A (en) 2020-08-20
JP7233234B2 JP7233234B2 (en) 2023-03-06

Family

ID=72084284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019019070A Active JP7233234B2 (en) 2019-02-05 2019-02-05 Information processing device and its control method and program

Country Status (1)

Country Link
JP (1) JP7233234B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023038074A1 (en) * 2021-09-13 2023-03-16 株式会社島津製作所 System for assessing memory capacity during learning of cell image and method for assessing memory capacity during learning of cell image

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015195571A (en) * 2014-03-25 2015-11-05 キヤノン株式会社 Imaging apparatus and control method of the same
JP2017126856A (en) * 2016-01-13 2017-07-20 キヤノン株式会社 Information processing apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015195571A (en) * 2014-03-25 2015-11-05 キヤノン株式会社 Imaging apparatus and control method of the same
JP2017126856A (en) * 2016-01-13 2017-07-20 キヤノン株式会社 Information processing apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023038074A1 (en) * 2021-09-13 2023-03-16 株式会社島津製作所 System for assessing memory capacity during learning of cell image and method for assessing memory capacity during learning of cell image

Also Published As

Publication number Publication date
JP7233234B2 (en) 2023-03-06

Similar Documents

Publication Publication Date Title
US20160283097A1 (en) Gesture based interactive graphical user interface for video editing on smartphone/camera with touchscreen
JP6429588B2 (en) Image processing apparatus and image processing method
US7672977B2 (en) Image reproducing apparatus, method of controlling same and control program therefor
KR20140052697A (en) Terminal device for managing storage capacity and method thereof
CN111526423B (en) Information processing apparatus, information processing method, and storage medium
US20210289266A1 (en) Video playing method and apparatus
JP2015198391A (en) Imaging apparatus, control method of imaging apparatus, and program
JP4876058B2 (en) Color processing apparatus and method
JP7233234B2 (en) Information processing device and its control method and program
EP2811732B1 (en) Image processing apparatus, image processing method, computer-readable storage medium and program
JP7233235B2 (en) Information processing device and its control method and program
US11044436B2 (en) Information processing apparatus
JP2011151510A (en) Display controller, method, program, and recording medium
JP6639242B2 (en) Information processing device
JP2010049317A (en) Display device
CN110012212B (en) Image processing apparatus, control method of image processing apparatus, and storage medium
JP2007325002A (en) Image output device and image output method
JP2018032147A (en) Information processing apparatus, method for controlling the same, and program for controlling the same
JP5058622B2 (en) Image processing apparatus, image processing apparatus control method, and program
JP2008258916A (en) Image processor, control method for image processor and computer program
US20240314421A1 (en) Control device, control method, and program
KR101081629B1 (en) Method for processing image data in a communication terminal and apparatus thereof
JP2008244872A (en) Image display device and program
KR20220033755A (en) Terminal, method for contrlling thereof and recording medium on which a program for implemeting the method
JP2021158420A (en) Information processing device, and control method thereof

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20191126

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230221

R151 Written notification of patent or utility model registration

Ref document number: 7233234

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151