JP2006140564A

JP2006140564A - Mobile information terminal

Info

Publication number: JP2006140564A
Application number: JP2004326128A
Authority: JP
Inventors: Masayuki Hasegawa; 将之長谷川
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2004-11-10
Filing date: 2004-11-10
Publication date: 2006-06-01

Abstract

<P>PROBLEM TO BE SOLVED: To provide a mobile information terminal capable of easily carrying out edit operation of a moving picture. <P>SOLUTION: The mobile information terminal includes a user interface having functions of a plurality of simultaneous decoding (multi-decoding) and a plurality of simultaneous encoding, and simultaneous decoding and encoding using moving picture processing LSI 101, displaying a plurality of moving pictures on a display apparatus (display section) 102, whereby a user intuitionally and individually edits respective pictures at the same time. Thus, the mobile information terminal is provided, whereby the user can intuitionally and easily carry out real-time edit such as the frame composition of a still picture to the moving picture, the creation of a scene switched from the moving picture to the still picture by means of slide-in, and the composition of the still picture and the moving picture in a translucent state by means of the alpha blend. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、外部から取得した画像の編集機能を有する携帯情報端末装置に関する。 The present invention relates to a portable information terminal device having a function of editing an image acquired from the outside.

現在では、携帯情報端末装置にカメラなどが付属し、静止画や動画を扱えるようになっている。 At present, a camera or the like is attached to a portable information terminal device so that still images and moving images can be handled.

特に動画像においては、近年携帯端末でも安価でかつ高性能な動画像処理チップの実現により、動画撮影、テレビ電話、動画メール、外部サーバーからのストリーミング動画再生、外部メモリに保存された動画の再生など、携帯情報端末装置で動画を扱う機会が増えている。 In particular, for moving images, mobile terminals have recently realized low-cost and high-performance moving image processing chips, enabling video shooting, videophone calls, video mail, streaming video playback from external servers, and playback of videos stored in external memory. For example, there are increasing opportunities to handle moving images on portable information terminal devices.

今後は、通信速度の向上により、静止画だけでなく動画によるコミュニケーションがますます増えるであろう。 In the future, communication will increase not only for still images but also for moving images due to improvements in communication speed.

しかし、このように静止画、動画を扱う状況においても、携帯情報端末装置の利用者のほとんどは、記録した静止画・動画を装置内および外部メモリに映像に保存しておくだけであり、加工して整理して保存しておく例は極めて少ない。この理由として、編集操作の煩雑さが挙げられる。近年、静止画だけでなく動画に対しても携帯情報端末装置内部で編集する機能があるが、操作が扱いにくくあまり利用されていないのが実情である。したがって貴重な情報を効率よく保存し活用することが出来ていない。 However, even in the situation where still images and moving images are handled in this way, most users of portable information terminal devices simply store the recorded still images and moving images in the device and in external memory. There are very few examples of organizing and saving. The reason for this is the complexity of the editing operation. In recent years, there is a function for editing not only still images but also moving images inside the portable information terminal device, but the actual situation is that the operation is difficult to use and is not often used. Therefore, valuable information cannot be stored and utilized efficiently.

この問題を解決する動画像の編集方法として、例えば、特許文献１では、人物検出用ウインドウと人物検出結果ウインドウを常に表示させる。さらに、一方のウインドウでの処理を、他方のウインドウにほぼ同時に反映させる。そしてさらに、編集用ウインドウのＭ−アイコンにも反映させるようにした動画像編集方法が開示されている。これによれば、複数の画面やランダムアクセス手法により従来に比べて便利なノンリニア編集が可能になる。また、動画を時系列に一枚一枚静止画のサムネイル表示できるなど視覚操作的にも向上する。 As a moving image editing method for solving this problem, for example, in Patent Document 1, a person detection window and a person detection result window are always displayed. Furthermore, the process in one window is reflected almost simultaneously in the other window. Furthermore, there is disclosed a moving image editing method that is reflected on the M-icon of the editing window. According to this, non-linear editing that is more convenient than conventional methods can be performed by using a plurality of screens and a random access method. It also improves the visual operation, such as displaying thumbnails of still images one by one in time series.

また、携帯情報端末装置を使用した動画編集方法として、例えば、特許文献２では、携帯情報端末装置で撮影した動画を専用のサーバーにネットワーク経由で送り、サーバーで動画編集を行い、携帯情報端末装置が編集後の動画を受信する方法などが提案されている。
特開２０００−３１２３１０号公報特開２００２−３１４９３３号公報 In addition, as a moving image editing method using a portable information terminal device, for example, in Patent Document 2, a moving image shot by the portable information terminal device is sent to a dedicated server via a network, and the moving image editing is performed by the server. Has proposed a method of receiving the edited video.
JP 2000-312310 A JP 2002-314933 A

しかし、特許文献１に記載の技術による動画像の編集方法は、業務用や一部のユーザー向けであり、汎用性に乏しい。即ち、パーソナルコンピュータなどの消費電力を気にしない高性能なハードウェアエンジンや広いディスプレイや豊富なユーザーインターフェイスを搭載している機器が揃ってはじめて実現が可能になるものである。これでは、動画処理専用のＬＳＩを搭載した携帯情報端末装置でもディスプレイやキー操作などに限界のある携帯情報端末装置では本格的な動画編集操作が行えない。むしろ利用者にとって負担のない編集方法や利用者のつぼを押さえた直感的な編集方法の提案が求められる。 However, the method for editing a moving image by the technique described in Patent Document 1 is for business use or for some users, and lacks versatility. That is, it can be realized only when a high-performance hardware engine that does not care about power consumption such as a personal computer, a wide display, and devices equipped with abundant user interfaces are available. In this case, even a portable information terminal device equipped with an LSI dedicated to moving image processing cannot perform a full-fledged moving image editing operation in a portable information terminal device with limited display and key operations. Rather, it is necessary to propose an editing method that does not burden the user and an intuitive editing method that holds the user's pot.

また、特許文献２に記載の技術では、近年、通信速度が向上してコストも下がったとはいえ、ネットワークを経由して編集前の動画像を送るには無駄が多いだけでなく、編集後の動画の受信は電波状況によっては行えない場合があるなどの問題がある。 Further, in the technique described in Patent Document 2, although the communication speed has been improved and the cost has been reduced in recent years, not only is it wasteful to send a moving image before editing via a network, but also after editing. There is a problem that the video reception may not be possible depending on the radio wave condition.

本発明は、かかる点に鑑みてなされたものであり、搭載する動画処理ＬＳＩの性能を最大限に活用して画像（特に動画像）の編集操作が容易に行えるようにした携帯情報端末装置を提供することを目的とする。 The present invention has been made in view of the above points, and provides a portable information terminal device that can perform image (especially moving image) editing operations by making the best use of the performance of a moving image processing LSI to be mounted. The purpose is to provide.

かかる課題を解決するため、本発明に係る携帯情報端末装置は、複数同時デコード（マルチデコード）や複数同時エンコード、同時デコード・エンコードの機能を有し、表示画面に複数の画像を同時に表示できる画像表示部をそれぞれ設定し、それぞれの画像表示部での再生制御操作を個別に行う操作キーをそれぞれ割り当てて管理する画像処理手段を具備する構成を採る。 In order to solve such a problem, the portable information terminal device according to the present invention has a function of multiple simultaneous decoding (multi-decoding), multiple simultaneous encoding, and simultaneous decoding / encoding, and an image capable of simultaneously displaying a plurality of images on a display screen. A configuration is adopted in which each display unit is set, and image processing means is provided for managing by assigning operation keys for individually performing reproduction control operations on the respective image display units.

この構成によれば、搭載する画像処理手段の性能を最大限に活用して動画像の編集操作が容易に行えるようになる。 According to this configuration, the editing operation of the moving image can be easily performed by making the best use of the performance of the mounted image processing means.

本発明に係る携帯情報端末装置は、上記の発明において、前記画像処理手段は、同一動画を始点選択用と終点選択用とに分けて管理し、表示画面に前記始点選択用動画の画像表示部と前記終点選択用動画の画像表示部とをそれぞれ設定し、両表示部での同時並行的な再生制御操作を可能にする手段を具備する構成を採る。 In the portable information terminal device according to the present invention as set forth in the invention described above, the image processing means manages the same moving image separately for selecting a starting point and for selecting an ending point, and displays an image display unit for the moving image for starting point selection on a display screen. And an image display unit for the end-point selection moving image, respectively, and a configuration including means for enabling simultaneous playback control operations on both display units.

この構成によれば、直感的な編集操作が行えるようになる。 According to this configuration, an intuitive editing operation can be performed.

本発明に係る携帯情報端末装置は、上記の発明において、前記画像処理手段は、表示画面に、同一動画に対して編集を行う編集元画像の画像表示部と編集後の出力プレビューの画像表示部とをそれぞれ設定し、両表示部での同時並行的な再生制御操作を可能にする手段を具備する構成を採る。 In the portable information terminal device according to the present invention as set forth in the invention described above, the image processing means includes, on the display screen, an image display unit for an editing source image for editing the same moving image and an image display unit for an output preview after editing. And a means for enabling simultaneous playback control operations on both display units.

この構成によれば、編集に対する効果を容易に確認、比較できるようになる。 According to this configuration, the effect on editing can be easily confirmed and compared.

本発明に係る携帯情報端末装置は、上記の発明において、前記画像処理手段は、表示画面に、複数の映像に対して編集を行う元動画像の画像表示部とそれに合成する静止画像の画像表示部とをそれぞれ設定し、両表示部での同時並行的な再生制御操作を可能にする手段を具備する構成を採る。 In the portable information terminal device according to the present invention as set forth in the invention described above, the image processing means displays an image display unit of an original moving image for editing a plurality of videos and an image display of a still image combined therewith on a display screen. Each of the display units is set, and a configuration including means for enabling simultaneous playback control operations on both display units is adopted.

この構成によれば、リアルタイムの編集が可能になる。 According to this configuration, real-time editing is possible.

本発明に係る携帯情報端末装置は、上記の発明において、前記画像処理手段は、表示画面に、複数の映像に対して編集を行う元静止画像の画像表示部とそれに合成する動画像の画像表示部とをそれぞれ設定し、両表示部での同時並行的な再生制御操作を可能にする手段を具備する構成を採る。 In the portable information terminal device according to the present invention as set forth in the invention described above, the image processing means displays on the display screen an image display unit of an original still image for editing a plurality of videos and an image display of a moving image to be combined therewith. Each of the display units is set, and a configuration including means for enabling simultaneous playback control operations on both display units is adopted.

本発明に係る携帯情報端末装置は、上記の発明において、前記画像処理手段は、表示画面に、複数の動画に対して編集を行う動画をそれぞれ表示する画像表示部をそれぞれ設定し各表示部での同時並行的な再生制御操作を可能にする手段を具備する構成を採る。 In the portable information terminal device according to the present invention as set forth in the invention described above, the image processing means sets an image display unit for displaying moving images to be edited on a plurality of moving images on the display screen. A configuration including means for enabling simultaneous reproduction control operations is adopted.

本発明に係る携帯情報端末装置は、上記の発明において、前記画像処理手段は、表示画面に、１以上の動画を個別に表示する画像表示部と、カメラのプレビュー画像の表示部とをそれぞれ設定し、各表示部での同時並行的な再生制御操作を可能にする手段を具備する構成を採る。 In the portable information terminal device according to the present invention as set forth in the invention described above, the image processing unit sets an image display unit for individually displaying one or more moving images and a display unit for a preview image of the camera on the display screen, respectively. In addition, a configuration including means for enabling simultaneous playback control operations on the respective display units is adopted.

この構成によれば、好みに合わせた撮影ができるようになる。 According to this configuration, it is possible to perform photographing according to preference.

本発明に係る携帯情報端末装置は、上記の発明において、前記画像処理手段は、表示画面に、編集リスト一覧として個別に選択操作可能な編集効果アイテム群を表示し、割り当てた選択操作キーに応じて編集処理を行う手段を具備する構成を採る。 In the portable information terminal device according to the present invention as set forth in the invention described above, the image processing means displays an edit effect item group that can be individually selected and operated as an edit list on the display screen, and according to the assigned selection operation key. Thus, a configuration including means for performing an editing process is employed.

この構成によれば、複数の動画像に対して好みの効果とシナリオが選択できるので、自動的に編集動作が行えるようになる。 According to this configuration, since a desired effect and scenario can be selected for a plurality of moving images, an editing operation can be automatically performed.

本発明に係る携帯情報端末装置は、上記の発明において、前記画像処理手段は、再生制御操作時に行われた所定のキー操作に応答して動画編集を行う手段を具備する構成を採る。 In the portable information terminal device according to the present invention, in the above invention, the image processing means includes a means for editing a moving image in response to a predetermined key operation performed at the time of a reproduction control operation.

この構成によれば、複数の動画像を表示して再生しながら、キーの長押し操作やスクロール操作など所定のキー操作を行うことでリアルタイムに特殊効果をかけて編集し、記録することが可能になる。 According to this configuration, it is possible to edit and record a special effect in real time by performing a predetermined key operation such as a long key press operation or scroll operation while displaying and reproducing a plurality of moving images. become.

本発明に係る携帯情報端末装置は、上記の発明において、前記画像処理手段は、編集処理を行わず編集方法や編集位置・時間などの編集設定情報をテキストなどの形式で外部に出力する手段を具備する構成を採る。 In the portable information terminal device according to the present invention as set forth in the invention described above, the image processing means outputs means for outputting editing setting information such as an editing method and an editing position / time in the form of text or the like without performing an editing process. The structure to comprise is taken.

この構成によれば、その場では編集せずに編集状態をテキストなどの形式で外部メモリ装置に保存し、メール送信するなどで外部の専用機器に出力し、その外部の専用機器を用いた編集が行えるようになる。 According to this configuration, the editing state is saved in an external memory device in the form of text or the like without editing on the spot, and output to an external dedicated device by e-mail transmission, etc., and editing using the external dedicated device. Can be done.

本発明に係る携帯情報端末装置は、上記の発明において、前記画像処理手段は、当該携帯情報端末装置の使用時では編集状態を記憶手段に保持し、当該携帯情報端末装置の不使用時や電波の届かない場所に居るなどのアイドル時間帯において編集処理を実行する手段および電源低下時には編集状態を保持しておき他のタスクを優先させ、電源状態を有効に活用する手段、を具備する構成を採る。 In the portable information terminal device according to the present invention, in the above invention, the image processing unit holds an editing state in the storage unit when the portable information terminal device is used, and when the portable information terminal device is not used or radio waves. A configuration that includes means for executing editing processing in an idle time zone such as being out of reach of a person, and means for preserving the editing state when power is lowered and prioritizing other tasks to effectively use the power state. take.

この構成によれば、ＣＰＵや電源のリソースを有効に活用することができる。 According to this configuration, resources of the CPU and the power source can be effectively used.

本発明によれば、本発明は、搭載する動画処理ＬＳＩの性能を最大限に活用し、直感的な操作方法で編集操作が行えるようにすることで、画像（特に動画像）の編集操作を容易に行うことができる。 According to the present invention, the present invention makes it possible to edit an image (especially a moving image) by making the most of the performance of the mounted video processing LSI and enabling the editing operation by an intuitive operation method. It can be done easily.

本発明の骨子は、搭載する動画処理ＬＳＩの複数同時デコード（マルチデコード）や複数同時エンコード、同時デコード・エンコードの機能を最大限に活用して複数の動画像を表示画面に表示し、個別に処理可能とすることにより編集操作の容易化を図り、動画編集機能の利便性を向上させることである。 The essence of the present invention is to display a plurality of moving images on a display screen by utilizing the functions of multiple simultaneous decoding (multi-decoding), multiple simultaneous encoding, and simultaneous decoding / encoding of the moving image processing LSI to be installed, individually. By enabling the processing, the editing operation is facilitated and the convenience of the moving image editing function is improved.

以下、本発明の実施の形態について図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

（実施の形態１）
図１は、本発明の一実施の形態に係る携帯情報端末装置の構成を示すブロック図である。図１に示す携帯情報端末装置は、動画処理ＬＳＩ１０１、ディスプレイ１０２、カメラ１０３、ＣＰＵ１０４、メモリ１０５、入力ファイル（ＦＩＬＥ１）１０６、入力ファイル（ＦＩＬＥ２）１０７、出力ファイル（ＦＩＬＥ３）１０８を備えている。 (Embodiment 1)
FIG. 1 is a block diagram showing a configuration of a portable information terminal device according to an embodiment of the present invention. 1 includes a moving image processing LSI 101, a display 102, a camera 103, a CPU 104, a memory 105, an input file (FILE1) 106, an input file (FILE2) 107, and an output file (FILE3) 108.

動画処理ＬＳＩ１０１は、携帯情報端末装置での動画処理に特化したＬＳＩであって、複数同時デコード（マルチデコード）や複数同時エンコード、同時デコード・エンコードの機能を有し、複数の動画像を携帯端末の表示画面に表示し、次のような処理を行い、編集機能が容易に操作できるようになっている。 The moving image processing LSI 101 is an LSI specialized for moving image processing in a portable information terminal device, and has functions of multiple simultaneous decoding (multi-decoding), multiple simultaneous encoding, and simultaneous decoding / encoding, and carries a plurality of moving images. It is displayed on the display screen of the terminal and the following processing is performed so that the editing function can be easily operated.

即ち、動画処理ＬＳＩ１０１は、編集設定時に、ＣＰＵ１０４を介して編集対象となる入力ファイル１０６と入力ファイル１０７などから複数の異なる動画、もしくは同一動画の複製を取り込みデコードしてディスプレイ１０２に表示する。 That is, the moving image processing LSI 101 captures and decodes a plurality of different moving images or copies of the same moving image from the input file 106 and the input file 107 to be edited via the CPU 104 and displays them on the display 102 when editing is set.

動画処理ＬＳＩ１０１は、編集プレビューをＣＰＵ１０４及びメモリ１０５によって実現し、ディスプレイ１０２に描画する。編集効果のリストは、動画処理ＬＳＩ１０１がＣＰＵ１０４を介してメモリ１０５に格納する。 The moving image processing LSI 101 realizes an edit preview by the CPU 104 and the memory 105 and draws it on the display 102. The moving image processing LSI 101 stores the editing effect list in the memory 105 via the CPU 104.

そして、動画処理ＬＳＩ１０１は、編集プレビューに対する保存の際にリストに従って画像処理を行い、それをエンコードし、ＣＰＵ１０４を介して出力ファイル１０８に記録する。 The moving image processing LSI 101 performs image processing according to the list when saving the edit preview, encodes it, and records it in the output file 108 via the CPU 104.

また、カメラ１０３が動作している場合は、動画処理ＬＳＩ１０１は、カメラ１０３のプレビューを入力ファイル１０６にある既存のデコード動画と画像処理し、エンコードして出力ファイル１０８に記録する。また、ディスプレイは単数でも複数でも構わない。また、入力ファイルと出力ファイルの数に制限はない。また、カメラ１０３はなくても構わない。 When the camera 103 is operating, the moving image processing LSI 101 performs image processing of the preview of the camera 103 with the existing decoded moving image in the input file 106, encodes it, and records it in the output file 108. The display may be singular or plural. There is no limit to the number of input files and output files. Further, the camera 103 may not be provided.

図２は、複数の画像を携帯情報端末装置の表示画面に表示することにより編集操作の容易化を図る操作イメージを示す外観図である。図２に示すように、携帯情報端末装置のディスプレイに複数の画像表示部を設け、それぞれの表示部での画像（動画像、静止画像、カメラプレビュー画像）の再生（通常再生、早送り、一時停止、コマ送り、コマ戻しなど）操作をキーに割り当てて実現できるようになっている。 FIG. 2 is an external view showing an operation image for facilitating an editing operation by displaying a plurality of images on the display screen of the portable information terminal device. As shown in FIG. 2, a plurality of image display units are provided on the display of the portable information terminal device, and playback (normal playback, fast forward, pause) of images (moving images, still images, camera preview images) on each display unit , Frame advance, frame return, etc.) operations can be assigned to keys.

図２では、ディスプレイに、画像表示部２０１、２０２と、画像編集リスト一覧を表示する編集内容表示部２０３とが表示されている。そして、画像表示部２０１に対する操作キーには受話キー２０４が割り当てられ、画像表示部２０２に対する操作キーには電源キー２０５が割り当てられ、それぞれ独立に再生制御の操作ができる。また、編集内容表示部２０３に対する操作キーにはシフトキー２０６が割り当てられ、独立に編集リスト選択の操作ができる形態であることが示されている。 In FIG. 2, image display units 201 and 202 and an edit content display unit 203 for displaying a list of image edit lists are displayed on the display. A reception key 204 is assigned to the operation key for the image display unit 201, and a power key 205 is assigned to the operation key for the image display unit 202, and each can be independently operated for playback control. In addition, a shift key 206 is assigned to the operation key for the editing content display unit 203, which indicates that the editing list can be independently operated.

次に、図３と図４を参照して、同一動画に対する編集操作方法について説明する。なお図３は、従来の動画編集操作方法を説明する図である。図４は、本実施の形態による動画編集操作方法を説明する図である。 Next, an editing operation method for the same moving image will be described with reference to FIGS. FIG. 3 is a diagram for explaining a conventional moving image editing operation method. FIG. 4 is a diagram for explaining a moving image editing operation method according to the present embodiment.

図３において、従来では、ディスプレイに、始点と終点を兼ねる一つの画像表示部３０１と画像の編集機能を選択する編集効果メニュー３０２とを表示し、画像表示部３０１での再生制御に主に割り当てられたキー３０３を操作して画像表示部３０１に表示される動画像に対する再生動作を行って動画の内容を把握し、編集効果メニュー３０２から編集開始地点を決定する。そして、同じ画像表示部３０１に対してキー３０３を操作して再生動作を行い編集効果メニュー３０２から終点を決定するようにしていた。 In FIG. 3, conventionally, one image display unit 301 serving both as a start point and an end point and an edit effect menu 302 for selecting an image editing function are displayed on the display, and mainly assigned to playback control in the image display unit 301. The user operates the key 303 to perform a reproduction operation on the moving image displayed on the image display unit 301 to grasp the content of the moving image, and determine an editing start point from the editing effect menu 302. Then, the playback operation is performed by operating the key 303 on the same image display unit 301, and the end point is determined from the editing effect menu 302.

そのため、従来では、特に長時間のコンテンツの場合に内容把握が出来ずに不必要なシーンを編集してしまうことがあった。また、終点近くに良いシーンがあっても始点設定時間と離れすぎるために希望する編集後の動画像サイズ・時間がオーバーし始点再選択を余儀なくされることが起こり、編集開始点・終点の決定後に再び編集箇所を修正する際に、もう一度最初からコンテンツを再生して決定し直す必要が起こるなど、操作が煩雑であった。 For this reason, conventionally, in the case of long-time content in particular, there has been a case where an unnecessary scene is edited because the content cannot be grasped. In addition, even if there is a good scene near the end point, it is too far from the start point setting time, so the desired moving image size / time after editing may be over and it will be forced to reselect the start point, and the edit start point / end point will be determined Later, when the edited part was corrected again, the operation was complicated, for example, it was necessary to reproduce the content from the beginning again and decide again.

そこで、本実施の形態では、例えば図４に示すように、ディスプレイに、始点選択用画像を表示する画像表示部４０１と終点選択用画像を表示する画像表示部４０２とを設け、同一動画を双方に表示し、つまり、同一動画を複数表示し、また、編集効果アイテム群である動画編集リスト４０３をアイコンなどで視覚的に表示する。そして、操作キー４０４を画像表示部（始点選択用動画）４０１の再生制御を主に行うキーとして割り当て、操作キー４０５を動画編集リスト４０３の選択操作を行うキーとして割り当て、操作キー４０６を画像表示部（終点選択用動画）４０２の再生制御を主に行うキーとして割り当てるようにした。 Therefore, in the present embodiment, for example, as shown in FIG. 4, an image display unit 401 that displays a start point selection image and an image display unit 402 that displays an end point selection image are provided on the display. In other words, a plurality of the same moving images are displayed, and a moving image editing list 403 that is an editing effect item group is visually displayed with an icon or the like. Then, the operation key 404 is assigned as a key for mainly controlling reproduction of the image display unit (start point selection moving image) 401, the operation key 405 is assigned as a key for performing a selection operation of the moving image editing list 403, and the operation key 406 is displayed as an image. Part (moving image for selecting an end point) 402 is assigned as a key for mainly performing playback control.

これによれば、それぞれ個別のキー操作によって、再生動作（通常再生、一時停止、早送り、コマ送り、コマ戻しなど）を行って編集箇所を指定し、絵を見ただけで容易に編集内容が理解できる動画編集リスト４０３の編集アイテムアイコンを選択して編集を行うことができる。 According to this, playback operations (normal playback, pause, fast forward, frame advance, frame reverse, etc.) are performed by operating each individual key, the edit location is specified, and the edited content can be easily viewed by simply looking at the picture. Editing can be performed by selecting an edit item icon in the movie editing list 403 that can be understood.

これは、動画処理ＬＳＩ１０１の複数同時デコード機能を生かしたもので、表示画面上に同一動画像を複数表示し、それぞれをカットや特殊効果の挿入などの動画編集開始点と終点の選択用とし、双方同時に再生、片方のみ再生、一時停止などを行うことができるので、直感的に編集操作ができるようになる。 This utilizes the multiple simultaneous decoding function of the moving image processing LSI 101, displays a plurality of the same moving images on the display screen, each for selecting a moving image editing start point and end point such as cutting and inserting special effects, Since both can be played back simultaneously, only one of them can be played back, paused, etc., the editing operation can be performed intuitively.

このとき、複数画面で動画を管理できるので、終点選択用動画４０２を決定してから始点選択用動画４０１を決定することも容易になり利用性がはるかに向上する。また、図４に例示する２画面動画において始点選択用動画４０１と終点選択用動画４０２とを選択する場合も、どちらかの動画が始点用であるか、終点用であるかを特定せず、それぞれを再生してシーンを選択した結果、時間がはやい方を始点とし、遅い方を終点とすることで、両者に挟まれた中間動画を編集対象動画とすることができるなど、利便性を向上させることができる。 At this time, since the moving images can be managed on a plurality of screens, it is easy to determine the starting point selecting moving image 401 after determining the end point selecting moving image 402, thereby greatly improving the usability. Also, in the case of selecting the start point selection movie 401 and the end point selection movie 402 in the two-screen movie illustrated in FIG. 4, it is not specified which one of the videos is for the start point or the end point, As a result of selecting each scene by playing back each, it is possible to make the intermediate video sandwiched between the two by using the fastest time as the start point and the slowest as the end point. Can be made.

次に、図５は、複数の動画に対する編集操作の画面レイアウトを示す図である。図５では、ディスプレイに、編集元動画を表示する画像表示部５０１と編集後の出力対象動画プレビューを表示する画像表示部５０２とが表示され、編集効果アイテム群である動画編集リスト５０３がアイコンなどで視覚的に表示されている。 Next, FIG. 5 is a diagram showing a screen layout of editing operations for a plurality of moving images. In FIG. 5, an image display unit 501 that displays an editing source moving image and an image display unit 502 that displays an output target moving image preview after editing are displayed on the display, and a moving image editing list 503 that is an editing effect item group is an icon or the like. Is visually displayed.

そして、操作キー５０４が画像表示部（編集元動画）５０１の再生制御を主に行うキーとして割り当てられ、操作キー５０５が動画編集リスト５０３の選択操作を行うキーとして割り当て、操作キー５０６が画像表示部（編集後の出力対象動画プレビュー）５０２での再生制御を主に行うキーとして割り当てられている。 An operation key 504 is assigned as a key for mainly controlling reproduction of the image display unit (editing source moving image) 501, an operation key 505 is assigned as a key for performing a selection operation of the moving image editing list 503, and an operation key 506 is displayed as an image. Part (edited output target video preview) 502 is assigned as a key for mainly performing playback control.

これによれば、画像表示部（編集元動画）５０１に対してキー５０４で編集開始点などを選択し、キー５０５で編集アイテムを選択すると、プレビュー結果が画像表示部（編集後の出力対象動画プレビュー）５０２に表示されるので、キー５０６によって出力対象動がプレビューの編集操作を行うことができる。 According to this, when an edit start point or the like is selected with the key 504 and an edit item is selected with the key 505 for the image display unit (edit source video) 501, the preview result is displayed in the image display unit (edited output target video). Preview) 502 is displayed, so that the output target motion can be edited with the key 506.

換言すれば、編集前の元動画像と編集後のプレビュー動画像を同時に再生、片方ずつ再生などを行うことができるので、編集に対する効果を容易に確認、比較することが可能になる。 In other words, since the original moving image before editing and the preview moving image after editing can be reproduced simultaneously or one by one, the effects on the editing can be easily confirmed and compared.

次に、図６は、複数の画像（動画像、静止画像、カメラ画像）に対する編集操作の画面レイアウトを示す図である。図６では、ディスプレイに、映像１（動画像、静止画像、カメラ画像）を表示する画像表示部６０１と、映像２（動画像、静止画像、カメラ画像）を表示する画像表示部６０２と、出力画像プレビューの画像表示部６０３と、編集効果アイテム群６０４とが表示されている。 Next, FIG. 6 is a diagram showing a screen layout of an editing operation for a plurality of images (moving images, still images, camera images). In FIG. 6, an image display unit 601 that displays video 1 (moving image, still image, camera image), an image display unit 602 that displays video 2 (moving image, still image, camera image), and an output are displayed. An image display unit 603 for image preview and an editing effect item group 604 are displayed.

編集効果アイテム群６０４には、αブレンディング、スロー・早送り記録、スライドイン・アウト、フェードイン・アウト、アフレコ、テロップ、結合・切り出し、画面合成（クロマキー）、フレーム合成、３Ｄ特殊効果などが個別に選択操作可能に示されている。 The editing effect item group 604 includes α blending, slow / fast-forward recording, slide-in / out, fade-in / out, post-recording, telop, combination / cut-out, screen composition (chroma key), frame composition, 3D special effects, etc. The selection operation is indicated.

そして、操作キー６０５が画像表示部６０１での再生制御を主に行うキーとして割り当てられ、操作キー６０６が画像表示部６０２での再生制御を主に行うキーとして割り当てられ、操作キー６０７が出力画像プレビュー表示部６０３での再生制御を主に行うキーとして割り当てられ、操作キー６０８が編集効果アイテム群６０４での選択操作を行うキーとして割り当てられている。 An operation key 605 is assigned as a key for mainly performing reproduction control on the image display unit 601, an operation key 606 is assigned as a key for performing reproduction control mainly on the image display unit 602, and the operation key 607 is output image. An operation key 608 is assigned as a key for performing a selection operation in the editing effect item group 604, and is assigned as a key for mainly performing reproduction control in the preview display unit 603.

動画の例で言えば、画像表示部６０１での動画と画像表示部６０２での動画とを編集アイテム群６０４によって編集を行い、出力画像プレビュー表示部６０３に、出力画面レイアウト６０９や出力画面レイアウト６１０に示す編集済み動画として出力することができる。 In the example of the moving image, the moving image on the image display unit 601 and the moving image on the image display unit 602 are edited by the edit item group 604, and the output screen layout display 609 and the output screen layout 610 are displayed on the output image preview display unit 603. Can be output as an edited video.

なお、画像表示部６０１と画像表示部６０２での動画は別々の動画である必要はない。同一動画であるときは、時間差再生を行い、両者を画面合成すればよい。また、時間差再生せずに同時のタイミングの映像を特殊効果により合成してもよい。以上は動画の場合であるが、画像表示部６０１と画像表示部６０２の映像が、静止画やカメラのプレビュー画さらにはＴＶ電話などの対局映像などの場合でも同様の操作によって編集することができる。そして、以下に示す（１）〜（７）の処理も行うことができる。 Note that the moving images in the image display unit 601 and the image display unit 602 need not be separate moving images. If they are the same movie, time-sequential playback is performed and both are combined on the screen. Further, a video with the same timing may be synthesized by a special effect without performing time difference reproduction. The above is a case of a moving image, but even if the video on the image display unit 601 and the image display unit 602 is a still image, a camera preview image, or a video game such as a videophone, it can be edited by the same operation. . And the process of (1)-(7) shown below can also be performed.

（１）動画像や静止画像を同時に表示し、それぞれの画像を同時に操作することができるので、動画像に対し静止画をフレーム表示させたり、動画像から静止画にスライドで切り替わるシーンを作成したり、静止画と動画とをアルファブレンドで透かしながら結合したりするリアルタイムな編集が可能になる。 (1) Since moving images and still images can be displayed at the same time and each image can be operated at the same time, a still image can be displayed as a frame for a moving image, or a scene can be created that is switched from a moving image to a still image by a slide. Real-time editing is possible, such as combining still images and movies while watermarking with alpha blending.

（２）複数の動画像を同時に表示し、それぞれの動画像を同時に操作することができるので、動画像に対し動画像を小画面フレームで表示したり、動画像から次の動画にスライドインで切り替わるシーンを作成したり、動画と動画とをアルファブレンドで透かしながら結合したりするリアルタイムな編集が可能になる。 (2) Since a plurality of moving images can be displayed at the same time and each moving image can be operated at the same time, the moving image can be displayed in a small frame for the moving image or can be slid in from the moving image to the next video. Real-time editing is possible, such as creating scenes that switch, and combining video and video while watermarking with alpha blending.

（３）複数の動画像とカメラによるプレビューとを同時に表示し、それぞれを同時に操作することができるので、カメラ動画プレビューに対して、静止画のフレームを挿入したり、以前撮影した動画像を小画面表示させたり、以前撮影した動画に対してコメントを動画小画面で挿入したり、アルファブレンドで透過表示したりして、好みに合わせた撮影を行うことができるようになる。 (3) Since multiple moving images and camera previews can be displayed at the same time and each can be operated simultaneously, still image frames can be inserted into the camera movie preview, or previously captured moving images can be reduced. You can display on the screen, insert a comment on a previously captured video on the small video screen, or display it transparently with alpha blending, so that you can shoot to your liking.

（４）複数の動画像を表示して好みの効果とシナリオを選択することができるので、自動的に編集動作が行えるようになる。 (4) Since a plurality of moving images can be displayed and a desired effect and scenario can be selected, an editing operation can be automatically performed.

（５）複数の動画像を表示して再生しながらキーの長押し操作やスクロール操作など所定のキー操作を行うことで、リアルタイムに特殊効果をかけて編集し、記録することが可能になる。 (5) By performing a predetermined key operation such as a long key press operation or a scroll operation while displaying and reproducing a plurality of moving images, editing and recording can be performed with special effects in real time.

（６）その場では編集せずに編集方法や編集位置・時間などの編集設定情報をテキストなどの形式で外部メモリ装置に保存して置き、メール送信するなどで外部の専用機器に出力することで、その外部の専用機器で編集を行うことようにすることも可能になる。 (6) Edit setting information such as editing method, editing position and time is saved in an external memory device in the form of text, etc. without editing on the spot, and output to an external dedicated device by sending an e-mail, etc. Thus, it is possible to perform editing with the external dedicated device.

（７）当該携帯情報端末装置の使用時では、編集状態をメモリ１０５に保持し、当該携帯情報端末装置を利用していない待ち受け時や電波の届かない所に居るなどのアイドル時に自動的に編集作業をバッチ処理することで、ＣＰＵ１０４のリソースを有効に活用する措置も採ることができるようになる。また、電源低下時には編集状態を保持しておき他のタスクを優先させ、電源状態を有効に活用する措置も採ることができるようになる。 (7) When the portable information terminal device is used, the editing state is held in the memory 105, and editing is automatically performed when the portable information terminal device is idle, such as when not using the portable information terminal device or when the radio wave is not received. By batch processing the work, it is possible to take measures to effectively use the resources of the CPU 104. In addition, when the power is lowered, it is possible to take measures to retain the editing state, prioritize other tasks, and effectively use the power state.

本発明は、搭載する動画処理ＬＳＩの性能を最大限に活用して動画像の編集操作の利便性を向上させるのに有用である。 The present invention is useful for improving the convenience of a moving image editing operation by making the best use of the performance of a moving image processing LSI.

本発明の一実施の形態に係る携帯情報端末装置の構成を示すブロック図The block diagram which shows the structure of the portable information terminal device which concerns on one embodiment of this invention 複数の画像を携帯端末の画面に表示することにより編集操作の容易化を図る操作イメージを示す外観図External view showing an operation image that facilitates editing operations by displaying multiple images on the screen of the mobile terminal 従来の動画編集操作方法を説明する図Diagram explaining the conventional video editing operation method 本実施の形態による動画編集操作方法を説明する図The figure explaining the moving image editing operation method by this Embodiment 複数の動画に対する編集操作の画面レイアウトを示す図The figure which shows the screen layout of the edit operation with respect to plural animated picture 複数の画像（動画像、静止画像、カメラ画像）に対する編集操作の画面レイアウトを示す図The figure which shows the screen layout of editing operation with respect to a plurality of images (moving image, still image, camera image)

Explanation of symbols

１０１携帯情報端末装置の動画処理ＬＳＩ
１０２携帯情報端末装置のディスプレイ（表示部）
１０３携帯情報端末装置のカメラ
１０４携帯情報端末装置のＣＰＵ
１０５携帯情報端末装置のメモリ
１０６携帯情報端末装置の入力ファイル（ＦＩＬＥ１）
１０７携帯情報端末装置の入力ファイル（ＦＩＬＥ２）
１０８携帯情報端末装置の出力ファイル（ＦＩＬＥ３）
２０１動画像、静止画像、カメラプレビュー画像の画像表示部
２０２動画像、静止画像、カメラプレビュー画像の画像表示部
２０３画像編集リスト一覧を表示する編集内容表示部
２０４画像表示部２０１での再生制御に主に割り当てられるキー
２０５画像表示部２０２での再生制御に主に割り当てられるキー
２０６編集内容表示部での選択操作に用いられるキー
３０１始点と終点を兼ねる画像表示部
３０２編集効果メニュー
３０３画像表示部３０１での再生制御に主に割り当てられるキー
４０１始点選択用画像の画像表示部
４０２終点選択用画像の画像表示部
４０３動画編集リスト（編集効果アイテム群）
４０４始点選択用動画の再生制御に主に割り当てられるキー
４０５動画編集リストの選択に用いられるキー
４０６終点選択用動画の再生制御に主に割り当てられるキー
５０１編集元動画の画像表示部
５０２出力対象動画プレビューの画像表示部
５０３動画編集リスト
５０４編集元動画の再生制御に主に割り当てられるキー
５０５動画編集リストの選択に用いられるキー
５０６出力対象動画プレビューの再生制御に主に割り当てられるキー
６０１映像１（動画、静止画、カメラ画）の画像表示部
６０２映像２（動画、静止画、カメラ画）の画像表示部
６０３出力動画プレビューの画像表示部
６０４編集効果アイテム群
６０５映像１の再生制御に主に割り当てられるキー
６０６映像２の再生制御に主に割り当てられるキー
６０７出力動画プレビューの再生制御に主に割り当てられるキー
６０８編集効果アイテム選択に主に割り当てられるキー
６０９出力画面レイアウト（編集効果例１）
６１０出力画面レイアウト（編集効果例２） 101 Moving picture processing LSI for portable information terminal device
102 Display (display unit) of portable information terminal device
103 Camera of portable information terminal device 104 CPU of portable information terminal device
105 Memory of portable information terminal device 106 Input file of portable information terminal device (FILE1)
107 Input file (FILE2) of portable information terminal device
108 Output file of portable information terminal device (FILE3)
201 Image display unit for moving images, still images, and camera preview images 202 Image display unit for moving images, still images, and camera preview images 203 Edit content display unit for displaying a list of image edit lists 204 For playback control in the image display unit 201 Keys mainly assigned 205 Keys mainly assigned for reproduction control in the image display unit 202 206 Keys used for selection operation in the editing content display unit 301 Image display unit serving as both a start point and an end point 302 Editing effect menu 303 Image display unit Keys mainly assigned to reproduction control in 301 401 Image display portion of start point selection image 402 Image display portion of end point selection image 403 Movie editing list (editing effect item group)
404 Key assigned mainly to playback control of start point selection movie 405 Key used to select movie edit list 406 Key assigned mainly to playback control of end point selection movie 501 Image display unit of editing source movie 502 Output target movie Preview image display section 503 Movie editing list 504 Key mainly assigned to playback control of editing source movie 505 Key used to select movie editing list 506 Key mainly assigned to playback control of output target movie preview 601 Video 1 ( Image display unit 602 of video (still image, still image, camera image) 602 Image display unit of video 2 (video, still image, camera image) 603 Image display unit of output video preview 604 Editing effect item group 605 Mainly for playback control of video 1 Assigned key 606 Key assigned mainly to playback control of video 2 6 7 output moving the preview reproduction control mainly on assigned key 608 editing effect item selected primarily assigned key 609 outputs the screen layout (editing effects Example 1)
610 Output Screen Layout (Editing Effect Example 2)

Claims

Multiple image decoding (multi-decoding), multiple simultaneous encoding, and simultaneous decoding / encoding functions, each of which has an image display unit that can display multiple images simultaneously on the display screen, and playback control operations on each image display unit An image processing means for allocating and managing operation keys for performing the operations individually, and a portable information terminal device.

The image processing means manages the same movie separately for selecting a start point and for selecting an end point, and sets an image display unit for the start point selection movie and an image display unit for the end point selection movie on a display screen, respectively. The portable information terminal device according to claim 1, further comprising means for enabling simultaneous and simultaneous reproduction control operations on both display units.

The image processing means sets, on the display screen, an image display unit for an original image for editing the same moving image and an image display unit for an output preview after editing, respectively. The portable information terminal device according to claim 1, further comprising means for enabling a reproduction control operation.

The image processing unit sets, on the display screen, an original moving image image display unit for editing a plurality of videos and a still image image display unit to be combined with the original moving image display unit. The portable information terminal device according to claim 1, further comprising: a unit that enables various reproduction control operations.

The image processing unit sets, on the display screen, an original still image image display unit that edits a plurality of videos and a moving image image display unit to be combined with the original still image display unit. The portable information terminal device according to claim 1, further comprising: a unit that enables various reproduction control operations.

The image processing means is a means for setting an image display section for displaying moving images to be edited with respect to a plurality of moving images on the display screen, respectively, and enabling simultaneous reproduction control operations on the respective display portions; The portable information terminal device according to claim 1, comprising:

The image processing means sets an image display unit for individually displaying one or more moving images and a display unit for a camera preview image on the display screen, and performs simultaneous playback control operations on the display units. The portable information terminal device according to claim 1, further comprising means for enabling the portable information terminal device.

The image processing means includes means for displaying an edit effect item group that can be individually selected and operated as an edit list list on a display screen, and performing editing processing according to the assigned selection operation key. The mobile terminal device according to claim 1.

9. The portable information terminal device according to claim 8, wherein the image processing means includes means for editing a moving image in response to a predetermined key operation performed during a reproduction control operation.

10. The image processing means according to claim 1, further comprising means for outputting editing setting information such as an editing method and an editing position / time in the form of text or the like without performing an editing process. The portable information terminal device according to any one of the above.

The image processing means retains the editing state in the storage means when the mobile terminal device is used, and executes the editing process in an idle time zone such as when the mobile terminal device is not used or in a place where radio waves do not reach. 10. The mobile device according to claim 1, further comprising: means for holding the editing state when power is lowered, and prioritizing other tasks to effectively utilize the power state. Information terminal device.