JP2008053884A - Image processing method and apparatus and electronic device utilizing them - Google Patents
Image processing method and apparatus and electronic device utilizing them Download PDFInfo
- Publication number
- JP2008053884A JP2008053884A JP2006226123A JP2006226123A JP2008053884A JP 2008053884 A JP2008053884 A JP 2008053884A JP 2006226123 A JP2006226123 A JP 2006226123A JP 2006226123 A JP2006226123 A JP 2006226123A JP 2008053884 A JP2008053884 A JP 2008053884A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dummy area
- area
- dummy
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Editing Of Facsimile Originals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
Abstract
Description
この発明は、さまざまなサイズ、フォーマットの画像から、表示を目的とする画像、特に、簡易閲覧用の画像を生成する技術に関する。 The present invention relates to a technique for generating an image intended for display, particularly an image for simple browsing, from images of various sizes and formats.
近年のパーソナルコンピュータや、ハードディスクビデオレコーダ、DVD(Digital Versatile Disc)レコーダ、あるいはゲーム機器などに代表される電子機器は、ハードディスク装置やDVD装置などの記録装置を備え、これらの記録装置には、ユーザによって作成され、あるいは録画されたさまざまな静止画、動画(本明細書において、静止画、動画を含めて単に画像ともいう)データが記録される。 2. Description of the Related Art Electronic devices such as personal computers, hard disk video recorders, DVD (Digital Versatile Disc) recorders, and game machines in recent years include recording devices such as hard disk devices and DVD devices. Various still images and moving images (also referred to simply as images including still images and moving images in the present specification) created or recorded by the above are recorded.
記録装置に記録された画像の数が増加すると、ユーザは、ファイル名からそのファイルの内容を想起できなくなり、所望の画像にアクセスするのが困難になる。そこで、記録された画像ごとに、サムネイルと呼ばれる、元の画像を縮小したデータを用意する手法が知られている。各電子機器のユーザインタフェースは、各画像のアイコンを表示する代わりに、サムネイルを表示することにより、ユーザは、その画像の内容を視覚的に把握することができ、所望のファイルに、より簡易にアクセスすることが可能となる。 When the number of images recorded in the recording device increases, the user cannot recall the contents of the file from the file name, and it becomes difficult to access a desired image. Therefore, a technique is known in which for each recorded image, data obtained by reducing the original image, called a thumbnail, is known. The user interface of each electronic device displays a thumbnail instead of displaying an icon for each image, so that the user can visually grasp the contents of the image, and can easily create a desired file. It becomes possible to access.
ところが、近年のマルチメディア化に伴い、記録装置に記録される画像のサイズや種類は多様化の一途にある。たとえば、テレビ放送を録画したデータであっても、HD(High Definition)画質と従来のSD(Standard Definition)画質では、画像のサイズが異なり、またユーザが作成した動画であれば、その画像のサイズは、自由に設定される。 However, with the recent trend toward multimedia, the size and type of images recorded on a recording device are diversifying. For example, even in the case of data recorded on a television broadcast, the image size differs between HD (High Definition) image quality and conventional SD (Standard Definition) image quality. Is set freely.
本発明はこうした課題に鑑みてなされたものであり、その目的のひとつは、異なるサイズの画像から効率よく、表示、特に画像の内容を容易かつ迅速に把握するために、高速に表示可能な簡易表示のための画像を生成する技術の提供にある。 The present invention has been made in view of these problems, and one of its purposes is to easily display images, particularly from images of different sizes, in order to easily and quickly grasp the contents of the images, and capable of being displayed at high speed. It is to provide a technique for generating an image for display.
本発明のある態様の画像処理方法によれば、符号化の対象となる画像を符号化し、表示過程に送出する技術が提供される。この画像処理方法では、第1のステップとして、符号化の対象となる画像のサイズを調整するために、必要に応じて画像にダミー領域を付加し、ダミー領域が付加された状態の画像を符号化する。この際に、付加したダミー領域の位置情報を記録する。第2のステップとして、符号化された画像を復号し、記録されたダミー領域の位置情報にもとづき、復号された画像からダミー領域を除いた領域を表示する。 According to an image processing method of an aspect of the present invention, a technique for encoding an image to be encoded and sending it to a display process is provided. In this image processing method, as a first step, in order to adjust the size of the image to be encoded, a dummy area is added to the image as necessary, and the image with the dummy area added is encoded. Turn into. At this time, the position information of the added dummy area is recorded. As a second step, the encoded image is decoded, and an area excluding the dummy area from the decoded image is displayed based on the recorded position information of the dummy area.
「ダミー領域の位置情報」とは、元の画像と、付加したダミー領域を区別しうる情報を意味する。すなわち、ダミー領域の位置情報は、たとえば、元の画像の頂点の座標、あるいは縦横の幅、あるいはこれらの組み合わせであってもよいし、ダミー領域の各頂点の座標、縦横の幅、あるいはこれらの組み合わせであってもよい。「画像」とは、静止画、動画の双方を含む。また、「領域を表示する」とは、最終的にディスプレイ上に、その領域が表示されるように信号処理を行うことを意味し、実際にディスプレイ上に映像として表示することまで必要とするものではない。 “Dummy area position information” means information that can distinguish the original image from the added dummy area. That is, the position information of the dummy area may be, for example, the coordinates of the vertices of the original image, the vertical and horizontal widths, or a combination thereof, the coordinates of the vertices of the dummy area, the vertical and horizontal widths, or these It may be a combination. “Image” includes both still images and moving images. In addition, “display area” means that signal processing is performed so that the area is finally displayed on the display, and it is necessary to actually display the image on the display. is not.
本発明によれば、異なるサイズの画像について、効率よく表示用の画像を生成することができる。 According to the present invention, an image for display can be efficiently generated for images of different sizes.
はじめに、本発明の実施の形態に係る画像処理方法の概要について説明する。本実施の形態に係る画像処理方法は、動画再生機能を備えるパーソナルコンピュータ、HDDレコーダ、DVDレコーダ、ゲーム機器などの映像データを出力する電子機器に搭載されるものである。前提として、これらの電子機器には、複数の画像がさまざまなサイズ、フォーマットにて記録されている。 First, the outline of the image processing method according to the embodiment of the present invention will be described. The image processing method according to the present embodiment is mounted on an electronic device that outputs video data, such as a personal computer having an animation playback function, an HDD recorder, a DVD recorder, or a game device. As a premise, in these electronic devices, a plurality of images are recorded in various sizes and formats.
電子機器は、GUI(Graphic User Interface)を介して、ユーザに対して、内部に記録された動画ファイルを表示する。この際に、ユーザがその動画ファイルの内容を一見して把握することができるように、表示を目的とした簡易閲覧用の動画(以下、サムネイル動画ともいう)を生成する。サムネイル動画のサイズは、容量を抑えるために、元の動画を縮小したものであることが好ましく、また、その動画の内容の一部を抽出したものであることが好ましい。電子機器は、GUI上にサムネイル動画を配置し、再生する。
以下のさまざまな態様の技術は、このような簡易閲覧用の動画の生成、あるいはその再生・表示の際に好適に利用される。動画ではなく、静止画であっても、同様である。
The electronic device displays a moving image file recorded therein to the user via a GUI (Graphical User Interface). At this time, a simple browsing moving image (hereinafter also referred to as a thumbnail moving image) for display is generated so that the user can grasp the contents of the moving image file at a glance. The size of the thumbnail moving image is preferably a reduced size of the original moving image in order to reduce the capacity, and is preferably an extracted part of the content of the moving image. The electronic device arranges and plays a thumbnail video on the GUI.
The techniques of the following various aspects are suitably used when generating such a simple browsing moving image, or when reproducing and displaying it. The same applies to still images, not moving images.
本発明のある態様の画像処理方法は、符号化の対象となる画像のサイズを調整するために、必要に応じて画像にダミー領域を付加してそのダミー領域の位置情報を記録するとともに、ダミー領域が付加された状態の画像を符号化する第1ステップと、符号化された画像を復号し、記録されたダミー領域の位置情報にもとづき、復号された画像からダミー領域を除いた領域を表示する第2ステップと、を備える。 According to an image processing method of an aspect of the present invention, in order to adjust the size of an image to be encoded, a dummy area is added to an image as necessary and positional information of the dummy area is recorded. A first step of encoding the image with the region added, and decoding the encoded image, and displaying the region excluding the dummy region from the decoded image based on the recorded dummy region position information And a second step.
この態様によると、符号化処理の対象となる画像のサイズが統一され、符号化に際して、画素数や画角、アスペクト比のチェック処理が不要となり、毎回、同じ処理を行えば足りるため、符号化処理を簡素化、効率化することができる。さらに、ダミー領域に関する情報を記録することにより、画像をGUI上に表示する際に、ダミー領域を削除することができ、画像の隅に、ダミー領域に対応する帯状の領域が発生するのを抑制し、見栄えを改善することができる。 According to this aspect, the size of the image to be encoded is standardized, and it is not necessary to check the number of pixels, the angle of view, and the aspect ratio at the time of encoding. Processing can be simplified and efficient. Furthermore, by recording information about the dummy area, the dummy area can be deleted when the image is displayed on the GUI, and the occurrence of a band-like area corresponding to the dummy area at the corner of the image is suppressed. And improve the appearance.
ある態様において、第1ステップは、画像サイズが異なる複数の画像を処理する際、ダミー領域が付加された状態において、それらの画像のサイズが基準画像サイズに合致するよう、それぞれの画像に対してダミー領域を付加してもよい。
この態様によると、符号化の対象となる画像のサイズが基準画像サイズとなるため、符号化に必要な処理、プログラムコード、装置を簡易化することができる。
In one aspect, when processing a plurality of images having different image sizes, the first step is performed for each image so that the size of the images matches the reference image size in a state where dummy regions are added. A dummy area may be added.
According to this aspect, since the size of the image to be encoded becomes the reference image size, it is possible to simplify the processing, program code, and apparatus necessary for encoding.
ある態様において、第1ステップは、符号化の対象となる画像を、基準画像サイズに収まるようにリサイズするステップを含む。第1ステップは、リサイズされた画像と、基準画像サイズとの差分領域に、ダミー領域を付加し、ダミー領域が付加された画像を符号化してもよい。
この場合、サイズが全く異なる画像が入力された場合であっても、符号化の対象となる画像のサイズを統一することができる。
In one aspect, the first step includes a step of resizing an image to be encoded so as to fit within a reference image size. In the first step, a dummy area may be added to the difference area between the resized image and the reference image size, and the image with the dummy area added may be encoded.
In this case, it is possible to unify the sizes of images to be encoded even when images having completely different sizes are input.
ある態様において、第2ステップは、復号された画像からダミー領域を除いた領域を表示する際に、その基準位置を、所定の表示枠の基準位置に一致させてもよい。「基準位置」とは、たとえば、画像の中心(重心)であってもよいし、ダミー領域を含む画像、あるいはダミー領域を除いた画像のいずれかの頂点であってもよい。
この場合、表示スクリーン上に表示される画像の位置を統一することができるため、見栄えを改善することができる。
この場合において、第2ステップは、複数の表示枠を表示スクリーンにおいて直線上ないしマトリクス状に整列して配置してもよい。
In a certain aspect, when displaying the area | region remove | excluding the dummy area | region from the decoded image, a 2nd step may make the reference position correspond with the reference position of a predetermined | prescribed display frame. The “reference position” may be, for example, the center (center of gravity) of the image, or an apex of an image including a dummy area or an image excluding the dummy area.
In this case, since the position of the image displayed on the display screen can be unified, the appearance can be improved.
In this case, in the second step, a plurality of display frames may be arranged on a display screen in a straight line or in a matrix.
また、画像は動画データであって、第2ステップは、ダミー領域が削除された動画を、所定の表示枠内で再生してもよい。 The image may be moving image data, and the second step may reproduce the moving image from which the dummy area has been deleted within a predetermined display frame.
ある態様において、第2ステップは、復号された画像からダミー領域を除いた領域に比例したサイズのポリゴンを生成するステップと、生成したポリゴンに、復号された画像からダミー領域を除いた領域をテクスチャとしてマッピングするステップと、を含んでもよい。
この場合、ダミー領域が除去された画像を、ポリゴンに対応する表示枠内に表示することができる。さらにポリゴンに対して、移動、変形処理を施すことにより、ダミー領域が削除された画像を、移動、変形することが可能となる。
In one aspect, the second step includes a step of generating a polygon having a size proportional to an area obtained by removing the dummy area from the decoded image, and a texture obtained by adding the texture obtained by removing the dummy area from the decoded image to the generated polygon. Mapping as follows.
In this case, the image from which the dummy area is removed can be displayed in the display frame corresponding to the polygon. Furthermore, by moving and deforming the polygon, it is possible to move and deform the image from which the dummy area has been deleted.
ある態様において、第2ステップは、所定のサイズのポリゴンを生成するステップと、復号された画像のうち、ダミー領域内の画素のα値を透明の値(=0)に設定するステップと、α値が設定された復号された画像全体を、ポリゴンにテクスチャとしてマッピングするステップと、を含む。
この場合、ダミー領域の部分は、背景が透けて表示されるため、実質的に、ダミー領域を除いた領域のみを、ディスプレイ上に表示することができる。
In one aspect, the second step includes a step of generating a polygon of a predetermined size, a step of setting the α value of the pixel in the dummy area in the decoded image to a transparent value (= 0), and α Mapping the entire decoded image with the value set to a polygon as a texture.
In this case, since the portion of the dummy area is displayed through the background, substantially only the area excluding the dummy area can be displayed on the display.
また、第2ステップは、ダミー領域が削除されたデータの外周をトリミングして表示し、そのトリミング率は、符号化した元の画像を表示する際のトリミング率に対応するものであってもよい。
ブラウン管テレビなどに画像を表示する際に、その画像の外縁の数%は表示されない場合があるため、確実に表示される領域を安全フレーム(Safety Frame)として用意し、画像を安全フレームの内側となるようにトリミングして表示する場合がある。この場合に、第2ステップにおいても、同じトリミング率で画像を表示することにより、実際に再生される画像と同じ画角の画像を、サムネイルとして表示することができる。
In the second step, the outer periphery of the data from which the dummy area has been deleted may be trimmed and displayed, and the trimming rate may correspond to the trimming rate when displaying the encoded original image. .
When displaying an image on a cathode ray tube television or the like, a few percent of the outer edge of the image may not be displayed. Therefore, an area to be surely displayed is prepared as a safety frame, and the image is placed inside the safety frame. In some cases, the image may be trimmed and displayed. In this case, also in the second step, by displaying the image at the same trimming rate, an image having the same angle of view as the image that is actually reproduced can be displayed as a thumbnail.
本発明のさらに別の態様において、第2ステップは、表示スクリーンの所定の領域全体に、所定の地画像を描画するとともに、ダミー領域が削除された画像を所定の地画像に上書きしてもよい。
この態様によると、画像の周囲に、削除されたダミー領域に対応する不要な帯が現れることなく、所定の地画像が背景として表示されることになるため、見栄えをよくすることができる。
In yet another aspect of the present invention, the second step may draw the predetermined ground image over the entire predetermined area of the display screen and overwrite the predetermined ground image with the image from which the dummy area has been deleted. .
According to this aspect, since the predetermined ground image is displayed as the background without an unnecessary band corresponding to the deleted dummy area appearing around the image, the appearance can be improved.
本発明のさらに別の態様もまた、画像処理方法である。この方法は、符号化された画像を復号するステップと、復号した画像にダミー領域が付加されている場合、そのダミー領域の位置情報を取得するステップと、取得したダミー領域の位置情報をもとに、復号した画像からダミー領域を除いた領域を表示するステップと、を備える。
この態様によると、表示ディスプレイ上に、ダミー領域が可視的に表示されるのを防止することができる。
Yet another embodiment of the present invention is also an image processing method. This method includes a step of decoding an encoded image, a step of acquiring position information of the dummy region when a dummy region is added to the decoded image, and a position of the acquired dummy region. And displaying a region excluding the dummy region from the decoded image.
According to this aspect, it is possible to prevent the dummy area from being visually displayed on the display.
本発明のさらに別の態様もまた、画像処理方法である。この方法は、符号化の対象となる画像のサイズを取得するステップと、取得した画像のサイズと、基準画像サイズとの差分を算出するステップと、符号化の対象となる画像に、差分に相当するダミー領域を付加するステップと、ダミー領域を付加した画像を符号化するとともに、ダミー領域の位置情報を別途記録するステップと、を備える。
この態様によると、符号化に際して、画像のサイズを調節するために付加したダミー領域に関する情報を保持することにより、符号化した画像を復号して表示する際に、ダミー領域を除去した領域のみを表示することができる。また、符号化処理、さらにはその後の復号処理の対象となる画像のサイズが定まるため、画素数や画角のチェックといった処理を省略することができ、処理を簡素化、効率化することができる。
Yet another embodiment of the present invention is also an image processing method. This method corresponds to the difference between the step of acquiring the size of the image to be encoded, the step of calculating the difference between the acquired image size and the reference image size, and the image to be encoded. Adding a dummy area, and encoding the image with the dummy area and recording the position information of the dummy area separately.
According to this aspect, at the time of encoding, by retaining information about the dummy area added to adjust the size of the image, when decoding and displaying the encoded image, only the area from which the dummy area has been removed is displayed. Can be displayed. In addition, since the size of an image to be encoded and further subjected to subsequent decoding processing is determined, processing such as checking the number of pixels and the angle of view can be omitted, and the processing can be simplified and made efficient. .
本発明の別の態様も、画像処理方法に関する。この方法は、原画像を縮小して得られた縮小画像にダミー領域を付加して符号化のための暫定画像を生成するとともに、ダミー領域の位置情報を記録するステップと、暫定画像を符号化するステップと、符号化された暫定画像が復号されたとき、記録されたダミー領域の位置情報をもとに、復号された暫定画像からダミー領域を削除して表示処理ブロックへ出力するステップと、を含む。この場合、符号化の対象となる暫定画像のサイズが統一されるため、符号化処理を効率化することができ、また、ダミー領域が表示されるのを防止することができる。 Another embodiment of the present invention also relates to an image processing method. In this method, a dummy area is added to a reduced image obtained by reducing the original image to generate a provisional image for encoding, and the position information of the dummy area is recorded, and the provisional image is encoded. And when the encoded provisional image is decoded, based on the recorded dummy region position information, deleting the dummy region from the decoded provisional image and outputting to the display processing block; including. In this case, since the size of the provisional image to be encoded is unified, the encoding process can be made more efficient, and the dummy area can be prevented from being displayed.
さらに別の態様の画像処理方法によれば、符号化の対象となる画像を符号化し、表示過程に送出する技術が提供される。この画像処理方法では、第1のステップとして、符号化の対象となる画像のサイズを調整するために、必要に応じて画像にダミー領域を付加し、ダミー領域が付加された状態の画像を符号化する。この際に、付加したダミー領域の位置情報を記録する。第2のステップとして、符号化された画像を復号し、記録されたダミー領域の位置情報をもとに、復号された画像からダミー領域を削除した後、画像を表示過程へ出力する。 According to still another aspect of the image processing method, there is provided a technique for encoding an image to be encoded and sending it to a display process. In this image processing method, as a first step, in order to adjust the size of the image to be encoded, a dummy area is added to the image as necessary, and the image with the dummy area added is encoded. Turn into. At this time, the position information of the added dummy area is recorded. As a second step, the encoded image is decoded, the dummy area is deleted from the decoded image based on the recorded position information of the dummy area, and then the image is output to the display process.
なお、以上の処理、手順、構成要素の任意の組合せ、あるいは、処理、手順、構成要素を、方法、プログラム、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above processes, procedures, and constituent elements, or processes, procedures, and constituent elements that are mutually replaced among methods, programs, apparatuses, systems, etc. are also effective as an aspect of the present invention. It is.
以下、本発明の実施の形態に係る画像処理方法および画像処理装置について、図面を参照しつつ説明する。各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、実施の形態は、発明を限定するものではなく例示であって、実施の形態に記述されるすべての特徴やその組み合わせは、必ずしも発明の本質的なものであるとは限らない。 Hereinafter, an image processing method and an image processing apparatus according to embodiments of the present invention will be described with reference to the drawings. The same or equivalent components, members, and processes shown in the drawings are denoted by the same reference numerals, and repeated descriptions are omitted as appropriate. The embodiments do not limit the invention but are exemplifications, and all features and combinations thereof described in the embodiments are not necessarily essential to the invention.
図1は、実施の形態に係る動画再生機能を備える電子機器1の構成を示すブロック図である。電子機器1は、たとえば、パーソナルコンピュータやDVDプレイヤ、ゲーム機器などであって、映像データの再生機能を有するデバイスである。本実施の形態において、電子機器1はゲーム機器である。このゲーム機器は、本来のゲーム機器としての機能に加えて、動画を再生する機能を有する。
FIG. 1 is a block diagram illustrating a configuration of an
電子機器1は、CPU(Central Processing Unit)10、DVD装置12、ハードディスク14、I/Oインターフェース16、メインメモリ18、グラフィックプロセッサ20、グラフィックメモリ22、バス24を備える。図1の各ブロックは、バス24を介して接続されており、互いにデータを送受信可能に構成される。この電子機器1は、外部に接続される表示装置であるディスプレイ機器(不図示)に対して、映像データを出力する。ディスプレイ機器は、液晶パネルとして電子機器1に内蔵されていてもよい。
The
CPU10は、電子機器1全体を統合的に制御する演算処理装置である。このCPU10は、ハードディスク14あるいは図示しないROM(Road Only Memory)に記憶されたOS(Operating System)のプログラムをメインメモリ18にロードし、ロードしたOSにもとづいて、電子機器1の各ブロックを管理し、必要な演算処理を行う。また、CPU10は、その他のブロックにより要求された演算処理を実行する。
The
DVD装置12は、挿入されたディスクから、電子機器1において実行すべきゲームプログラムを読み出し、あるいは映画や音楽が記録されたディスクから映像データを再生するために使用される。DVD装置12に挿入されたDVDメディアに、ゲームプログラムが記録されている場合、CPU10は、ゲームプログラムをロードし、実行する。また、CPU10は、映画やコンサートなどの映像コンテンツ(以下、単に画像ともいう)が記録されている場合、必要なアプリケーションを起動し、これを再生する。
The
ハードディスク14には、電子機器1の動作に必要なアプリケーションプログラム、アプリケーションが利用するデータ等が記録される。さらに、ハードディスク14には、さまざまな画像Iが記録される。本明細書において、「画像」という場合には静止画や動画のデータを意味する。画像Iは、ユーザがテレビ放送を録画したものであったり、ユーザがデジタルビデオカメラやデジタルスチルカメラによって撮影したものであったり、パーソナルコンピュータから取り込んだものである。これらの画像は、様々なサイズ、符号化フォーマットで記録される。デジタルビデオカメラや、パーソナルコンピュータなどの外部デバイスは、I/Oインターフェース16を介して電子機器1と接続され、画像が、ハードディスク14へと転送される。
The
メインメモリ18は、電子機器1の各ブロックによって使用される作業用領域を含む。メインメモリ18には、アプリケーションプログラムがロードされ、CPU10などによる演算処理の結果が記憶され、あるいは、各ブロック間のデータの送受信に利用される。
The
グラフィックメモリ22は、ディスプレイ機器に出力すべき最終的な映像データが記憶されるフレームバッファ(図示せず)を含む。グラフィックプロセッサ20は、画像に関する演算処理を行うブロックである。このグラフィックプロセッサ20は、ゲームプログラムを実行した結果、生成された映像データや、DVD装置12やハードディスク14から読み出した映像データに対して、所定の処理を行い、最終的な映像データを、グラフィックメモリ22のフレームバッファへと書き込む。フレームバッファ上のデータは、図示しないディスプレイドライバによって、ディスプレイ機器に出力される。
The
上述のように、本実施の形態に係る電子機器1では、ハードディスク14に、多くの映像が記録される。電子機器1は、ハードディスク14に記録された画像(映像)を再生する機能を有する。電子機器1による映像の再生機能は、専用のアプリケーションプログラムによって実行される。したがって、本明細書において、「電子機器1」というとき、それは、CPU10ならびにその他のブロックと、必要なプログラムの協働によって実現される機能を意味する。
As described above, in the
電子機器1のユーザが、ハードディスク14に記録された複数の画像を再生する場合、まず、再生したい画像を選択する必要がある。電子機器1は、ユーザが、映像データの内容を直感的に把握できるように、ハードディスク14に記録された画像ごとに、簡易閲覧用の画像(以下、サムネイル画像ともいう)を生成し、これをディスプレイ機器に表示する。
When the user of the
サムネイル画像Itの生成手法は既知であるため、簡単に説明する。電子機器1は、サムネイル画像Itを、元の画像(以下、単に原画像ともいう)I1と1対1に対応付け、所定のタイミングで生成する。所定のタイミングとは、新たな画像I1がハードディスク14に格納されたタイミング、ユーザからサムネイル画像の作成の指示があったタイミング、電子機器1において予め定められた時刻などである。なお、一旦生成されたサムネイル画像Itは、原画像I1がハードディスク14上から削除されると、それとともに削除される。
Since the method for generating the thumbnail image It is known, it will be described briefly. The
ハードディスク14に記録された画像I1のサイズはさまざまである。本実施の形態に係る電子機器1は、原画像I1のサイズにかかわらず、統一されたサイズを有するサムネイル画像Itを生成する。以下、本実施の形態におけるサムネイル画像Itの生成方法およびその再生方法について説明する。
The size of the image I1 recorded on the
図2は、電子機器1に実装される画像処理装置100の構成を示すブロック図である。また、図3は、実施の形態に係る画像処理のフローチャートである。図2において、各処理ブロックは、ハードウェア的には、CPU、メモリ、その他のLSIで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。すなわち、図2に示される各処理ブロックは、ソフトウェア的には、電子機器1において実行されるプログラムのコードモジュールに対応し、ハードウェア的にCPUやDSP(Digital Signal Processor)として構成された処理ユニットに対応し、これらの協働によって実現される。
FIG. 2 is a block diagram illustrating a configuration of the
画像処理装置100は、ハードディスク14、サムネイル画像生成部102、サムネイル画像再生部104を含む。サムネイル画像生成部102は、ハードディスク14に記録された画像I1を読み出し、サムネイル画像Itを生成する。サムネイル画像再生部104は、生成されたサムネイル画像Itを再生し、ディスプレイ機器に出力する。
The
まず、サムネイル画像生成部102の構成について説明する。サムネイル画像生成部102は、画像取得部30、リサイズ処理部32、ダミー領域付加部34、符号化器36、出力処理部38を含む。
First, the configuration of the thumbnail
画像取得部30は、ハードディスク14に記録された画像の中から、サムネイル画像Itの作成の対象となる画像を選択して読み出す(S90)。画像取得部30によって読み出された画像I1は、リサイズ処理部32へと出力される。この処理は、具体的には、画像取得部30が、画像I1をメインメモリ18にロードし、リサイズ処理部32がメインメモリ18にアクセスすることにより実現される。あるいは、画像取得部30が、画像I1のハードディスク14におけるアドレスをリサイズ処理部32に通知し、リサイズ処理部32がこのアドレスにアクセスしてもよい。
The
リサイズ処理部32は、リサイズ処理S100を行う。リサイズ処理S100は、画像I1のサイズを、所定の統一された基準サイズに収まるように調節する処理である。たとえば、基準サイズは、横、縦の画素数が432×240であり、以下では、この432×240の画素数を基準サイズとして説明する。なお、432×240の画素数は、アスペクト比が、略16:8.89であることから、16:9のワイドHDの画像との整合性が高いことから好ましく、また、縦横のピクセル数が16の倍数であるため、MPEG(Moving Picture Expert Group)などの符号化、復号処理との整合性が高いという利点を有する。なお、432×240の画素数に、所定の係数を乗じた画素数(たとえば216×120など)を、基準サイズとしてもよい。基準サイズの選択は、電子機器1に接続されるディスプレイ機器の画面サイズに応じて設定してもよい。また、基準サイズは複数用意されてもよい。
The resizing
リサイズ処理自体は、一般的な画像の縮小、拡大技術を利用すればよい。ここでの縮小、拡大処理は、単純拡大、単純縮小である。リサイズ処理S100は、原画像I1をアスペクト比を固定したまま縮小、拡大し、縦横ともに基準サイズx0×y0に収まる最大のサイズx1×y1とすることが望ましい。すなわち、x1≦x0、y1≦y0が成り立つ範囲において、原画像I1を縮小してもよい。なお、基準サイズを有する仮想的な画像を「基準画像Istd」とよぶ。 The resizing process itself may use a general image reduction / enlargement technique. The reduction and enlargement processes here are simple enlargement and simple reduction. In the resizing process S100, it is desirable that the original image I1 is reduced and enlarged while the aspect ratio is fixed, so that the maximum size x1 × y1 can be accommodated in the reference size x0 × y0 in both vertical and horizontal directions. That is, the original image I1 may be reduced within a range where x1 ≦ x0 and y1 ≦ y0. A virtual image having a reference size is referred to as “reference image Istd”.
たとえば、原画像I1の画素数が、x1×y1=640×480ピクセルの場合、縦横を1/2倍し、320×240ピクセルの縮小画像I2を生成する。リサイズされた縮小画像I2は、ダミー領域付加部34に出力される。サムネイル画像のサイズは、原画像のサイズより小さい場合がほとんどであるので、ここでは、縮小画像とよぶが、解像度の低い原画像に対しては、拡大によるリサイズが行われる。
For example, when the number of pixels of the original image I1 is x1 × y1 = 640 × 480 pixels, the vertical and horizontal directions are halved to generate a reduced image I2 having 320 × 240 pixels. The resized reduced image I2 is output to the dummy
つぎに、ダミー領域付加部34は、ダミー領域付加処理S110を行い、縮小画像I2にダミー領域Rdmyを付加して暫定画像I3を生成する。その際、暫定画像I3のサイズが一定になるよう、ダミー領域の形状とサイズが決定される。縮小画像I2は、ダミー領域が与えられた状態で、符号化のための暫定画像I3となる。「符号化のための」とは、符号化の効率化のために暫定画像I3のサイズを一定にするためである。詳しくは後述するが、最終的にユーザに表示するときは、暫定画像I3からダミー領域が削除されるので、暫定画像は、符号化から保存を経て復号されるまでの間だけ存在し、暫定画像自体はユーザの目に触れない。「ダミー領域が与えられた状態」とは、ダミー領域付加部34により、縮小画像I2の画像サイズが変更された状態をいう。画像サイズの変更は、
1)画像のヘッダ領域におけるサイズ特定情報を書き換え、かつ、
2)画像データ領域を拡張し、その拡張した画像データ領域に、ダミー領域に含まれる画素の画素値を書き込む、
ことによりなされる。ダミー領域Rdmyの画素の画素値(以下「ダミー値」という)は任意でよいが、符号化手法とのかねあいで、符号化がより高速になるような値が望ましい。一例として、ダミー値を固定値にすることが考えられる。これは暫定画像I3において、ダミー領域が一色で塗りつぶされた状態に対応する。
Next, the dummy
1) Rewrite the size specifying information in the header area of the image, and
2) The image data area is expanded, and the pixel values of the pixels included in the dummy area are written into the expanded image data area.
Is made by The pixel value of the pixel in the dummy region Rdmy (hereinafter referred to as “dummy value”) may be arbitrary, but a value that makes the encoding faster is desirable in connection with the encoding method. As an example, it is conceivable to set the dummy value to a fixed value. This corresponds to a state in which the dummy area is filled with one color in the provisional image I3.
すなわち、ダミー領域付加処理S110は、リサイズされた縮小画像I2と基準画像Istdとの差分領域ΔR(=Istd−I2)に、ダミー領域Rdmyを付加し、基準サイズIstdと一致させる処理である。 That is, the dummy area adding process S110 is a process for adding the dummy area Rdmy to the difference area ΔR (= Istd−I2) between the resized reduced image I2 and the reference image Istd so as to match the reference size Istd.
リサイズされた縮小画像I2は320×240ピクセルで構成されるため、基準サイズ432×240と一致させるために、横方向に102ピクセル分のダミー領域Rdmyを付加する。ダミー領域は、縮小画像I2の両端に均等に配置してもよいし、あるいは左右いずれかの辺にまとめて配置してもよい。たとえば、左右に均等に配置する場合、縮小画像I2の左右に、51(=102/2)ピクセル分のダミー領域が付加される。 Since the resized reduced image I2 is composed of 320 × 240 pixels, a dummy region Rdmy for 102 pixels is added in the horizontal direction to match the reference size 432 × 240. The dummy areas may be arranged equally at both ends of the reduced image I2, or may be arranged together on either the left or right side. For example, in the case where the left and right sides are evenly arranged, 51 (= 102/2) pixel dummy areas are added to the left and right sides of the reduced image I2.
また、リサイズされた縮小画像I2のサイズによっては、上下方向、あるいは上下方向と左右方向の両方にダミー領域Rdmyが付加される場合もある。 Further, depending on the size of the resized reduced image I2, the dummy area Rdmy may be added in the vertical direction or both in the vertical direction and the horizontal direction.
符号化器36には、ダミー領域付加部34から出力される基準サイズを有する暫定画像I3が入力される。符号化器36は、暫定画像I3を符号化処理S120する。符号化処理S120では、ダミー領域Rdmyが付加されてサイズが統一された暫定画像I3を、所定のフォーマット、すなわち符号化方式で符号化する。フォーマットは、ハードディスク14に記録された原画像I1と同一のフォーマットでもよいし、電子機器1において予め定められたフォーマットであってもよい。本実施の形態では、生成したサムネイル画像を表示する際のデータ処理(復号)を簡素化するために、予め定められた方式、たとえばMPEG2やMPEG4で圧縮符号化する。表示すべきサムネイル画像Itの符号化方式が統一されていれば、後述の復号処理S140において、復号方式を固定できるため、プログラムを簡素化でき、あるいは専用のDSPを設ける場合に、その構成を簡素化できる。一例として、符号化器36は、暫定画像I3を、MPEG4で圧縮符号化し、MP4フォーマットで保存してもよい。もっとも、圧縮符号化に利用する方式はこれに限定されるものではなく、現在または将来において利用可能なさまざまな方式を利用することができる。また、静止画であれば、JPEG(Joint Photographic Experts Group)などが利用できる。
The provisional image I3 having the reference size output from the dummy
サムネイル画像Itを生成する際に、動画である原画像I1と同じフル再生時間について符号化を行うと、サムネイル画像Itのデータサイズが大きくなってしまう。そこで、符号化器36は、サムネイル画像Itのデータサイズが大きくなるのを防止するため、所定の期間、たとえば数秒から数十秒にわたるフレームを符号化する。符号化は、先頭フレームから所定の期間にわたって行ってもよいし、ユーザがどの範囲を符号化するかを選択可能としてもよい。また、原画像I1を解析し、ハイライトシーンや盛り上がり部分を抽出し、抽出した期間を符号化してダイジェストとしてサムネイル画像Itを生成してもよい。たとえば、動画の音声データを解析し、音量が大きい期間を抽出することにより、あるいは画像データを解析し、動きの激しい期間を抽出することにより、ハイライトシーンや盛り上がり部分を抽出することができる。
When the thumbnail image It is generated, if encoding is performed for the same full playback time as the original image I1 which is a moving image, the data size of the thumbnail image It becomes large. Therefore, the
さらに、符号化器36では、所定のフレーム、たとえば、先頭フレームの画像を、静止画のサムネイル画像として符号化し、動画のサムネイル画像と別個に記録する。後に、ディスプレイにサムネイル画像を表示する際に、電子機器1のCPU10が別の重たい処理を行っていると、動画の復号処理に要する演算処理が行えない場合も想定される。かかる場合に、復号処理に要する演算量が、動画に比べて少なくて済む静止画のサムネイル画像を生成しておくことには意味がある。符号化器36は、符号化された画像(以下、符号化データともいう)Dencを出力処理部38へと出力する。符号化データDencは、動画および静止画の画像それぞれを符号化したデータを含んでいる。
Further, the
出力処理部38は、符号化器36における符号化処理S120の結果得られた符号化データDencとともに、ダミー領域付加部34において付加したダミー領域Rdmyの位置情報を示す、ダミー領域に関するデータ(以下、単にダミー領域データDdmyという)Ddmyを出力する(S130)。ダミー領域データDdmyは、原画像I1と、付加したダミー領域Rdmyを区別しうる情報を含む。
The
たとえば、ダミー領域データDdmyは、暫定画像I3から、ダミー領域Rdmyを除去した縮小画像I2の4つの頂点(p1、p2、p3、p4)の座標である。あるいは、対角に存在する2つの頂点(p1、p4)であってもよいし、いずれか一つの頂点(p1)の座標と縮小画像I2の縦横の幅Δx、Δyであってもよい。もしくは、ダミー領域データDdmyは、ダミー領域Rdmyの各頂点の座標、あるいは縦横の幅、あるいはこれらの組み合わせであってもよい。ダミー領域データDdmyは、符号化データDencとともに、図1のハードディスク14内に書き込まれる。ダミー領域データDdmyの記録は、ハードディスク14に保持されるテーブル(図示せず)へのエントリであってもよい。一例として、このテーブルは、
(1)原画像I1自体に関する情報、すなわちその名称やサイズ、作成時刻、画像の格納位置を示すアドレス
(2)原画像I1に対応するサムネイル画像Itの符号化データDencの格納位置を示すアドレス
(3)ダミー領域データDdmy
を含む。符号化データDencおよびダミー領域データDdmyが、サムネイル画像を構成するデータとなる。
For example, the dummy area data Ddmy is the coordinates of four vertices (p1, p2, p3, p4) of the reduced image I2 obtained by removing the dummy area Rdmy from the provisional image I3. Alternatively, it may be two vertices (p1, p4) present on the diagonal, or the coordinates of one of the vertices (p1) and the vertical and horizontal widths Δx, Δy of the reduced image I2. Alternatively, the dummy area data Ddmy may be the coordinates of each vertex of the dummy area Rdmy, the vertical and horizontal widths, or a combination thereof. The dummy area data Ddmy is written in the
(1) Information relating to the original image I1 itself, that is, its name, size, creation time, and address indicating the storage location of the image (2) Address indicating the storage location of the encoded data Denc of the thumbnail image It corresponding to the original image I1 3) Dummy area data Ddmy
including. The encoded data Denc and the dummy area data Ddmy are data constituting a thumbnail image.
以上がサムネイル画像生成部102の構成である。次に、ユーザがサムネイル画像It2をもとに、再生すべき画像I1を選択する際に使用されるサムネイル画像再生部104の構成について説明する。サムネイル画像再生部104は、ハードディスク14に記録された符号化データDencおよびダミー領域データDdmyにもとづいて、サムネイル画像It2をディスプレイに出力する。
The above is the configuration of the thumbnail
復号器40は、符号化データDencをハードディスク14から読み出し、復号処理S140を行う。ここでの復号処理は、符号化器36による符号処理と対応したものである。符号化データDencは、上記テーブルを参照することにより取得可能である。符号化処理S120において符号化のフォーマットを統一しているため、復号処理S140においては、都度フォーマットを確認する必要がなくなり、ここでの処理は実質的な復号処理のみで済む。復号処理S140による復号の結果、ダミー領域Rdmyを含むサムネイル画像It1が生成される。サムネイル画像It1の内容は、ダミー領域付加部34から出力される暫定画像I3の内容に対応している。
The
ダミー領域情報取得部42は、上述のテーブルを参照して、入力されたサムネイル画像It1に対応するダミー領域データDdmyを取得する(S150)。ダミー領域情報取得部42は、取得したダミー領域情報Ddmyおよびサムネイル画像It1を、表示処理部44へと出力する。
The dummy area
表示処理部44は、ダミー領域情報Ddmyをもとに、復号されたサムネイル画像It1からダミー領域Rdmyを除いた領域を、図示しないディスプレイ機器に表示する(S160)。復号されたサムネイル画像It1からダミー領域Rdmyを除いた領域は、再生すべきサムネイル画像It2に相当する。以下、表示処理部44における、サムネイル画像It2の表示処理について説明する。
Based on the dummy area information Ddmy, the
(第1の表示方法)
表示処理部44は、ダミー領域情報Ddmyにもとづき、復号されたサムネイル画像It1からダミー領域Rdmyを除いた領域のサイズ(以下、サムネイルサイズという)を取得し、このサムネイルサイズに比例したサイズのポリゴンを作成する。なお、ポリゴンは、3次元空間中に配置されるものであり、ポリゴン自身の位置や、視点の位置などの表示状態によって、実際にディスプレイ上に表示されるときの、ピクセル数で表現したサイズは変化する。したがって、ここでいう「ポリゴンのサイズ」は、ある基準となる表示状態おけるサイズを意味し、「サムネイルサイズのポリゴンを生成する」とは、その基準となる表示状態において、サムネイルサイズに比例したピクセル数で表示される大きさのポリゴンを生成することを意味する。以下の説明では、ポリゴンのサイズは、基準となる表示状態において、サムネイルサイズに一致するものとして説明する。
(First display method)
Based on the dummy area information Ddmy, the
続いて、このポリゴンに、復号されたサムネイル画像It1からダミー領域Rdmyを除いた領域It2をテクスチャとしてマッピングする。サムネイル画像It2がテクスチャとしてマッピングされたポリゴンを、レンダリングすることにより、ディスプレイ機器には、サムネイル画像It2のみを可視的に表示することができる。 Subsequently, an area It2 obtained by removing the dummy area Rdmy from the decoded thumbnail image It1 is mapped to this polygon as a texture. By rendering the polygon in which the thumbnail image It2 is mapped as a texture, only the thumbnail image It2 can be visually displayed on the display device.
たとえば、上述した具体例では、基準サイズが432×240ピクセルであり、ダミー領域を除いた領域のサイズ、すなわちサムネイルサイズが320×240ピクセルであり、ダミー領域Rdmyが、その左右の両端に、51ピクセル分、配置される場合を考える。この場合、基準となる表示状態、すなわち、ポリゴンが所定位置に配置され、視点が所定位置に固定された状態で、320×240ピクセルで表示されるように、長方形のポリゴンを生成する。
つついて、このポリゴンに、サムネイル画像It1からダミー領域Rdmyを除いた領域It2をマッピングする。テクスチャマッピングの処理は、図2のグラフィックプロセッサ20にUV座標を指定することにより実行され、432×240のサムネイル画像It1のうち、x=52、y=0を頂点として、幅Δx=320、高さΔy=240の領域を、ポリゴンにテクスチャマッピングする。図2のグラフィックプロセッサ20がポリゴンをレンダリングしてグラフィックメモリ22のフレームバッファに書き込むことにより、サムネイル画像It1からダミー領域Rdmyを除いた領域It2のみが可視的にディスプレイ機器に表示される。
For example, in the specific example described above, the reference size is 432 × 240 pixels, the size of the region excluding the dummy region, that is, the thumbnail size is 320 × 240 pixels, and the dummy region Rdmy is 51 at both the left and right ends. Consider a case where pixels are arranged. In this case, a rectangular polygon is generated so as to be displayed in 320 × 240 pixels in a reference display state, that is, in a state where the polygon is arranged at a predetermined position and the viewpoint is fixed at the predetermined position.
On the other hand, the region It2 obtained by removing the dummy region Rdmy from the thumbnail image It1 is mapped to this polygon. The texture mapping process is executed by designating the UV coordinates to the
(第2の表示方法)
表示処理部44は、所定のサイズのポリゴンを生成する。ポリゴンのサイズは、サムネイルサイズよりも大きければよく、たとえば、基準サイズに設定される。続いて、表示処理部44は、復号されたサムネイル画像It1のうち、ダミー領域Rdmy内の画素の透明度を示すα値を透明の値(=0)に設定する。また、サムネイル画像It1のうち、ダミー領域Rdmyの除く領域については、α値を非透明に対応した値(たとえば最大値)に設定する。表示処理部44は、サムネイル画像It2全体を、生成したポリゴンにテクスチャとしてマッピングする。
(Second display method)
The
その結果、サムネイル画像It2がマッピングされたポリゴンをレンダリングすることにより、ダミー領域Rdmyの部分は、背景が透けて見えるため、実質的に、ダミー領域を除いたサムネイル画像It2のみをディスプレイ機器に表示することができる。 As a result, by rendering the polygon to which the thumbnail image It2 is mapped, the portion of the dummy area Rdmy can be seen through the background, so that substantially only the thumbnail image It2 excluding the dummy area is displayed on the display device. be able to.
(第3の表示方法)
表示処理部44は、ダミー領域情報Ddmyをもとに、復号されたサムネイル画像It1からダミー領域Rdmyを削除したサムネイル画像It2を生成する。ここで「削除」とは、単に画素値をゼロクリアするなどの画像内の処理ではなく、画像サイズ自体を変えるような、画像再構成処理をいう。画像サイズを変更するために、表示処理部44は画像のヘッダ領域にある画像サイズ特定情報を書き換える。続いて、表示処理部44は、ダミー領域Rdmyが削除されたサムネイル画像It2の描画処理を実行する。第3の表示方法は、3次元グラフィックスに関する機能が実装されていない画像処理装置100において有効な手法である。
(Third display method)
Based on the dummy area information Ddmy, the
以上のように構成された画像処理装置100の動作について説明する。図4(a)〜(c)は、図2の画像処理装置100の処理過程において生成される各画像を示す図である。すなわち、図4(a)は、ハードディスク14に記録されている原画像I1を、同図(b)は、リサイズ処理部32によってリサイズされた縮小画像I2あるいは最終的にディスプレイ機器に表示されるサムネイル画像It2を、同図(c)は、ダミー領域Rdmyが付加されてサイズが統一された暫定画像I3あるいは復号器40により復号されたサムネイル画像It1を示す。
The operation of the
ユーザがサムネイル画像の生成を指示すると、画像処理装置100のサムネイル画像生成部102がサムネイル画像の生成処理を開始する。まず、画像取得部30は、図4(a)に示すサムネイル画像作成の原画像I1を選択する。
続いて、図2のリサイズ処理部32におけるリサイズ処理S100によって、図4(a)の原画像I1が、基準サイズに収まるように、縮小、拡大される。その結果得られる画像が、図4(b)に示す縮小画像I2である。図4(b)の縮小画像I2は、同図(a)の画像を単純拡大、単純縮小したものであり、同一のアスペクト比を有している。
When the user instructs generation of a thumbnail image, the thumbnail
Subsequently, by the resizing process S100 in the resizing
続いて、ダミー領域付加部34は、縮小画像I2に、ダミー領域Rdmyを付加して、基準サイズに統一された暫定画像I3を生成する(図4(c))。符号化器36は、暫定画像I3を符号化し、符号化データDencを生成する。この符号化データDencは、ダミー領域データDdmyとともに、出力処理部38によってハードディスク14に記録される。
Subsequently, the dummy
その後、ユーザが、ハードディスク14に記録された複数の画像の中から、視聴すべき画像を選択する際に、画像処理装置100のサムネイル画像再生部104が動作する。
Thereafter, when the user selects an image to be viewed from a plurality of images recorded on the
サムネイル画像再生部104の復号器40は、符号化データDencを読み出し、復号する。復号の結果得られた画像It1は、暫定画像I3に対応する(図4(c))。ダミー領域情報取得部42は、ハードディスク14から、暫定画像I3に対応したダミー領域データDdmyを取得する。表示処理部44は、図4(c)の画像から、ダミー領域Rdmyを削除した領域、すなわちサムネイル画像It2をディスプレイ機器に表示する(図4(b))。
The
以上の画像処理技術によれば、サムネイル画像を生成する場合の符号化に際して、必要に応じてダミー領域を付加することにより、符号化の対象となる画像のサイズを統一することができるため、符号化処理において、画像のサイズが統一される。その結果、画素数や画角、アスペクト比等のチェック処理が不要となり、毎回、同じ処理を行えば足りるため、符号化処理を効率化、高速化することができる。さらに、符号化処理を、統一された画像サイズに対して最も高速に処理できるように、アルゴリズムやハードウェアを最適化することができる。 According to the image processing technique described above, the size of an image to be encoded can be unified by adding a dummy area as necessary during encoding when generating a thumbnail image. In the conversion process, the image sizes are unified. As a result, it is not necessary to check the number of pixels, the angle of view, the aspect ratio, and the like, and it is sufficient to perform the same process every time. Therefore, the encoding process can be made efficient and faster. Furthermore, the algorithm and hardware can be optimized so that the encoding process can be performed at the highest speed for a unified image size.
さらに、ダミー領域Rdmyに関する情報が、メタデータとして符号化データDencと併せて記録されているため、サムネイル画像Itを表示する際に、ダミー領域Rdmyを除去することができる。これにより、サムネイル画像Itの隅に、ダミー領域Rdmyに対応する帯状の領域(ダミー領域が白であれば白い帯)が発生するのを抑制し、見栄えを改善することができる。 Furthermore, since information related to the dummy area Rdmy is recorded together with the encoded data Denc as metadata, the dummy area Rdmy can be removed when displaying the thumbnail image It. Thereby, it is possible to suppress the occurrence of a band-like area corresponding to the dummy area Rdmy (a white band if the dummy area is white) at the corner of the thumbnail image It, and to improve the appearance.
次に、復号したサムネイル画像を、ディスプレイに表示する際のデータ処理について説明する。
図5は、サムネイル画像が表示されたディスプレイ50の表示領域を示す図である。ディスプレイ50には、所定の背景画像52が表示される。背景画像52は、単一色あるいは所定の地画像で塗りつぶされていてもよいし、あるいは壁紙などの画像が表示されていてもよい。第1、第2の表示方法を利用する場合、視点から十分遠い位置にポリゴンを配置し、それを着色してもよいし、あるいはそのポリゴンに壁紙をマッピングしてもよい。
Next, data processing when displaying the decoded thumbnail image on the display will be described.
FIG. 5 is a diagram showing a display area of the
ディスプレイ50上には、複数の所定の表示枠FRM1〜FRM4が、中心が揃うようにして直線上に配置される。表示枠FRMのサイズは、上述の基準サイズと一致するものであることが好ましい。なお、表示枠FRM1〜4は、ディスプレイ50上に、線画として描画されるものではなく、仮想的に配置されるものである。また、縦方向ではなく横方向に配置されてもよいし、マトリクス状に配置されてもよい。さらに、表示枠FRMのサイズは、基準サイズを所定倍したサイズであってもよい。
On the
電子機器1は、上述の画像処理技術により得られたサムネイル画像を、複数の表示枠FRM1〜FRM4内のそれぞれに表示する。また、各表示枠FRMの周辺、たとえば、右隣に、その表示枠に表示しているサムネイル画像に対応する画像のファイル名、再生時間、その他の情報を併せて表示してもよい。
The
複数の表示枠は、第1、第2の表示方法で説明したポリゴンに対応しており、このポリゴンは、背景を表示するためのポリゴンよりも視点に近い位置に配置される。表示処理部44は、これらの表示枠に相当するポリゴンに、サムネイル画像をマッピングする。
The plurality of display frames correspond to the polygons described in the first and second display methods, and the polygons are arranged at positions closer to the viewpoint than the polygons for displaying the background. The
静止画の復号に要する時間は、動画のそれに比べて短いため、図2のサムネイル画像再生部104は、まず、静止画のサムネイル画像を生成した後に、動画のサムネイル画像を生成してもよい。この処理を行うことにより、レスポンスよくサムネイル画像をディスプレイに表示することができ、ユーザの体感処理速度を向上することができる。
Since the time required for decoding a still image is shorter than that for a moving image, the thumbnail
また、ディスプレイ50には、カーソル54を表示してもよい。カーソル54の位置は、ユーザの操作に応じて上下に移動し、カーソル54で選択される画像を、ハイライトさせてもよい。この場合、ユーザは、カーソル54によって、再生すべき画像を選択することができる。
Further, a
より直感的なユーザインターフェースを提供するために、カーソル54で選択されている画像のサイズを、他の表示枠に表示される画像のサイズと相対的に異ならしめてもよい。たとえば、カーソル54で選択されている画像を、拡大表示してもよい。表示処理部44において、第1、第2の表示方法を採用している場合、ポリゴンのサイズを拡大することにより、テクスチャとしてマッピングされたサムネイル画像It2のサイズも拡大することができる。あるいは、拡大したい画像がマッピングされたポリゴンを、視点に近い位置に移動させることにより、見かけ上、大きく表示することが可能である。
第3の表示方法を採用する場合、サムネイル画像It2を適宜拡大、縮小して、フレームバッファ上に直接描画する。
In order to provide a more intuitive user interface, the size of the image selected with the
When the third display method is employed, the thumbnail image It2 is enlarged or reduced as appropriate and drawn directly on the frame buffer.
また、カーソル54の代わりに、所定の位置に固定された選択枠56を設けてもよい。この場合、ユーザの選択動作に応じて、各サムネイル画像の表示位置を、移動させてもよい。たとえば、図5の表示状態からユーザが上方向を選択すると、サムネイル画像ItA〜ItDを、一つ上段の表示枠にシフトさせる。その結果、選択枠56内には、サムネイル画像It4が表示された状態となる。ユーザは、所望のサムネイルを選択枠56内に移動させ、再生すべき画像を選択してもよい。
当然ながら、複数のサムネイル画像から、一の画像を選択する方法は、その他のGUIを利用して行っても構わない。
Further, instead of the
Of course, the method of selecting one image from a plurality of thumbnail images may be performed using another GUI.
第1の表示枠FRM1〜第4の表示枠FRM4には、第1から第4の原画像にもとづいて生成されたサムネイル画像ItA〜ItDがそれぞれ表示される。表示されるサムネイル画像ItA〜ItDは、図2の表示処理部44によってダミー領域Rdmyが除去されたサムネイル画像となっている。
ユーザは、各表示枠FRM1〜FRM4に表示されたサムネイル画像ItA〜ItDを視ることにより、それぞれに対応する原画像Iの内容を直感的に把握することができる。
Thumbnail images ItA to ItD generated based on the first to fourth original images are displayed in the first display frame FRM1 to the fourth display frame FRM4, respectively. The displayed thumbnail images ItA to ItD are thumbnail images from which the dummy area Rdmy has been removed by the
The user can intuitively grasp the contents of the original image I corresponding to each of the thumbnail images ItA to ItD displayed in the display frames FRM1 to FRM4.
以上の表示処理を行うことにより、ディスプレイ50上には、サムネイル画像を生成する際に付加されたダミー領域Rdmyは表示されず、ダミー領域Rdmyが存在する領域には、背景画像52が表示される。その結果、ディスプレイ上にダミー領域Rdmyに対応する黒や白い帯が表示されるのを防止し、見栄えが悪化するのを抑制できる。
By performing the above display processing, the dummy area Rdmy added when generating the thumbnail image is not displayed on the
なお、以上の表示処理は、ハードウェア、あるいはソフトウェアレベルでは、以下のように実現することができる。まず、プログラムは、ディスプレイ50の表示内容が描画される図1のグラフィックメモリ22上のフレームバッファの全体に、背景画像52を描画する。続いて、サムネイル画像Itを、ディスプレイ50上に表示するために、表示枠FRMに対応するフレームバッファ上の領域に、図2のダミー領域情報取得部42により得られたサムネイル画像Itを上書きによって描画する。これらの描画処理は、CPU10、グラフィックプロセッサ20等によって実行される。
The above display processing can be realized as follows at the hardware or software level. First, the program draws the
図5のように、複数のサムネイル画像ItA〜ItDを表示する場合には、図2で説明した復号器40およびダミー領域情報取得部42が、複数のサムネイル画像について並列処理を行う。並列処理は、単一のプロセッサによる時分割処理によって実現してもよいし、複数のプロセッサによる完全な並列処理によって実現されてもよいし、これらの組み合わせであってもよい。
As shown in FIG. 5, when displaying a plurality of thumbnail images ItA to ItD, the
表示枠FRMにサムネイル画像Itを表示する際に、ダミー領域Rdmyが削除された画像Itの基準位置が、表示枠FRMの基準位置に一致するようデータ処理をすることが好ましい。図5の例では、基準位置として、画像の中心座標(すなわち重心)が選択されている。基準位置を一致させることにより、サムネイル画像を整列することができ、見栄えをよくすることができる。基準位置の取り方は、ユーザに自由に設定させてもよい。 When displaying the thumbnail image It in the display frame FRM, it is preferable to perform data processing so that the reference position of the image It from which the dummy area Rdmy is deleted matches the reference position of the display frame FRM. In the example of FIG. 5, the center coordinates (that is, the center of gravity) of the image are selected as the reference position. By matching the reference positions, the thumbnail images can be aligned and the appearance can be improved. The user may freely set the reference position.
サムネイル画像を表示する処理のバックグラウンドにおいて、演算量の大きな処理を実行している場合には、すべてのサムネイル画像の復号器40、ダミー領域情報取得部42、表示処理部44に対して、CPU10やグラフィックプロセッサ20のハードウェアリソースを割り当てることができない場合も想定される。そのために、サムネイル画像再生部104は、サムネイル画像再生部104の処理に必要なハードウェアリソースが十分かを判定するための演算モニタ部(図示せず)を備えてもよい。たとえば、演算モニタ部は、復号器40の演算量を取得し、取得した演算量を、所定のしきい値と比較する。復号器40がCPU10とプログラムの組み合わせにより構成される場合には、CPU10の演算量がモニタされる。モニタの結果、演算量がしきい値を越えていた場合には、復号器40のリソース不足と判定する。リソース不足と判定された復号器40は、一部の画像については、動画のサムネイル画像の復号処理ではなく、静止画のサムネイル画像の復号処理を行う。なお、演算モニタ部は、演算量に換えて、あるいはこれに加えて、メモリの空き領域などの別のパラメータを、しきい値と比較することにより、リソース不足を判定してもよい。
In the background of the processing for displaying thumbnail images, when processing with a large amount of computation is being executed, the
リソース不足が発生した場合には、あるサムネイル画像、たとえばユーザに選択された状態にあるサムネイル画像ItCについてのみ、動画の復号処理を行って、表示枠FRM3内に動画のサムネイル画像を表示するとともに、その他の表示枠FRM1、2、4内には、別途用意した静止画のサムネイル画像を表示してもよい。この処理を行えば、サムネイル画像の表示に要する演算処理量を減らすことができるため、処理が破綻するのを防止することができる。 When a resource shortage occurs, only a certain thumbnail image, for example, a thumbnail image ItC selected by the user, is subjected to a moving image decoding process to display a moving image thumbnail image in the display frame FRM3. A thumbnail image of a still image prepared separately may be displayed in the other display frames FRM1, 2, and 4. By performing this process, it is possible to reduce the amount of calculation processing required for displaying the thumbnail image, so that the process can be prevented from failing.
サムネイル画像の生成、表示に際しては、いわゆる安全フレームを考慮した処理を行うことが好ましい。一般に、ブラウン管テレビなどは、その外周部の情報を表示することができない。そこで、電子機器1にいかなる種類のディスプレイが接続されても、必要なデータを確実に表示するために、実際のフレームのサイズの外周を、数%〜20%程度のトリミング率でトリミングした安全フレーム(Safety Frame)を用意し、安全フレーム内のデータを、ディスプレイ50に出力する処理を行う場合がある。
以下、安全フレームを考慮した処理について説明する。
When generating and displaying thumbnail images, it is preferable to perform processing in consideration of so-called safety frames. In general, a cathode ray tube television or the like cannot display information on the outer periphery thereof. Therefore, no matter what kind of display is connected to the
In the following, processing that considers a safety frame will be described.
本実施の形態では、サムネイル画像の生成するときに、安全フレームを考慮する。この方法において、リサイズ処理部32は、安全フレームの外側の領域を削除するために、画像I1の実際のフレームのサイズの外周を数%、トリミングする。トリミング率については、安全フレームのサイズに応じて適宜設定すればよい。続いて、トリミングの結果残る安全フレームと同サイズのサムネイル画像が、上述した基準サイズに収まるように、拡大、縮小してリサイズ処理を行い、縮小画像I2を得る。その後、ダミー領域付加部34は、縮小画像I2に対して、ダミー領域Rdmyを付加し、暫定画像I3を生成する。
このように、サムネイル画像の生成に際して、安全フレームを考慮することにより、最終的に得られるサムネイル画像は、安全フレームの外側のデータを含まないため、そのまま再生することにより、元の画像を再生したときと同じ画角の映像を得ることができる。
In the present embodiment, a safety frame is considered when generating a thumbnail image. In this method, the resizing
In this way, the thumbnail image finally obtained by considering the safety frame when generating the thumbnail image does not include the data outside the safety frame, so the original image was reproduced by reproducing it as it is. A video with the same angle of view can be obtained.
また、変形例として、サムネイル画像の表示するときに、安全フレームを考慮してもよい。この変形例では、サムネイル画像を、表示枠FRM内に表示する際に、ダミー領域Rdmyが削除されたサムネイル画像Itの外周をトリミングして表示してもよい。サムネイル画像Itを表示する際に、同程度のトリミング率でサムネイル画像をトリミングして、表示枠FRM内に表示することが望ましい。この場合、ディスプレイ50には、安全フレームの外側の領域がトリミングされ、安全フレームの内側の画像が表示される。この処理により、サムネイル画像の画角を、ディスプレイ50上でフルサイズで再生される際の原画像の画角と揃えることができる。なお、トリミング処理は、サムネイル画像のうち、安全フレーム内の画素についてのみ、ポリゴンにテクスチャとしてマッピングし、あるいは、フレームバッファに直接書き込むことで実現できる。
As a modification, a safety frame may be considered when displaying thumbnail images. In this modification, when the thumbnail image is displayed in the display frame FRM, the outer periphery of the thumbnail image It from which the dummy area Rdmy has been deleted may be trimmed and displayed. When displaying the thumbnail image It, it is desirable to trim the thumbnail image at the same trimming rate and display it in the display frame FRM. In this case, the area outside the safety frame is trimmed on the
なお、元の画像に安全フレームが設定されない場合、すなわち全ピクセルが表示される場合については、この処理をスキップすることができる。 Note that this process can be skipped when a safety frame is not set in the original image, that is, when all pixels are displayed.
以上、本発明について、実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described based on the embodiments. This embodiment is an exemplification, and it will be understood by those skilled in the art that various modifications can be made to combinations of the respective constituent elements and processing processes, and such modifications are also within the scope of the present invention. is there.
実施の形態では、暫定画像I3を生成するために、原画像I1をリサイズして基準サイズに近づけた後に、不足した領域にダミー領域を付加したが、これには限定されない。たとえば、基準画像を拡大して原画像I1を包含し、かつ原画像I1のサイズに近い仮想画像を生成する。原画像I1と仮想画像との差分領域を算出し、これをダミー領域として原画像I1に付加してもよい。ダミー領域を付加した後に、縮小することにより、暫定画像I3を得ることができる。 In the embodiment, in order to generate the provisional image I3, the dummy image is added to the lacking region after the original image I1 is resized and brought close to the reference size. However, the present invention is not limited to this. For example, the reference image is enlarged to include the original image I1, and a virtual image close to the size of the original image I1 is generated. A difference area between the original image I1 and the virtual image may be calculated and added to the original image I1 as a dummy area. The provisional image I3 can be obtained by reducing the size after adding the dummy area.
また、実施の形態では、サムネイル画像It1からダミー領域Rdmyを除去した領域を表示する処理を、最終的なディスプレイに対する表示処理を行う段階で実行する場合を中心に説明したが、本発明はこれに限定されるものではない。すなわち、サムネイル画像It1を復号した後、ダミー領域Rdmyを削除した画像を生成し、これを最終的な表示プロセスへと投入してもよい。 Further, in the embodiment, the case where the process of displaying the area obtained by removing the dummy area Rdmy from the thumbnail image It1 has been mainly described at the stage of performing the display process on the final display. It is not limited. That is, after decoding the thumbnail image It1, an image from which the dummy area Rdmy is deleted may be generated and input to the final display process.
1・・・電子機器、10・・・CPU、12・・・DVD装置、14・・・ハードディスク、16・・・I/Oインターフェース、18・・・メインメモリ、20・・・グラフィックプロセッサ、22・・・グラフィックメモリ、24・・・バス、30・・・画像取得部、32・・・リサイズ処理部、34・・・ダミー領域付加部、36・・・符号化器、38・・・出力処理部、40・・・復号器、42・・・ダミー領域情報取得部、44・・・表示処理部、50・・・ディスプレイ、100・・・画像処理装置、102・・・サムネイル画像生成部、104・・・サムネイル画像再生部。
DESCRIPTION OF
Claims (17)
符号化された画像を復号し、記録された前記ダミー領域の位置情報にもとづき、復号された画像からダミー領域を除いた領域を表示する第2ステップと、
を備えることを特徴とする画像処理方法。 In order to adjust the size of the image to be encoded, a dummy area is added to the image, the positional information of the dummy area is recorded, and the image with the dummy area added is encoded. Steps,
A second step of decoding the encoded image and displaying an area excluding the dummy area from the decoded image based on the recorded position information of the dummy area;
An image processing method comprising:
符号化の対象となる画像を、前記基準画像サイズに収まるようにリサイズするステップを含み、
リサイズされた画像と、前記基準画像サイズとの差分領域に、前記ダミー領域を付加し、ダミー領域が付加された画像を符号化することを特徴とする画像処理方法。 3. The method of claim 2, wherein the first step is
Resizing an image to be encoded to fit within the reference image size;
An image processing method, wherein the dummy area is added to a difference area between the resized image and the reference image size, and the image with the dummy area added is encoded.
前記符号化の対象となる画像に安全フレームが設定される場合、安全フレームの外側の領域を除去した画像を、前記基準画像サイズに収まるようにリサイズすることを特徴とする画像処理方法。 4. The method of claim 3, wherein the first step is
An image processing method, wherein when a safety frame is set in an image to be encoded, an image from which an area outside the safety frame has been removed is resized to fit within the reference image size.
前記復号された画像からダミー領域を除いた領域を表示する際に、その基準位置を、所定の表示枠の基準位置に一致させることを特徴とする画像処理方法。 The method of claim 1, wherein the second step comprises:
An image processing method characterized by matching a reference position with a reference position of a predetermined display frame when displaying an area excluding a dummy area from the decoded image.
前記復号された画像からダミー領域を除いた領域に比例したサイズのポリゴンを生成するステップと、
前記ポリゴンに、前記復号された画像からダミー領域を除いた領域をテクスチャとしてマッピングするステップと、
を含むことを特徴とする画像処理方法。 The method of claim 1, wherein the second step comprises:
Generating a polygon having a size proportional to an area excluding a dummy area from the decoded image;
Mapping an area obtained by removing a dummy area from the decoded image as a texture onto the polygon;
An image processing method comprising:
所定のサイズのポリゴンを生成するステップと、
前記復号された画像のうち、ダミー領域内の画素のα値を透明の値に設定するステップと、
α値が設定された前記復号された画像全体を、前記ポリゴンにテクスチャとしてマッピングするステップと、
を含むことを特徴とする画像処理方法。 The method of claim 1, wherein the second step comprises:
Generating a polygon of a predetermined size;
Setting the α value of the pixels in the dummy area of the decoded image to a transparent value;
mapping the entire decoded image with an α value set as a texture on the polygon;
An image processing method comprising:
復号した画像にダミー領域が付加されている場合、そのダミー領域の位置情報を取得するステップと、
取得したダミー領域の位置情報にもとづき、復号した画像からダミー領域を除いた領域を表示するステップと、
を備えることを特徴とする画像処理方法。 Decoding the encoded image; and
When a dummy area is added to the decoded image, obtaining the position information of the dummy area;
A step of displaying an area obtained by removing the dummy area from the decoded image based on the obtained position information of the dummy area;
An image processing method comprising:
取得した前記画像のサイズと、基準画像サイズとの差分を算出するステップと、
前記符号化の対象となる画像に、差分に相当するダミー領域を付加するステップと、
前記ダミー領域を付加した画像を符号化するとともに、前記ダミー領域の位置情報を別途記録するステップと、
を備えることを特徴とする画像処理方法。 Obtaining a size of an image to be encoded;
Calculating a difference between the size of the acquired image and a reference image size;
Adding a dummy area corresponding to the difference to the image to be encoded;
Encoding the image with the dummy area added, and recording the position information of the dummy area separately;
An image processing method comprising:
暫定画像を符号化するステップと、
符号化された暫定画像が復号されたとき、記録されたダミー領域の位置情報にもとづき、復号された暫定画像からダミー領域を除いた領域を表示するステップと、
を含む画像処理方法。 Adding a dummy area to the reduced image obtained by reducing the original image to generate a provisional image for encoding, and recording position information of the dummy area;
Encoding a provisional image;
When the encoded provisional image is decoded, displaying a region excluding the dummy region from the decoded provisional image based on the recorded dummy region position information;
An image processing method including:
前記ダミー領域が付加された状態の画像を符号化する符号化器と、
符号化された画像を復号する復号器と、
前記ダミー領域付加部によって記録された前記ダミー領域の位置情報にもとづき、前記復号器によって復号された画像からダミー領域を除いた領域を、表示装置に出力する表示処理部と、
を備えることを特徴とする画像処理装置。 In order to adjust the size of the image to be encoded, a dummy area adding unit that adds a dummy area to the image and records position information of the dummy area;
An encoder for encoding an image with the dummy region added thereto;
A decoder for decoding the encoded image;
A display processing unit that outputs, to a display device, an area obtained by removing the dummy area from the image decoded by the decoder based on the position information of the dummy area recorded by the dummy area adding unit;
An image processing apparatus comprising:
復号した画像にダミー領域が付加されている場合、そのダミー領域の位置情報を取得する位置情報取得部と、
取得したダミー領域の位置情報にもとづき、復号した画像からダミー領域を除いた領域を、表示装置に出力する表示処理部と、
を備えることを特徴とする画像処理装置。 A decoder for decoding the encoded image;
When a dummy area is added to the decoded image, a position information acquisition unit that acquires position information of the dummy area;
A display processing unit that outputs, to the display device, an area obtained by removing the dummy area from the decoded image, based on the acquired position information of the dummy area;
An image processing apparatus comprising:
符号化の対象となる画像のサイズを調整するために、画像にダミー領域を付加してそのダミー領域の位置情報を記録するステップと、
前記ダミー領域が付加された状態の画像を符号化するステップと、
符号化された画像を復号するステップと、
記録された前記ダミー領域の位置情報にもとづき、復号された画像からダミー領域を除いた領域を表示するステップと、
を実行させるプログラム。 An image processing program that generates and reproduces an image for display with respect to an image recorded in a recording device.
Adding a dummy area to the image and recording the position information of the dummy area in order to adjust the size of the image to be encoded;
Encoding the image with the dummy region added thereto;
Decoding the encoded image; and
Based on the recorded location information of the dummy area, displaying the area excluding the dummy area from the decoded image;
A program that executes
符号化された画像を復号するステップと、
復号した画像にダミー領域が付加されている場合、そのダミー領域の位置情報を取得するステップと、
取得したダミー領域の位置情報にもとづき、復号した画像からダミー領域を除いた領域を表示するステップと、
を実行させるプログラム。 An image processing program for displaying an image on a computer
Decoding the encoded image; and
When a dummy area is added to the decoded image, obtaining the position information of the dummy area;
A step of displaying an area obtained by removing the dummy area from the decoded image based on the obtained position information of the dummy area;
A program that executes
前記複数の画像の簡易閲覧用の画像を生成し、前記記録装置に記録する画像生成部と、
前記記録装置に記録された簡易閲覧用の画像を再生する再生部と、
を備え、
前記画像生成部は、
前記画像のサイズを調整するために、画像にダミー領域を付加し、そのダミー領域の位置情報を記録するダミー領域付加部と、
前記ダミー領域が付加された状態の画像を符号化する符号化器と、を含み、
前記再生部は、
符号化された画像を復号する復号器と、
前記記録装置に記録された前記ダミー領域の位置情報にもとづき、復号された画像からダミー領域を除いた領域を、表示装置へ出力する表示処理部と、
を含むことを特徴とする電子機器。 A recording device for recording a plurality of images;
Generating an image for simple viewing of the plurality of images and recording the image on the recording device;
A playback unit for playing back an image for simple browsing recorded in the recording device;
With
The image generation unit
In order to adjust the size of the image, a dummy area adding unit for adding a dummy area to the image and recording position information of the dummy area;
An encoder that encodes the image with the dummy region added thereto,
The playback unit
A decoder for decoding the encoded image;
A display processing unit that outputs, to the display device, an area obtained by removing the dummy area from the decoded image based on the position information of the dummy area recorded in the recording device;
An electronic device comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006226123A JP4402088B2 (en) | 2006-08-23 | 2006-08-23 | Image processing method and apparatus, and electronic apparatus using them |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006226123A JP4402088B2 (en) | 2006-08-23 | 2006-08-23 | Image processing method and apparatus, and electronic apparatus using them |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008053884A true JP2008053884A (en) | 2008-03-06 |
JP4402088B2 JP4402088B2 (en) | 2010-01-20 |
Family
ID=39237515
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006226123A Expired - Fee Related JP4402088B2 (en) | 2006-08-23 | 2006-08-23 | Image processing method and apparatus, and electronic apparatus using them |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4402088B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011254129A (en) * | 2010-05-31 | 2011-12-15 | Canon Inc | Image processing device and control method for image processing |
JP2018037024A (en) * | 2016-09-02 | 2018-03-08 | ファナック株式会社 | Electronic device and numerical control device |
JP2019207375A (en) * | 2018-05-30 | 2019-12-05 | ヤンマー株式会社 | Image generator for display |
-
2006
- 2006-08-23 JP JP2006226123A patent/JP4402088B2/en not_active Expired - Fee Related
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011254129A (en) * | 2010-05-31 | 2011-12-15 | Canon Inc | Image processing device and control method for image processing |
JP2018037024A (en) * | 2016-09-02 | 2018-03-08 | ファナック株式会社 | Electronic device and numerical control device |
US10139919B2 (en) | 2016-09-02 | 2018-11-27 | Fanuc Corporation | Electronic device and numerical controller |
JP2019207375A (en) * | 2018-05-30 | 2019-12-05 | ヤンマー株式会社 | Image generator for display |
JP7166074B2 (en) | 2018-05-30 | 2022-11-07 | ヤンマーパワーテクノロジー株式会社 | display image generator |
Also Published As
Publication number | Publication date |
---|---|
JP4402088B2 (en) | 2010-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220139353A1 (en) | Display method, electronic device, and non-transitory computer-readable storage medium | |
US20180192063A1 (en) | Method and System for Virtual Reality (VR) Video Transcode By Extracting Residual From Different Resolutions | |
US10891032B2 (en) | Image reproduction apparatus and method for simultaneously displaying multiple moving-image thumbnails | |
US8963951B2 (en) | Image processing apparatus, moving-image playing apparatus, and processing method and program therefor to allow browsing of a sequence of images | |
US6583793B1 (en) | Method and apparatus for mapping live video on to three dimensional objects | |
WO2021008424A1 (en) | Method and device for image synthesis, electronic apparatus and storage medium | |
US20130147787A1 (en) | Systems and Methods for Transmitting Visual Content | |
US8174620B2 (en) | High definition media content processing | |
JP5120987B2 (en) | Apparatus, method and system for image processing | |
US10699361B2 (en) | Method and apparatus for enhanced processing of three dimensional (3D) graphics data | |
WO2021008427A1 (en) | Image synthesis method and apparatus, electronic device, and storage medium | |
CN109327698B (en) | Method, system, medium and electronic device for generating dynamic preview chart | |
US9478252B2 (en) | Smooth playing of video | |
US6285371B1 (en) | Method and apparatus for providing a three dimensional transition between displayed images | |
US7477795B2 (en) | Image compression and expansion technique | |
JP4402088B2 (en) | Image processing method and apparatus, and electronic apparatus using them | |
CN117499755A (en) | Method for embedding watermark or subtitle into hard decoding video based on GPU hard layer | |
CN111640191B (en) | VR (virtual reality) -based method for collecting and processing projection screen images | |
US20050021552A1 (en) | Video playback image processing | |
JP4484775B2 (en) | Playback apparatus and playback method | |
CN110597577A (en) | Head-mounted visual equipment and split-screen display method and device thereof | |
JP2009081540A (en) | Information processing apparatus and method for generating composite image | |
KR20230018368A (en) | Methods and apparatus for occlusion treatment techniques | |
KR101970787B1 (en) | Video decoding apparatus and method based on android platform using dual memory | |
JP2000278644A (en) | Nonlinear video edit device and its method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081014 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081021 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091027 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091028 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121106 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121106 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131106 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |