JP5224352B2 - Image display apparatus and program - Google Patents

Image display apparatus and program Download PDF

Info

Publication number
JP5224352B2
JP5224352B2 JP2008251709A JP2008251709A JP5224352B2 JP 5224352 B2 JP5224352 B2 JP 5224352B2 JP 2008251709 A JP2008251709 A JP 2008251709A JP 2008251709 A JP2008251709 A JP 2008251709A JP 5224352 B2 JP5224352 B2 JP 5224352B2
Authority
JP
Japan
Prior art keywords
image data
image
scaler
dimensional
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008251709A
Other languages
Japanese (ja)
Other versions
JP2010087618A (en
Inventor
浩三 増田
宏 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Casio Mobile Communications Ltd
Original Assignee
NEC Casio Mobile Communications Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Casio Mobile Communications Ltd filed Critical NEC Casio Mobile Communications Ltd
Priority to JP2008251709A priority Critical patent/JP5224352B2/en
Publication of JP2010087618A publication Critical patent/JP2010087618A/en
Application granted granted Critical
Publication of JP5224352B2 publication Critical patent/JP5224352B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、2次元画像データを立体視用の画像データに変換し、かかる画像データに基づく画像を立体視可能に表示する画像表示装置に関する。   The present invention relates to an image display apparatus that converts two-dimensional image data into image data for stereoscopic viewing and displays an image based on the image data so as to be stereoscopically viewable.

3次元(立体視)表示に関して、従来より様々な技術が提案されている(例えば、特許文献1)。特許文献1には、撮像された一の2次元画像から3次元情報を取得することで、立体視画像を表示可能とするカメラが提案されている。   Various techniques have been proposed for three-dimensional (stereoscopic) display (for example, Patent Document 1). Patent Document 1 proposes a camera that can display a stereoscopic image by acquiring three-dimensional information from one captured two-dimensional image.

特開平7−296165号公報(第6〜7頁の段落[0057]〜[0073]、図3、図4)Japanese Patent Laid-Open No. 7-296165 (paragraphs [0057] to [0073] on pages 6 to 7, FIGS. 3 and 4)

しかしながら、上記特許文献1で開示される発明では、原画像を構成する画素毎に、3次元空間内の点の位置を推定する処理を行うため、原画像の画素数が増加すると、演算処理の負荷が増大するという問題があった。また、位置の推定には、データベース(知識ベース)を必要とするが、かかるデータベースは、原画像の画素数に応じて用意しなければならない。したがって、多様な画素数の画像を取り扱う製品では、全ての画像サイズに対応させようとすると、データベースの容量が増大してしまうという問題があった。   However, in the invention disclosed in Patent Document 1, since the process of estimating the position of a point in the three-dimensional space is performed for each pixel constituting the original image, if the number of pixels in the original image increases, There was a problem that the load increased. Moreover, a database (knowledge base) is required for position estimation, but such a database must be prepared according to the number of pixels of the original image. Therefore, in a product that handles images with various numbers of pixels, there is a problem that the capacity of the database increases when trying to support all image sizes.

本発明は、上記従来の問題を解決すべくなされたものであり、一の2次元画像データに基づき容易に立体視用の画像データを生成でき、また、処理負荷やデータベースの規模を増大させることなく、多様な画素数の画像データに対応可能な画像表示装置及びプログラムを提供することを目的とする。   The present invention has been made to solve the above-described conventional problems, and can easily generate image data for stereoscopic viewing based on one two-dimensional image data, and increase the processing load and the scale of a database. It is another object of the present invention to provide an image display device and a program that can deal with image data having various numbers of pixels.

上記目的を達成するため、本発明に係る画像表示装置は、
第1の画像供給手段と、第2の画像供給手段と、経路選択手段と、第1のスケーラと、他視点画像生成手段と、第2のスケーラと、画像合成手段と、表示手段と、を備える画像表示装置であって、
前記第1の画像供給手段は、第1の2次元画像データを前記経路選択手段に出力し、
前記第2の画像供給手段は、第2の2次元画像データを前記経路選択手段に出力し、
前記経路選択手段は、前記第1の2次元画像データ及び前記第2の2次元画像データの何れか一方を前記第1のスケーラに出力し、前記第1の2次元画像データ及び前記第2の2次元画像データを前記画像合成手段に出力し、
前記第1のスケーラは、前記経路選択手段から入力した前記2次元画像データの画素数を前記他視点画像生成手段が対応可能な画素数に変換し、
前記他視点画像生成手段は、前記第1のスケーラによる前記変換の結果得られた画像データを解析し、他視点の画像データを生成し、
前記第2のスケーラは、前記他視点画像生成手段により生成された前記画像データの画素数を前記第1のスケーラが入力した前記2次元画像データの画素数に変換し、
前記画像合成手段は、
前記経路選択手段から入力した前記第1の2次元画像データ及び前記第2の2次元画像データの内、前記第1のスケーラが入力した前記2次元画像データと内容が同一の方の2次元画像データと、前記第2のスケーラによる前記変換の結果得られた画像データと、を所定のフォーマットに基づいて合成し、その合成によって得られた画像データと、前記第1の2次元画像データ及び前記第2の2次元画像データの内、前記第1のスケーラが入力した前記2次元画像データと内容が異なる方の2次元画像データと、を合成することで、立体視用の画像データを生成し、
前記表示手段は、前記画像合成手段により生成された前記画像データに基づく画像を表示し、
前記第1のスケーラが入力した前記2次元画像データ及び前記第2のスケーラによって得られた前記画像データ何れか一方は、右眼用の画像データであり、他方は、左眼用の画像データである、ことを特徴とする。
In order to achieve the above object, an image display device according to the present invention provides:
First image supply means, second image supply means, route selection means, first scaler, other viewpoint image generation means, second scaler, image composition means, and display means An image display device comprising:
The first image supply means outputs first two-dimensional image data to the route selection means,
The second image supply means outputs second two-dimensional image data to the route selection means;
The route selection means outputs either the first two-dimensional image data or the second two-dimensional image data to the first scaler, and the first two-dimensional image data and the second two-dimensional image data. Outputting two-dimensional image data to the image composition means;
The first scaler converts the number of pixels of the two-dimensional image data input from the path selection unit into the number of pixels that the other viewpoint image generation unit can handle,
The other-viewpoint image generation means analyzes the image data obtained as a result of the conversion by the first scaler, and generates other-viewpoint image data,
The second scaler converts the number of pixels of the image data generated by the other viewpoint image generation means into the number of pixels of the two-dimensional image data input by the first scaler,
The image composition means includes
Of the first two-dimensional image data and the second two-dimensional image data input from the route selection means, a two-dimensional image having the same content as the two-dimensional image data input by the first scaler Data and image data obtained as a result of the conversion by the second scaler based on a predetermined format, the image data obtained by the synthesis, the first two-dimensional image data, and the By combining the second 2D image data of the second 2D image data and the 2D image data having a different content from the 2D image data input by the first scaler, the image data for stereoscopic vision is generated. ,
The display means displays an image based on the image data generated by the image composition means,
Said one of the image data obtained by the first scaler said 2-dimensional image data and the second scaler entered is image data for the right eye and the other image data for the left eye It is characterized by being.

前記表示手段により表示される右眼用の画像及び左眼用の画像からの光線が、それぞれ対応するユーザの眼に入射されるようにする視差バリアをさらに備える構成にするのが好ましい。   It is preferable to further include a parallax barrier that allows light beams from the right-eye image and the left-eye image displayed by the display unit to enter the corresponding user's eyes.

前記経路選択手段から前記第1のスケーラへ出力される前記2次元画像データは、ユーザの利き眼用の画像データであり、前記他視点画像生成手段により生成される前記画像データは、ユーザの非利き眼用の画像データである、ようにしてもよい。 The two-dimensional image data output from the route selection unit to the first scaler is image data for a user's dominant eye, and the image data generated by the other viewpoint image generation unit You may make it be image data for dominant eyes.

この場合、ユーザの利き眼についての情報の入力をユーザから受け付けるユーザインタフェースをさらに備える構成にしてもよい。   In this case, you may make it the structure further provided with the user interface which receives the input of the information about a user's dominant eye from a user.

また、本発明に係るプログラムは、
コンピュータを、
第1の画像供給手段、第2の画像供給手段、経路選択手段、第1のスケーラ、他視点画像生成手段、第2のスケーラ、画像合成手段、として機能させ、
前記第1の画像供給手段は、第1の2次元画像データを前記経路選択手段に出力し、
前記第2の画像供給手段は、第2の2次元画像データを前記経路選択手段に出力し、
前記経路選択手段は、前記第1の2次元画像データ及び前記第2の2次元画像データの何れか一方を前記第1のスケーラに出力し、前記第1の2次元画像データ及び前記第2の2次元画像データを前記画像合成手段に出力し、
前記第1のスケーラは、前記経路選択手段から入力した前記2次元画像データの画素数を前記他視点画像生成手段が対応可能な画素数に変換し、
前記他視点画像生成手段は、前記第1のスケーラによる前記変換の結果得られた画像データを解析し、他視点の画像データを生成し、
前記第2のスケーラは、前記他視点画像生成手段により生成された前記画像データの画素数を前記第1のスケーラが入力した前記2次元画像データの画素数に変換し、
前記画像合成手段は、
前記経路選択手段から入力した前記第1の2次元画像データ及び前記第2の2次元画像データの内、前記第1のスケーラが入力した前記2次元画像データと内容が同一の方の2次元画像データと、前記第2のスケーラによる前記変換の結果得られた画像データと、を所定のフォーマットに基づいて合成し、その合成によって得られた画像データと、前記第1の2次元画像データ及び前記第2の2次元画像データの内、前記第1のスケーラが入力した前記2次元画像データと内容が異なる方の2次元画像データと、を合成することで、立体視用の画像データを生成し、
前記第1のスケーラが入力した前記2次元画像データ及び前記第2のスケーラによって得られた前記画像データ何れか一方は、右眼用の画像データであり、他方は、左眼用の画像データである、ことを特徴とする。
The program according to the present invention is
Computer
Function as first image supply means, second image supply means, route selection means, first scaler, other viewpoint image generation means, second scaler, image composition means,
The first image supply means outputs first two-dimensional image data to the route selection means,
The second image supply means outputs second two-dimensional image data to the route selection means;
The route selection means outputs either the first two-dimensional image data or the second two-dimensional image data to the first scaler, and the first two-dimensional image data and the second two-dimensional image data. Outputting two-dimensional image data to the image composition means;
The first scaler converts the number of pixels of the two-dimensional image data input from the path selection unit into the number of pixels that the other viewpoint image generation unit can handle,
The other-viewpoint image generation means analyzes the image data obtained as a result of the conversion by the first scaler, and generates other-viewpoint image data,
The second scaler converts the number of pixels of the image data generated by the other viewpoint image generation means into the number of pixels of the two-dimensional image data input by the first scaler,
The image composition means includes
Of the first two-dimensional image data and the second two-dimensional image data input from the route selection means, a two-dimensional image having the same content as the two-dimensional image data input by the first scaler Data and image data obtained as a result of the conversion by the second scaler based on a predetermined format, the image data obtained by the synthesis, the first two-dimensional image data, and the By combining the second 2D image data of the second 2D image data and the 2D image data having a different content from the 2D image data input by the first scaler, the image data for stereoscopic vision is generated. ,
Said one of the image data obtained by the first scaler said 2-dimensional image data and the second scaler entered is image data for the right eye and the other image data for the left eye It is characterized by being.

本発明によれば、一の2次元画像データに基づき容易に立体視用の画像データを生成することが可能となり、また、処理負荷やデータベースの規模を増大させることなく、多様な画素数の画像データに対応可能となる。   According to the present invention, it is possible to easily generate stereoscopic image data based on one two-dimensional image data, and it is possible to generate an image with various numbers of pixels without increasing the processing load and the scale of the database. Data can be handled.

以下、本発明に係る画像表示装置の実施形態を図面を用いて説明する。本発明は、映像表示が可能な端末装置全般、例えば携帯電話、PHS、PDA、PC、TV、映像記録装置・再生装置等に適用可能であるが、以下の各実施形態では、本発明に係る画像表示装置を携帯電話に適用して説明する。本発明を携帯電話に適用すると、立体視用画像データ生成時の処理負荷等が低減されるため、低消費電力化が図れ、回路規模低減による小型化が可能となる。   Embodiments of an image display apparatus according to the present invention will be described below with reference to the drawings. The present invention can be applied to all terminal devices capable of displaying video, such as mobile phones, PHS, PDAs, PCs, TVs, video recording / playback devices, and the like in the following embodiments. An image display device will be described by applying it to a mobile phone. When the present invention is applied to a mobile phone, the processing load at the time of generating stereoscopic image data is reduced, so that power consumption can be reduced and downsizing can be achieved by reducing the circuit scale.

(第1実施形態)
本発明の第1実施形態について図面を用いて説明する。
図1は、第1実施形態に係る携帯電話100の構成を示すブロック図である。携帯電話100は、通信アンテナ1と、無線回路2と、符号復号処理回路3と、マイク4と、レシーバ5と、キー6と、CPU7と、CPUバス8と、メモリ9と、DAC10と、スピーカ11と、ビデオI/F12と、立体画像変換処理部13と、LCDコントローラ14と、表示部15と、視差バリア16と、を備える。
(First embodiment)
A first embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a mobile phone 100 according to the first embodiment. The cellular phone 100 includes a communication antenna 1, a radio circuit 2, an encoding / decoding processing circuit 3, a microphone 4, a receiver 5, a key 6, a CPU 7, a CPU bus 8, a memory 9, a DAC 10, and a speaker. 11, a video I / F 12, a stereoscopic image conversion processing unit 13, an LCD controller 14, a display unit 15, and a parallax barrier 16.

通信アンテナ1は、空中を伝送されてきた電波を受信し、高周波電気信号に変換し、無線回路2に入力する。また、通信アンテナ1は、無線回路2から出力された高周波電気信号を電波に変換して発信する。無線回路2は、CPU7の指示に基づき、通信アンテナ1で受信した高周波電気信号を復調し、符号復号処理回路3に入力する。また、無線回路2は、符号復号処理回路3の出力信号に変調処理を施し、高周波電気信号に変換して通信アンテナ1へ出力する。   The communication antenna 1 receives a radio wave transmitted through the air, converts it into a high-frequency electrical signal, and inputs it to the radio circuit 2. The communication antenna 1 converts the high-frequency electrical signal output from the radio circuit 2 into a radio wave and transmits the radio wave. The radio circuit 2 demodulates the high frequency electrical signal received by the communication antenna 1 based on an instruction from the CPU 7 and inputs the demodulated signal to the code decoding processing circuit 3. Further, the radio circuit 2 performs modulation processing on the output signal of the code decoding processing circuit 3, converts it to a high frequency electric signal, and outputs it to the communication antenna 1.

符号復号処理回路3は、CPU7の制御に従って、無線回路2の出力信号に復号処理を施し、通話用音声信号をレシーバ5に出力し、文字データや画像データ等をCPU7へ出力する。また、符号復号処理回路3は、マイク4を介して入力されたユーザ等の音声、または、ユーザがキー6を操作して編集した文字やメモリ9から読み取った画像データ等に符号化処理を施し、その結果得られた信号を無線回路2へ出力する。   The code decoding processing circuit 3 performs decoding processing on the output signal of the radio circuit 2 under the control of the CPU 7, outputs a speech signal for call to the receiver 5, and outputs character data, image data, and the like to the CPU 7. The encoding / decoding processing circuit 3 performs encoding processing on the voice of the user or the like input via the microphone 4, the characters edited by the user operating the keys 6, the image data read from the memory 9, or the like. The resulting signal is output to the radio circuit 2.

メモリ9は、各種制御用のプログラム、データベース、電話帳、アドレス帳、着信メロディ、楽曲データ、動画や静止画などの画像データ、等を格納する。なお、画像データや楽曲データは、図示しない半導体メモリカードやハードディスクに保持するようにしてもよい。   The memory 9 stores various control programs, databases, telephone books, address books, ringtones, music data, image data such as moving images and still images, and the like. Note that image data and music data may be held in a semiconductor memory card or hard disk (not shown).

DAC10は、CPU7から出力される着信音や通話音声等のデジタル音声信号をアナログ信号に変換し、スピーカ11へ供給する。スピーカ11は、DAC10から供給されたアナログ信号に基づいて着信音や通話音声等を出力する。   The DAC 10 converts a digital voice signal such as a ring tone or a call voice output from the CPU 7 into an analog signal and supplies the analog signal to the speaker 11. The speaker 11 outputs a ring tone, a call voice and the like based on the analog signal supplied from the DAC 10.

CPU7は、音声通話処理、音楽や画像の再生処理、その他、携帯電話100全般に関する制御を行う。例えば、CPU7は、CPUバス8を介してメモリ9からプログラムを取得し、符号復号処理回路3、無線回路2を制御して、着信待ちに係る処理を行う。一方、着信時には、CPU7は、メモリ9の電話帳から発信者の名前や着信メロディ、着信画像を読み出す。そして、CPU7は、音声データについては、DAC10へ出力する一方、相手の電話番号や名前、画像データについては、ビデオI/F12を介して、立体画像変換処理部13へ出力する。そして、着信待ち状態あるいは着信時状態において、ユーザがキー6を操作することにより、通話やメールの送受信が可能となる。   The CPU 7 performs control related to the cellular phone 100 in general, such as voice call processing, music and image reproduction processing, and the like. For example, the CPU 7 acquires a program from the memory 9 via the CPU bus 8 and controls the encoding / decoding processing circuit 3 and the wireless circuit 2 to perform processing related to waiting for an incoming call. On the other hand, when receiving a call, the CPU 7 reads the name of the caller, the incoming melody, and the incoming image from the telephone directory in the memory 9. The CPU 7 outputs the audio data to the DAC 10, while outputting the other party's telephone number, name, and image data to the stereoscopic image conversion processing unit 13 via the video I / F 12. Then, when the user operates the key 6 in an incoming call waiting state or an incoming call state, a call or mail can be transmitted / received.

立体画像変換処理部13は、詳細は後述するが、CPU7から出力されたビデオ信号(2次元画像)に画像処理を施して、別視点から見た画像データを生成し、LCDコントローラ14へ出力する。LCDコントローラ14は、CPU7から出力された画像データと、立体画像変換処理部13から出力された画像データとを所定のフォーマットに基づいて合成し、合成した画像データ(立体視用画像データ)を所定のフレームレートで表示部15へ出力する。   Although the details will be described later, the stereoscopic image conversion processing unit 13 performs image processing on the video signal (two-dimensional image) output from the CPU 7, generates image data viewed from another viewpoint, and outputs the image data to the LCD controller 14. . The LCD controller 14 synthesizes the image data output from the CPU 7 and the image data output from the stereoscopic image conversion processing unit 13 based on a predetermined format, and the synthesized image data (stereoscopic image data) is predetermined. Is output to the display unit 15 at the frame rate.

表示部15は、本実施形態では、液晶ディスプレイで構成され、LCDコントローラ14から出力される画像データに基づいた画像(立体視用画像)を表示する。なお、表示部15は、自発光型の有機ELディスプレイで構成されてもよい。   In the present embodiment, the display unit 15 is composed of a liquid crystal display, and displays an image (stereoscopic image) based on image data output from the LCD controller 14. The display unit 15 may be a self-luminous organic EL display.

視差バリア16は、表示部15に表示される立体視用画像(左眼用画像及び右眼用画像で構成される)において、左眼用画像については、ユーザの右眼からは見えないように、また、右眼用画像については、ユーザの左眼からは見えないように画像観視方向を制限するものである。視差バリア16は、図2A、図2Bに示すように、縦ストライプのものを使用し、これにより、ユーザの左右の眼に入射する光を制限する。   The parallax barrier 16 in the stereoscopic image displayed on the display unit 15 (consisting of a left-eye image and a right-eye image) is configured so that the left-eye image is not visible to the user's right eye. In addition, the image viewing direction is limited so that the right eye image cannot be seen from the left eye of the user. As shown in FIGS. 2A and 2B, the parallax barrier 16 is of a vertical stripe, and thereby restricts light incident on the left and right eyes of the user.

したがって、たとえば、図2Cに示すように、携帯電話100全体を90°回転させて使用する場合は、視差バリア16のストライプの向きも90°回転させる必要がある。この場合、視差バリア16を機械的に90°回転させるための機構を設けることで対応することが可能である。しかし、表示部15の画素と視差バリア16のストライプの位置合わせに精度が要求されることから、視差バリア16をマトリクスタイプの透過型表示部(例えば、スイッチ液晶パネル)で構成するのが望ましい。かかる構成にすると、CPU7の制御により、左眼用画像と右眼用画像を合成する際のフォーマットと、視差バリア16のストライプ表示の向きを容易に変更することができる。   Therefore, for example, as shown in FIG. 2C, when the entire mobile phone 100 is rotated by 90 °, the stripe direction of the parallax barrier 16 needs to be rotated by 90 °. This case can be dealt with by providing a mechanism for mechanically rotating the parallax barrier 16 by 90 °. However, since accuracy is required for the alignment of the pixels of the display unit 15 and the stripe of the parallax barrier 16, it is desirable to configure the parallax barrier 16 with a matrix type transmissive display unit (for example, a switch liquid crystal panel). With this configuration, the CPU 7 can easily change the format for combining the left-eye image and the right-eye image and the stripe display direction of the parallax barrier 16.

さらに、視差バリア16として使用する上記透過型表示部の画素数を十分多くすることにより、ストライプ表示の微妙な位置調整が可能となり、立体視用画像表示時の左眼用画像及び右眼用画像の分離度を向上させることが可能である。この位置調整は製造時に行ってもよいし、あるいは、携帯電話100に図示しないユーザインタフェースを設けて、製品出荷後にユーザ(エンドユーザ)が適宜調整できるようにしてもよい。   Further, by sufficiently increasing the number of pixels of the transmissive display unit used as the parallax barrier 16, it is possible to finely adjust the position of the stripe display, and the image for the left eye and the image for the right eye when displaying the stereoscopic image. It is possible to improve the degree of separation. This position adjustment may be performed at the time of manufacture, or a user interface (not shown) may be provided on the mobile phone 100 so that the user (end user) can adjust the product appropriately after shipment.

次に、立体画像変換処理部13の詳細について説明する。図3に示すように、立体画像変換処理部13は、第1のスケーラ131と、他視点画像生成部132と、第2のスケーラ133と、を備える。   Next, details of the stereoscopic image conversion processing unit 13 will be described. As illustrated in FIG. 3, the stereoscopic image conversion processing unit 13 includes a first scaler 131, an other viewpoint image generation unit 132, and a second scaler 133.

第1のスケーラ131は、ビデオI/F12を介してCPU7から出力された2次元画像(画像データa)に対して、横方向、縦方向を所定の画素数に縮小し、その結果得られた画像データbを他視点画像生成部132に供給する。他視点画像生成部132は、第1のスケーラ131から供給された画像データbを基に、画像データaと異なる視点の画像データcを生成し、第2のスケーラ133に供給する。第2のスケーラ133は、他視点画像生成部132から供給された画像データcに対して、縦、横が元の画素数となるよう拡大した画像データdをLCDコントローラ14に供給する。   The first scaler 131 reduces the two-dimensional image (image data a) output from the CPU 7 via the video I / F 12 to a predetermined number of pixels in the horizontal and vertical directions, and is obtained as a result. The image data b is supplied to the other viewpoint image generation unit 132. The other viewpoint image generation unit 132 generates image data c of a viewpoint different from the image data a based on the image data b supplied from the first scaler 131 and supplies the image data c to the second scaler 133. The second scaler 133 supplies the LCD controller 14 with the image data d that has been enlarged so that the image data c supplied from the other viewpoint image generation unit 132 has the original number of pixels in the vertical and horizontal directions.

図3から理解できるように、立体画像変換処理部13は、CPU7から出力された画像データaに立体画像変換処理を施してLCDコントローラ14へ出力する第1の経路と、画像データaをそのままLCDコントローラ14へ出力する第2の経路を設けている。立体表示を行わない、即ち、通常の2次元表示を行う場合は、CPU7の制御の下、LCDコントローラ14は、第2の経路から取得した画像データaのみを表示部15に出力する。この場合、例えば、視差バリア16をスイッチ液晶パネル等の透過型表示部で構成していると、CPU7の指示によって、視差バリア16のストライプをオフにし、全画素を透過させることで、2次元画像表示用に切り換えることできる。CPU7は、ユーザによるキー6の操作や取り扱うコンテンツの種類等に応じて、2次元表示と3次元(立体)表示を切り換えることができる。   As can be understood from FIG. 3, the stereoscopic image conversion processing unit 13 performs a stereoscopic image conversion process on the image data a output from the CPU 7 and outputs it to the LCD controller 14 and the image data a as it is to the LCD. A second path for output to the controller 14 is provided. When stereoscopic display is not performed, that is, when normal two-dimensional display is performed, the LCD controller 14 outputs only the image data a acquired from the second path to the display unit 15 under the control of the CPU 7. In this case, for example, when the parallax barrier 16 is configured by a transmissive display unit such as a switch liquid crystal panel, a two-dimensional image is obtained by turning off the stripe of the parallax barrier 16 and transmitting all pixels according to an instruction from the CPU 7. Can be switched for display. The CPU 7 can switch between the two-dimensional display and the three-dimensional (stereoscopic) display according to the operation of the key 6 by the user, the type of content handled, and the like.

続いて、立体表示を行う際の立体画像変換処理部13の動作について説明する。図4は、立体画像変換処理部13が実行する立体画像変換処理の手順を示すフローチャートである。なお、以下の説明において、CPU7から供給される画像データaの画像サイズは、VGA (横:480ドット、縦:640ドット)であり、表示部15の画素数はVGAであり、他視点画像生成部132が生成する画像データcの画像サイズは、QVGA(横:240ドット,縦:320ドット)であるとする。   Next, the operation of the stereoscopic image conversion processing unit 13 when performing stereoscopic display will be described. FIG. 4 is a flowchart illustrating the procedure of the stereoscopic image conversion process performed by the stereoscopic image conversion processing unit 13. In the following description, the image size of the image data a supplied from the CPU 7 is VGA (horizontal: 480 dots, vertical: 640 dots), the number of pixels of the display unit 15 is VGA, and other viewpoint image generation is performed. The image size of the image data c generated by the unit 132 is assumed to be QVGA (horizontal: 240 dots, vertical: 320 dots).

立体画像変換処理は、CPU7からビデオI/F12を介して供給された画像データaを立体画像変換処理部13が入力することで開始される。立体画像変換処理部13は、入力した画像データaをLCDコントローラ14へ出力する(ステップS101)と共に、第1のスケーラ131にて画素数の縮小処理(ステップS102)を行う。   The stereoscopic image conversion process is started when the stereoscopic image conversion processing unit 13 inputs the image data a supplied from the CPU 7 via the video I / F 12. The stereoscopic image conversion processing unit 13 outputs the input image data a to the LCD controller 14 (step S101), and performs a reduction process of the number of pixels (step S102) by the first scaler 131.

ここで、画像データa(原画像データ)の各画素を、図5Aに示すように、横方向ラインにおいて、1ライン目の左から(1,1),(2,1),(3,1)・・・,2ライン目の左から(1,2),(2,2),(3,2)・・・のように表す。第1のスケーラ131は、画像データaの画像サイズ(VGA)をQVGAサイズに縮小する。具体的には、第1のスケーラ131は、図5Bに示すように、横方向ラインにおいて、1ライン目は(1,1),(3,1),(5,1)・・・、2ライン目は(1,3),(3,3),(5,3)・・・となるように、画像データaの横方向,縦方向ライン共に、3画素毎に真ん中の画素を間引くことで、画像データaを縮小する。第1のスケーラ131は、その結果得られた画像データb(QVGAサイズ)を他視点画像生成部132へ出力する。   Here, as shown in FIG. 5A, each pixel of the image data a (original image data) is (1,1), (2,1), (3,1) from the left of the first line in the horizontal line. )..., (1, 2), (2, 2), (3, 2). The first scaler 131 reduces the image size (VGA) of the image data a to the QVGA size. Specifically, as shown in FIG. 5B, the first scaler 131 has (1, 1), (3, 1), (5, 1),. The middle pixel is thinned out every three pixels in both the horizontal and vertical lines of the image data a so that the lines are (1, 3), (3, 3), (5, 3). Thus, the image data a is reduced. The first scaler 131 outputs the image data b (QVGA size) obtained as a result to the other viewpoint image generation unit 132.

他視点画像生成部132は、画像データbを解析し、メモリ9に記憶されているデータベース(知識ベース)を使用した推論により、画像データbを構成する各画素の奥行きを計算し、他視点から見た場合の画像データ(他視点画像データ)を生成する(ステップS103)。他視点画像生成部132は、例えば、要素図形の輪郭、重なりや濃度、繰り返し、陰影、物体認識等に基づいて、各画素の奥行きを推定する。なお、本実施形態では、CPU7から供給される画像データaに基づく画像を右眼用画像とし、他視点画像生成部132は、図5Cに示すような左眼用画像データを他視点画像のデータ(画像データc)として生成する。そして、他視点画像生成部132は、生成した画像データcを第2のスケーラ133へ出力する。   The other-viewpoint image generation unit 132 analyzes the image data b, calculates the depth of each pixel constituting the image data b by inference using a database (knowledge base) stored in the memory 9, and determines from another viewpoint Image data when viewed (other viewpoint image data) is generated (step S103). The other viewpoint image generation unit 132 estimates the depth of each pixel based on, for example, the contours of element figures, overlap and density, repetition, shadow, object recognition, and the like. In the present embodiment, the image based on the image data a supplied from the CPU 7 is used as the right eye image, and the other viewpoint image generation unit 132 converts the left eye image data as shown in FIG. 5C into the data of the other viewpoint image. It is generated as (image data c). Then, the other viewpoint image generation unit 132 outputs the generated image data c to the second scaler 133.

第2のスケーラ133は、他視点画像生成部132から出力されたQVGAサイズの画像データcに対して、縦、横2倍化処理を施す(ステップS104)。具体的には、第2のスケーラ133は、画像データcの横方向,縦方向ラインの双方において、同一画素が2つ続くようにして、画像データcを縦、横2倍化する。この結果、図5Dに示すように、横方向ラインにおいて、1ライン目と2ライン目の画像データが、左から(1,1L),(1,1L),(3,1L),(3,1L)・・・,3ライン目と4ライン目の画像データが、左から(1,3L),(1,3L),(3,3L),(3,3L)となる画像データdが生成される。第2のスケーラ133は、生成した画像データdをLCDコントローラ14へ出力する。   The second scaler 133 performs vertical and horizontal doubling processing on the QVGA size image data c output from the other viewpoint image generation unit 132 (step S104). Specifically, the second scaler 133 doubles the image data c vertically and horizontally so that two identical pixels continue in both the horizontal and vertical lines of the image data c. As a result, as shown in FIG. 5D, in the horizontal line, the image data of the first line and the second line are (1, 1L), (1, 1L), (3, 1L), (3, 3) from the left. 1L)..., Image data d in which the image data of the third and fourth lines are (1,3L), (1,3L), (3,3L), (3,3L) from the left side Is done. The second scaler 133 outputs the generated image data d to the LCD controller 14.

なお、この拡大処理による精細度の低下によって、画像のボケや斜め線のギザギザ(ジャギー)が目立つような場合には、これらを低減させるため、バイキュービックやスプライン関数を使用した高画質な拡大アルゴリズムを使用してもよい。また、一般的に、人間は、利き眼で物体を主体的に見ており、利き目ではない方の眼は補助的に使用していることから、CPU7から供給する画像データaを利き目用の画像データとし、生成した画像データを他方の眼用の画像データとするのが好ましい。また、利き目は、人によって異なるため、携帯電話100は、CPU7から供給する画像データa(原画像データ)をどちらの眼用に使用するかについて、ユーザに選択させるためのユーザインタフェースを備えてもよい。   In addition, when the blurring of the image and the jaggedness (jaggy) of the diagonal lines are noticeable due to the reduction in definition due to the enlargement processing, a high-quality enlargement algorithm using bicubic or spline functions is used to reduce them. May be used. In general, humans mainly view objects with their dominant eyes and use the non-dominant eyes as an auxiliary. Therefore, the image data a supplied from the CPU 7 is used for the dominant eyes. Preferably, the generated image data is image data for the other eye. In addition, since the dominant eye differs depending on the person, the mobile phone 100 includes a user interface for allowing the user to select which eye the image data a (original image data) supplied from the CPU 7 is to be used for. Also good.

LCDコントローラ14は、CPU7から出力された画像データa(右眼用画像データ)と、第2のスケーラ133から出力された画像データd(左眼用画像データ)とを所定のフォーマットに基づいて合成する。具体的には、LCDコントローラ14は、図5Eに示すように、奇数列目に画像データa(右眼用画像データ)を配置し、偶数列目に画像データd(左眼用画像データ)を配置することで、画像データe(立体視用画像データ)を生成する。   The LCD controller 14 combines the image data a (right eye image data) output from the CPU 7 and the image data d (left eye image data) output from the second scaler 133 based on a predetermined format. To do. Specifically, as shown in FIG. 5E, the LCD controller 14 arranges the image data a (right-eye image data) in the odd-numbered columns and the image data d (left-eye image data) in the even-numbered columns. By arranging, image data e (stereoscopic image data) is generated.

即ち、LCDコントローラ14は、右眼用画像データと左眼用画像データとが1列毎に交互に並ぶように合成することで、画像データeを生成し、生成した画像データeを表示部15に出力する。図6は、表示部15、視差バリア16及びユーザ視点のそれぞれの位置関係を示す平面図である。図6において、152は液晶パネル、151はバックライト、171はユーザの右眼,172は左眼である。   That is, the LCD controller 14 generates the image data e by combining the right-eye image data and the left-eye image data so that they are alternately arranged for each column, and the generated image data e is displayed on the display unit 15. Output to. FIG. 6 is a plan view showing the positional relationship between the display unit 15, the parallax barrier 16, and the user viewpoint. In FIG. 6, 152 is a liquid crystal panel, 151 is a backlight, 171 is a user's right eye, and 172 is a left eye.

視差バリア16のハッチングを施してある部分は、光を遮蔽する部分であり、白い部分は、光を透過する部分である。図6において、視差バリア16は、例えば、右眼用画像(1,1R),(3,1R),(5,1R)からの光線が右眼171に入射し、左眼用画像(1,1L),(3,1L),(5,1L)からの光線が左眼172に入射する位置に配置されている。これにより、ユーザが、左右の眼でそれぞれの視点の画像を観視することにより、表示部15に表示された画像(立体視用画像)を立体画像として認識することができる。   The hatched portion of the parallax barrier 16 is a portion that shields light, and the white portion is a portion that transmits light. In FIG. 6, the parallax barrier 16 is configured such that, for example, light rays from the right eye images (1, 1R), (3, 1R), (5, 1R) enter the right eye 171 and the left eye image (1, 1R). 1L), (3, 1L), and (5, 1L) are arranged at positions where the light rays enter the left eye 172. Thereby, the user can recognize the image (stereoscopic image) displayed on the display unit 15 as a stereoscopic image by viewing the images of the respective viewpoints with the left and right eyes.

図7A〜図7Hに、各処理段階における画像データの具体的な画像イメージを示す。図7Aは、画像データa(原画像データ)の画像イメージであり、ここでは、点線の密度で精細度、画像の大きさで画素数を表している。図7Bは、第1のスケーラ131が出力する画像データbの画像イメージを示す。画像データbは、画像データaの構成画素を横方向、垂直方向それぞれについて、2分の1に縮小することで得られるため、その画像サイズはQVGAとなる。   7A to 7H show specific image images of the image data at each processing stage. FIG. 7A is an image of the image data a (original image data). Here, the density is indicated by the density of dotted lines, and the number of pixels is indicated by the size of the image. FIG. 7B shows an image of the image data b output from the first scaler 131. Since the image data b is obtained by reducing the constituent pixels of the image data a by half in each of the horizontal direction and the vertical direction, the image size is QVGA.

図7Cは、他視点画像生成部132によって生成された画像データc(他視点画像データ)の画像イメージを示す。他視点画像生成部132は、画像データb(図7B参照)をユーザの左眼から見た画像(他視点画像)のデータに変換する。このため、本例では、顔の方向が左右反転した、図7Cのような画像イメージとなる。図7Dは、第2のスケーラ133により生成された画像データdの画像イメージを示す。画像データdは、画像データaの画像サイズを縦横2倍に拡大した結果得られるため、画像サイズはVGAとなるが、精細度は2分の1となる。   FIG. 7C shows an image of the image data c (other viewpoint image data) generated by the other viewpoint image generator 132. The other-viewpoint image generation unit 132 converts the image data b (see FIG. 7B) into data of an image (other-viewpoint image) viewed from the user's left eye. For this reason, in this example, the image is as shown in FIG. FIG. 7D shows an image of the image data d generated by the second scaler 133. Since the image data d is obtained as a result of enlarging the image size of the image data a twice vertically and horizontally, the image size is VGA, but the definition is halved.

図7Eは、LCDコントローラ14によって生成された画像データeの画像イメージ、即ち、表示部15に表示される立体視用画像の画像イメージを示す。LCDコントローラ14により、図7Aに示す画像データa(即ち、右眼用画像データ)と、図7Dに示す画像データd(即ち、左眼用画像データ)とが、それぞれ1列毎に合成されることで、図7Eに示すような1列毎に右眼用画像と左眼用画像が入り混じった画像が表示部15に表示される。   FIG. 7E shows an image of the image data e generated by the LCD controller 14, that is, an image of a stereoscopic image displayed on the display unit 15. The LCD controller 14 combines the image data a shown in FIG. 7A (that is, image data for the right eye) and the image data d shown in FIG. 7D (that is, image data for the left eye) for each column. Thus, an image in which the image for the right eye and the image for the left eye are mixed for each column as shown in FIG. 7E is displayed on the display unit 15.

この立体視用画像に対し、視差バリア16を用いることにより、ユーザの右眼には、図7Fに示すような右眼視点の画像からの光線が入射し、左眼には、図7Gに示すような、左眼視点の画像からの光線が入射する。このため、ユーザには、図7Hに示すように、表示された画像が立体的な画像として視認される。   By using the parallax barrier 16 for the stereoscopic image, light rays from the right-eye viewpoint image as shown in FIG. 7F are incident on the user's right eye, and the left eye is shown in FIG. 7G. Such a light ray from the image of the left eye viewpoint enters. For this reason, as shown in FIG. 7H, the displayed image is visually recognized by the user as a stereoscopic image.

このように、本実施形態の携帯電話100(画像表示装置)によれば、立体画像変換処理部13は、供給された原画像データ(画像データa)の画素数を所定の画素数に変換した画像データbを生成し、かかる画像データbに基づいて、他視点画像データcを生成する。したがって、原画像データの画素数にかかわらず立体視用画像データを作成でき、しかも、処理負荷や使用するデータベースの規模を増大させることがない。   Thus, according to the mobile phone 100 (image display apparatus) of the present embodiment, the stereoscopic image conversion processing unit 13 converts the number of pixels of the supplied original image data (image data a) into a predetermined number of pixels. Image data b is generated, and other viewpoint image data c is generated based on the image data b. Therefore, stereoscopic image data can be created regardless of the number of pixels of the original image data, and the processing load and the scale of the database to be used are not increased.

本実施形態では、第1のスケーラ131で原画像データを縦横2分の1に縮小し、第2のスケーラ133で縦横2倍に拡大する場合の例について述べたが、縮小・拡大倍率は、これに限定されない。要は、第1のスケーラ131が、原画像データの画素数を他視点画像生成部132が対応可能な画素数に変換できればよい。例えば、原画像データの画素数が、他視点画像生成部13の対応可能な画素数より少ない場合では、第1のスケーラ131は、原画像データの画素数を増加させる方向で変換してもよい。   In the present embodiment, the example in which the original scaler 131 reduces the original image data to half the length and width and the second scaler 133 enlarges the length and breadth by two times has been described. It is not limited to this. In short, it is only necessary that the first scaler 131 can convert the number of pixels of the original image data into the number of pixels that can be handled by the other viewpoint image generation unit 132. For example, when the number of pixels of the original image data is smaller than the number of pixels that can be handled by the other viewpoint image generation unit 13, the first scaler 131 may perform conversion in a direction that increases the number of pixels of the original image data. .

同様に、第2のスケーラ133は、生成する画像データの画素数を原画像データの画像数と一致させることができればよく、さらに言えば、他視点画像処理部132から出力される画像データcの画素数が、表示部15の対応画素数より多い場合では、第2のスケーラ133は、画像データcの画素数を減らすことで、画像データdを生成してもよい。要するに、第2のスケーラ133の拡大、縮小倍率は、他視点画像生成部13から出力された画像データcの画素数を原画像データの画素数と同じにできるような値に設定すればよい。   Similarly, the second scaler 133 only needs to be able to match the number of pixels of the generated image data with the number of images of the original image data, and more specifically, the second scaler 133 of the image data c output from the other viewpoint image processing unit 132. When the number of pixels is larger than the number of corresponding pixels of the display unit 15, the second scaler 133 may generate the image data d by reducing the number of pixels of the image data c. In short, the enlargement / reduction magnification of the second scaler 133 may be set to a value that allows the number of pixels of the image data c output from the other viewpoint image generation unit 13 to be the same as the number of pixels of the original image data.

さらに、原画像データの画素数が表示部15の対応画素数と一致していない場合は、LCDコントローラ14の後段または立体画像変換処理部13の後段に第3のスケーラを設け、原画像データ及び第2のスケーラ133から出力されるそれぞれの画像データ対して、同じ倍率で拡大または縮小を施して、表示部15の対応画素数と一致させるようにしてもよい。   Further, when the number of pixels of the original image data does not match the number of corresponding pixels of the display unit 15, a third scaler is provided after the LCD controller 14 or after the stereoscopic image conversion processing unit 13, and the original image data and The respective image data output from the second scaler 133 may be enlarged or reduced at the same magnification so as to match the corresponding number of pixels of the display unit 15.

あるいは、表示部15の対応画素数と一致させる処理を行わず、例えば、表示部15の対応画素数より少ない場合では、縮小表示してもよいし、これとは逆に表示部15の対応画素数より多い場合では、画像の一部を拡大表示してもよい。   Alternatively, the process of matching the number of corresponding pixels of the display unit 15 is not performed. For example, when the number of corresponding pixels is smaller than that of the display unit 15, reduced display may be performed. When the number is larger than the number, a part of the image may be enlarged and displayed.

また、立体画像変換処理部13は、CPU7あるいはLCDコントローラ14に内蔵させてもよい。   Further, the stereoscopic image conversion processing unit 13 may be incorporated in the CPU 7 or the LCD controller 14.

(第2実施形態)
続いて、本発明の第2実施形態係る携帯電話100について説明する。なお、以下の説明において、第1実施形態と同一部分については、同一符号を付し、説明を省略する。
(Second Embodiment)
Next, the mobile phone 100 according to the second embodiment of the present invention will be described. In the following description, the same parts as those in the first embodiment are denoted by the same reference numerals and description thereof is omitted.

図8は、第2実施形態に係る携帯電話100の構成を示すブロック図である。第1実施形態の携帯電話100は、表示部15の画面全体に立体視用画像を表示していたが、本実施形態の携帯電話100は、立体画像表示エリア検出部18を設け、CPU7が指定した画面エリアのみに立体視用画像の表示を行う。   FIG. 8 is a block diagram showing a configuration of the mobile phone 100 according to the second embodiment. The mobile phone 100 according to the first embodiment displays the stereoscopic image on the entire screen of the display unit 15. However, the mobile phone 100 according to the present embodiment includes the stereoscopic image display area detection unit 18 and is designated by the CPU 7. The stereoscopic image is displayed only in the screen area.

例えば、携帯電話では、図9Aに示すような表示態様で画像を表示するケースが多い。図9Aでは、画面上部に携帯電話網の電界強度を示すアンテナピクトと、バッテリーの残量を示すバッテリーアイコンが表示され、中央部に任意の画像(ここでは、人物の顔画像)が表示され、下部にキー6の機能を示すソフトウェアキーが表示されている。   For example, mobile phones often display images in a display mode as shown in FIG. 9A. In FIG. 9A, an antenna picture indicating the electric field strength of the mobile phone network and a battery icon indicating the remaining battery level are displayed at the top of the screen, and an arbitrary image (here, a human face image) is displayed at the center. A software key indicating the function of the key 6 is displayed at the bottom.

本実施形態の携帯電話100は、このように、任意画像の表示エリアが限定されている場合でも、当該任意画像(この場合は、顔画像)のみを立体表示できることに特徴を有する。以下、かかる特徴を具体的に説明する。   As described above, the mobile phone 100 according to the present embodiment is characterized in that only the arbitrary image (in this case, a face image) can be stereoscopically displayed even when the display area of the arbitrary image is limited. Hereinafter, this feature will be specifically described.

CPU7は、図9Aに示すような画像データ(全体画像データ)と、立体視用画像の表示エリアを特定するための情報(具体的には、表示部15の画面エリア上の座標情報)とを立体画像表示エリア検出部18に供給する。立体画像表示エリア検出部18は、全体画像データから図9Bに示すように顔画像部分を抽出し、立体画像変換処理部13へ出力する。また、立体画像表示エリア検出部18は、図9Aの全体画像データを右眼用画像データとして、上記の座標情報と共にLCDコントローラ14へ出力する。   The CPU 7 obtains image data (entire image data) as shown in FIG. 9A and information for specifying the display area of the stereoscopic image (specifically, coordinate information on the screen area of the display unit 15). This is supplied to the stereoscopic image display area detection unit 18. The stereoscopic image display area detection unit 18 extracts a face image portion from the entire image data as illustrated in FIG. 9B and outputs the face image portion to the stereoscopic image conversion processing unit 13. In addition, the stereoscopic image display area detection unit 18 outputs the entire image data in FIG. 9A as image data for the right eye to the LCD controller 14 together with the coordinate information.

立体画像変換処理部13は、第1実施形態と同様の手順により、図9Cに示すような左眼用画像データを生成して、LCDコントローラ14へ出力する。LCDコントローラ14は、立体画像表示エリア検出部18から出力された図9Aの全体画像データと、立体画像変換処理部13から出力された左眼用画像データとを、表示部15の画面エリア上の座標情報に基づいて合成し、表示部15へ出力する。   The stereoscopic image conversion processing unit 13 generates image data for the left eye as shown in FIG. 9C and outputs the image data to the LCD controller 14 in the same procedure as in the first embodiment. The LCD controller 14 uses the entire image data of FIG. 9A output from the stereoscopic image display area detection unit 18 and the left-eye image data output from the stereoscopic image conversion processing unit 13 on the screen area of the display unit 15. Based on the coordinate information, they are combined and output to the display unit 15.

その結果、ユーザは、視差バリア16を介して表示部15の画像を観視すると、図9Dに示すように、人物の顔画像部分のみを立体画像として認識することがきる。   As a result, when the user views the image on the display unit 15 through the parallax barrier 16, as shown in FIG. 9D, only the face image portion of the person can be recognized as a stereoscopic image.

ここでは、任意画像部分を立体表示する場合の例について説明したが、これに限定されることは勿論ない。例えば、アンテナピクトやバッテリーアイコン、ソフトウェアキー画像部分のみを立体画像変換処理部13に出力することにより、任意画像(例えば、顔画像)以外の部分を3D化してもよいし、全体的に3D化してもよい。   Here, an example in which an arbitrary image portion is stereoscopically displayed has been described, but the present invention is not limited to this. For example, by outputting only the antenna pictogram, battery icon, and software key image portion to the stereoscopic image conversion processing unit 13, a portion other than an arbitrary image (for example, a face image) may be converted to 3D, or converted to 3D as a whole. May be.

また、立体画像表示エリア検出部18は、CPU7に内蔵させてもよい。   Further, the stereoscopic image display area detection unit 18 may be incorporated in the CPU 7.

(第3実施形態)
続いて、本発明の第3実施形態係る携帯電話100について説明する。なお、以下の説明において、第1実施形態と同一部分については、同一符号を付し、説明を省略する。
(Third embodiment)
Subsequently, a mobile phone 100 according to a third embodiment of the present invention will be described. In the following description, the same parts as those in the first embodiment are denoted by the same reference numerals and description thereof is omitted.

図10は、第3実施形態に係る携帯電話100の構成を示すブロック図である。
図10に示すように、第3実施形態の携帯電話100は、画像処理用のアプリケーションプロッセッサ19(以下、AP19と略す。)と、CPU7から出力された画像データと、AP19から出力された画像データのそれぞれの出力経路を選択する経路選択部20を設けた点が、実施形態1の携帯電話100と異なる。
FIG. 10 is a block diagram showing a configuration of the mobile phone 100 according to the third embodiment.
As shown in FIG. 10, the mobile phone 100 of the third embodiment includes an image processing application processor 19 (hereinafter abbreviated as AP 19), image data output from the CPU 7, and an image output from the AP 19. The mobile phone 100 according to the first embodiment is different from the mobile phone 100 according to the first embodiment in that a route selection unit 20 that selects each data output route is provided.

本実施形態の携帯電話100は、表示部15に任意画像(ユーザが所望する画像等)を立体表示する際、CPU7から、図11Aに示すような背景画像データが経路選択部20へ出力され、図11Bに示すような任意画像(ここでは、人物の顔画像)データが、経路選択部20へ出力される。   When the mobile phone 100 according to the present embodiment stereoscopically displays an arbitrary image (an image desired by the user) on the display unit 15, background image data as illustrated in FIG. 11A is output from the CPU 7 to the route selection unit 20. Arbitrary image (here, human face image) data as shown in FIG. 11B is output to the route selection unit 20.

経路選択部20は、CPU7の制御の下、CPU7から出力された背景画像データをLCDコントローラ14へ出力し、AP19から出力された顔画像データを立体画像変換処理部13へ出力する。立体画像変換処理部13は、上述した第1実施形態と同様の手順で、AP19から出力された顔画像データ、即ち、ユーザの利き眼に対応する画像データ(ここでは、右眼用画像データ)を基に、左眼用画像データを作成し、右眼用画像データ及び作成した左眼用画像データをLCDコントローラ14へ出力する。   Under the control of the CPU 7, the route selection unit 20 outputs the background image data output from the CPU 7 to the LCD controller 14, and outputs the face image data output from the AP 19 to the stereoscopic image conversion processing unit 13. The stereoscopic image conversion processing unit 13 performs face image data output from the AP 19, that is, image data corresponding to the dominant eye of the user (here, image data for the right eye) in the same procedure as in the first embodiment described above. The left-eye image data is created based on the above, and the right-eye image data and the created left-eye image data are output to the LCD controller 14.

LCDコントローラ14は、立体画像変換処理部13から出力された右眼用画像データと左眼用画像データを合成して、図11Cに示すような立体視用画像データを生成する。そして、LCDコントローラ14は、生成した立体視用画像データと、経路選択部20から出力された背景画像データとを再度合成して、表示部15へ出力する。   The LCD controller 14 combines the right-eye image data and the left-eye image data output from the stereoscopic image conversion processing unit 13 to generate stereoscopic image data as shown in FIG. 11C. Then, the LCD controller 14 synthesizes the generated stereoscopic image data and the background image data output from the route selection unit 20 again, and outputs them to the display unit 15.

その結果、ユーザは、視差バリア16を介して表示部15の画像を観視すると、図11Dに示すように、人物の顔画像部分のみを立体画像として認識することがきる。   As a result, when the user views the image on the display unit 15 through the parallax barrier 16, as shown in FIG. 11D, only the face image portion of the person can be recognized as a stereoscopic image.

ここでは、AP19から出力される画像データに基づく画像のみを立体表示する場合の例について説明したが、これに限定されることは勿論ない。例えば、経路選択部20が、CPU7から供給される画像データを立体画像変換処理部13へ出力し、AP19から出力される画像データをLCDコントローラ14へ出力することで、背景画像部分のみを立体表示させることもできる。   Here, an example in which only an image based on image data output from the AP 19 is stereoscopically displayed has been described, but the present invention is not limited to this. For example, the route selection unit 20 outputs the image data supplied from the CPU 7 to the stereoscopic image conversion processing unit 13, and outputs the image data output from the AP 19 to the LCD controller 14, so that only the background image portion is stereoscopically displayed. It can also be made.

また、AP19で経路選択部20の出力系統を制御してもよいし、あるいは、AP19から出力される画像データは、必ず立体画像変換処理部13へ出力されるようにしてもよい。   Further, the output system of the route selection unit 20 may be controlled by the AP 19, or the image data output from the AP 19 may be output to the stereoscopic image conversion processing unit 13 without fail.

また、経路選択部20は、CPU7またはAP19に内蔵させてもよい。   The route selection unit 20 may be built in the CPU 7 or the AP 19.

なお、本発明は、上記何れの実施形態にも限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。   The present invention is not limited to any of the above-described embodiments, and various modifications can be made without departing from the scope of the present invention.

例えば、上記各実施形態では、視差バリア16を使用して左右眼用画像を分離する場合の例について説明したが、これに限られず、1画素または1ライン単位で直線偏光板や円偏光板などの偏光板を設け、偏光眼鏡を使用して左右眼用画像を分離してもよい。あるいは、左右眼用画像を時分割で交互に表示し、液晶シャッター眼鏡を使用して左右眼用画像を分離しても構わない。この場合、LCDコントローラが、上記偏光板の構成に応じて左右眼用画像の並び方を制御したり、左右眼用画像の表示タイミングを制御したりするのが好ましい。   For example, in each of the above-described embodiments, an example of separating the left and right eye images using the parallax barrier 16 has been described. However, the present invention is not limited to this, and a linearly polarizing plate, a circularly polarizing plate, etc. The polarizing plate may be provided, and the left and right eye images may be separated using polarizing glasses. Alternatively, the left and right eye images may be alternately displayed in a time division manner, and the left and right eye images may be separated using liquid crystal shutter glasses. In this case, it is preferable that the LCD controller controls the arrangement of the left and right eye images or the display timing of the left and right eye images according to the configuration of the polarizing plate.

また、プログラムの適用により、既存の携帯電話等の画像表示装置を本発明に係る画像表示装置として機能させることも可能である。即ち、上述したCPU7が実行したようなプログラムを、既存の画像表示装置に適用し、当該画像表示装置を制御するコンピュータ(CPUなど)がそれを実行することで、上述した各機能構成や処理が実現され得る。   Further, by applying the program, it is possible to cause an existing image display device such as a mobile phone to function as the image display device according to the present invention. That is, by applying the program executed by the CPU 7 described above to an existing image display device and executing it by a computer (such as a CPU) that controls the image display device, each functional configuration and process described above can be performed. Can be realized.

このようなプログラムの配布方法は任意であり、例えば、メモリカードなどの記録媒体に格納して配布可能である他、例えば、インターネットなどの通信ネットワークを介して配布することもできる。そして、このようにして配布されたプログラムを携帯電話等の画像表示装置にインストールして適用することで、上述した携帯端末100と同様な機能を実現することができる。   Such a program distribution method is arbitrary. For example, the program can be distributed by being stored in a recording medium such as a memory card, or can be distributed through a communication network such as the Internet. Then, by installing and applying the distributed program to an image display device such as a mobile phone, the same functions as those of the mobile terminal 100 described above can be realized.

本発明の第1実施形態に係る携帯電話の構成を示す図である。It is a figure which shows the structure of the mobile telephone which concerns on 1st Embodiment of this invention. 視差バリアのストライプの方向を示す図(その1)である。It is FIG. (1) which shows the direction of the stripe of a parallax barrier. 視差バリアのストライプの方向を示す図(その2)である。It is FIG. (2) which shows the direction of the stripe of a parallax barrier. 視差バリアのストライプの方向を示す図(その3)である。FIG. 11 is a diagram (part 3) illustrating the direction of stripes of the parallax barrier; 第1実施形態に係る携帯電話が備える立体画像変換処理部の構成を示す図である。It is a figure which shows the structure of the stereo image conversion process part with which the mobile telephone which concerns on 1st Embodiment is provided. 立体画像変換処理部が実行する立体画像変換処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the stereo image conversion process which a stereo image conversion process part performs. 原画像データを示す図である。It is a figure which shows original image data. 第1のスケーラから出力される画像データを示す図である。It is a figure which shows the image data output from a 1st scaler. 他視点画像生成部から出力される画像データを示す図である。It is a figure which shows the image data output from an other viewpoint image generation part. 第2のスケーラから出力される画像データを示す図である。It is a figure which shows the image data output from a 2nd scaler. LCDコントローラから出力される画像データを示す図である。It is a figure which shows the image data output from a LCD controller. 表示部、視差バリア及びユーザ視点のそれぞれの位置関係を説明するための平面図である。It is a top view for demonstrating each positional relationship of a display part, a parallax barrier, and a user viewpoint. 原画像データの画像イメージを示す図である。It is a figure which shows the image image of original image data. 第1のスケーラから出力される画像データの画像イメージを示す図である。It is a figure which shows the image image of the image data output from a 1st scaler. 他視点画像生成部から出力される画像データの画像イメージを示す図である。It is a figure which shows the image image of the image data output from an other viewpoint image generation part. 第2のスケーラから出力される画像データの画像イメージを示す図である。It is a figure which shows the image image of the image data output from a 2nd scaler. LCDコントローラから出力される画像データの画像イメージを示す図である。It is a figure which shows the image image of the image data output from an LCD controller. ユーザの右眼に入射する右眼視点の画像を説明するための図である。It is a figure for demonstrating the image of the right eye viewpoint which injects into a user's right eye. ユーザの左眼に入射する左眼視点の画像を説明するための図である。It is a figure for demonstrating the image of the left eye viewpoint which injects into a user's left eye. ユーザによって視認される立体画像のイメージを示す図である。It is a figure which shows the image of the stereo image visually recognized by the user. 本発明の第2実施形態に係る携帯電話の構成を示す図である。It is a figure which shows the structure of the mobile telephone which concerns on 2nd Embodiment of this invention. 第2実施形態において、CPUが供給する全体画像データの画像イメージを示す図である。In 2nd Embodiment, it is a figure which shows the image image of the whole image data which CPU supplies. 第2実施形態において、立体画表示エリア検出部から出力される画像データの画像イメージを示す図である。In 2nd Embodiment, it is a figure which shows the image image of the image data output from the three-dimensional image display area detection part. 第2実施形態において、立体画像変換処理部から出力される画像データの画像イメージを示す図である。In 2nd Embodiment, it is a figure which shows the image image of the image data output from a stereo image conversion process part. 第2実施形態において、ユーザによって視認される立体画像のイメージを示す図である。In 2nd Embodiment, it is a figure which shows the image of the stereo image visually recognized by the user. 本発明の第3実施形態に係る携帯電話の構成を示す図である。It is a figure which shows the structure of the mobile telephone which concerns on 3rd Embodiment of this invention. 第3実施形態において、CPUが供給する背景画像データの画像イメージを示す図である。In 3rd Embodiment, it is a figure which shows the image image of the background image data which CPU supplies. 第3実施形態において、CPUが供給する任意画像データの画像イメージを示す図である。In 3rd Embodiment, it is a figure which shows the image image of the arbitrary image data which CPU supplies. 第2実施形態において、LCDコントローラから出力される立体視用画像データの画像イメージを示す図である。In 2nd Embodiment, it is a figure which shows the image image of the image data for stereoscopic vision output from the LCD controller. 第3実施形態において、ユーザによって視認される立体画像のイメージを示す図である。In 3rd Embodiment, it is a figure which shows the image of the stereo image visually recognized by the user.

符号の説明Explanation of symbols

1…通信アンテナ、2…無線回路、3…符号復号処理回路、4…マイク、5…レシーバ、6…キー、7…CPU、8…CPUバス、9…メモリ、10…DAC、11…スピーカ、12…ビデオI/F、13…立体画像変換処理部、131…第1のスケーラ、132…他視点画像生成部、133…第2のスケーラ、14…LCDコントローラ、15…表示部、151…バックライト、152…液晶パネル、16…視差バリア、171…右眼、172…左眼、18…立体画像表示エリア検出部、19…AP、20…経路選択部   DESCRIPTION OF SYMBOLS 1 ... Communication antenna, 2 ... Wireless circuit, 3 ... Code decoding process circuit, 4 ... Microphone, 5 ... Receiver, 6 ... Key, 7 ... CPU, 8 ... CPU bus, 9 ... Memory, 10 ... DAC, 11 ... Speaker, DESCRIPTION OF SYMBOLS 12 ... Video I / F, 13 ... Stereoscopic image conversion process part, 131 ... 1st scaler, 132 ... Other viewpoint image generation part, 133 ... 2nd scaler, 14 ... LCD controller, 15 ... Display part, 151 ... Back Light, 152 ... Liquid crystal panel, 16 ... Parallax barrier, 171 ... Right eye, 172 ... Left eye, 18 ... Stereoscopic image display area detector, 19 ... AP, 20 ... Path selector

Claims (5)

第1の画像供給手段と、第2の画像供給手段と、経路選択手段と、第1のスケーラと、他視点画像生成手段と、第2のスケーラと、画像合成手段と、表示手段と、を備える画像表示装置であって、
前記第1の画像供給手段は、第1の2次元画像データを前記経路選択手段に出力し、
前記第2の画像供給手段は、第2の2次元画像データを前記経路選択手段に出力し、
前記経路選択手段は、前記第1の2次元画像データ及び前記第2の2次元画像データの何れか一方を前記第1のスケーラに出力し、前記第1の2次元画像データ及び前記第2の2次元画像データを前記画像合成手段に出力し、
前記第1のスケーラは、前記経路選択手段から入力した前記2次元画像データの画素数を前記他視点画像生成手段が対応可能な画素数に変換し、
前記他視点画像生成手段は、前記第1のスケーラによる前記変換の結果得られた画像データを解析し、他視点の画像データを生成し、
前記第2のスケーラは、前記他視点画像生成手段により生成された前記画像データの画素数を前記第1のスケーラが入力した前記2次元画像データの画素数に変換し、
前記画像合成手段は、
前記経路選択手段から入力した前記第1の2次元画像データ及び前記第2の2次元画像データの内、前記第1のスケーラが入力した前記2次元画像データと内容が同一の方の2次元画像データと、前記第2のスケーラによる前記変換の結果得られた画像データと、を所定のフォーマットに基づいて合成し、その合成によって得られた画像データと、前記第1の2次元画像データ及び前記第2の2次元画像データの内、前記第1のスケーラが入力した前記2次元画像データと内容が異なる方の2次元画像データと、を合成することで、立体視用の画像データを生成し、
前記表示手段は、前記画像合成手段により生成された前記画像データに基づく画像を表示し、
記第1のスケーラが入力した前記2次元画像データ及び前記第2のスケーラによって得られた前記画像データ何れか一方は、右眼用の画像データであり、他方は、左眼用の画像データである、
ことを特徴とする画像表示装置。
First image supply means, second image supply means, route selection means, first scaler, other viewpoint image generation means, second scaler, image composition means, and display means An image display device comprising:
The first image supply means outputs first two-dimensional image data to the route selection means,
The second image supply means outputs second two-dimensional image data to the route selection means;
The route selection means outputs either the first two-dimensional image data or the second two-dimensional image data to the first scaler, and the first two-dimensional image data and the second two-dimensional image data. Outputting two-dimensional image data to the image composition means;
The first scaler converts the number of pixels of the two-dimensional image data input from the path selection unit into the number of pixels that the other viewpoint image generation unit can handle,
The other-viewpoint image generation means analyzes the image data obtained as a result of the conversion by the first scaler, and generates other-viewpoint image data,
The second scaler converts the number of pixels of the image data generated by the other viewpoint image generation means into the number of pixels of the two-dimensional image data input by the first scaler,
The image composition means includes
Of the first two-dimensional image data and the second two-dimensional image data input from the route selection means, a two-dimensional image having the same content as the two-dimensional image data input by the first scaler Data and image data obtained as a result of the conversion by the second scaler based on a predetermined format, the image data obtained by the synthesis, the first two-dimensional image data, and the By combining the second 2D image data of the second 2D image data and the 2D image data having a different content from the 2D image data input by the first scaler, the image data for stereoscopic vision is generated. ,
The display means displays an image based on the image data generated by the image composition means,
Is one of the image data obtained by the previous SL first scaler said 2-dimensional image data and the second scaler entered is image data for the right eye and the other, for the left eye Image data,
An image display device characterized by that.
前記表示手段により表示される右眼用の画像及び左眼用の画像からの光線が、それぞれ対応するユーザの眼に入射されるようにする視差バリアをさらに備える、
ことを特徴とする請求項1に記載の画像表示装置。
It further includes a parallax barrier that allows light from the right-eye image and the left-eye image displayed by the display unit to be incident on the corresponding user's eyes, respectively.
The image display apparatus according to claim 1.
前記経路選択手段から前記第1のスケーラへ出力される前記2次元画像データは、ユーザの利き眼用の画像データであり、前記他視点画像生成手段により生成される前記画像データは、ユーザの非利き眼用の画像データである、
ことを特徴とする請求項1又は2に記載の画像表示装置。
The two-dimensional image data output from the route selection unit to the first scaler is image data for a user's dominant eye, and the image data generated by the other viewpoint image generation unit It is image data for the dominant eye,
The image display apparatus according to claim 1 or 2, characterized in that.
ユーザの利き眼についての情報の入力をユーザから受け付けるユーザインタフェースをさらに備える、
ことを特徴とする請求項に記載の画像表示装置。
A user interface that accepts input of information about the user's dominant eye from the user;
The image display device according to claim 3 .
コンピュータを、
第1の画像供給手段、第2の画像供給手段、経路選択手段、第1のスケーラ、他視点画像生成手段、第2のスケーラ、画像合成手段、として機能させ、
前記第1の画像供給手段は、第1の2次元画像データを前記経路選択手段に出力し、
前記第2の画像供給手段は、第2の2次元画像データを前記経路選択手段に出力し、
前記経路選択手段は、前記第1の2次元画像データ及び前記第2の2次元画像データの何れか一方を前記第1のスケーラに出力し、前記第1の2次元画像データ及び前記第2の2次元画像データを前記画像合成手段に出力し、
前記第1のスケーラは、前記経路選択手段から入力した前記2次元画像データの画素数を前記他視点画像生成手段が対応可能な画素数に変換し、
前記他視点画像生成手段は、前記第1のスケーラによる前記変換の結果得られた画像データを解析し、他視点の画像データを生成し、
前記第2のスケーラは、前記他視点画像生成手段により生成された前記画像データの画素数を前記第1のスケーラが入力した前記2次元画像データの画素数に変換し、
前記画像合成手段は、
前記経路選択手段から入力した前記第1の2次元画像データ及び前記第2の2次元画像データの内、前記第1のスケーラが入力した前記2次元画像データと内容が同一の方の2次元画像データと、前記第2のスケーラによる前記変換の結果得られた画像データと、を所定のフォーマットに基づいて合成し、その合成によって得られた画像データと、前記第1の2次元画像データ及び前記第2の2次元画像データの内、前記第1のスケーラが入力した前記2次元画像データと内容が異なる方の2次元画像データと、を合成することで、立体視用の画像データを生成し、
前記第1のスケーラが入力した前記2次元画像データ及び前記第2のスケーラによって得られた前記画像データ何れか一方は、右眼用の画像データであり、他方は、左眼用の画像データである、
ことを特徴とするプログラム。
Computer
Function as first image supply means, second image supply means, route selection means, first scaler, other viewpoint image generation means, second scaler, image composition means,
The first image supply means outputs first two-dimensional image data to the route selection means,
The second image supply means outputs second two-dimensional image data to the route selection means;
The route selection means outputs either the first two-dimensional image data or the second two-dimensional image data to the first scaler, and the first two-dimensional image data and the second two-dimensional image data. Outputting two-dimensional image data to the image composition means;
The first scaler converts the number of pixels of the two-dimensional image data input from the path selection unit into the number of pixels that the other viewpoint image generation unit can handle,
The other-viewpoint image generation means analyzes the image data obtained as a result of the conversion by the first scaler, and generates other-viewpoint image data,
The second scaler converts the number of pixels of the image data generated by the other viewpoint image generation means into the number of pixels of the two-dimensional image data input by the first scaler,
The image composition means includes
Of the first two-dimensional image data and the second two-dimensional image data input from the route selection means, a two-dimensional image having the same content as the two-dimensional image data input by the first scaler Data and image data obtained as a result of the conversion by the second scaler based on a predetermined format, the image data obtained by the synthesis, the first two-dimensional image data, and the By combining the second 2D image data of the second 2D image data and the 2D image data having a different content from the 2D image data input by the first scaler, the image data for stereoscopic vision is generated. ,
Said one of the image data obtained by the first scaler said 2-dimensional image data and the second scaler entered is image data for the right eye and the other image data for the left eye Is,
A program characterized by that.
JP2008251709A 2008-09-29 2008-09-29 Image display apparatus and program Expired - Fee Related JP5224352B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008251709A JP5224352B2 (en) 2008-09-29 2008-09-29 Image display apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008251709A JP5224352B2 (en) 2008-09-29 2008-09-29 Image display apparatus and program

Publications (2)

Publication Number Publication Date
JP2010087618A JP2010087618A (en) 2010-04-15
JP5224352B2 true JP5224352B2 (en) 2013-07-03

Family

ID=42251166

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008251709A Expired - Fee Related JP5224352B2 (en) 2008-09-29 2008-09-29 Image display apparatus and program

Country Status (1)

Country Link
JP (1) JP5224352B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5268991B2 (en) * 2010-05-18 2013-08-21 株式会社東芝 Information processing apparatus and video content reproduction method
US9035939B2 (en) * 2010-10-04 2015-05-19 Qualcomm Incorporated 3D video control system to adjust 3D video rendering based on user preferences
JP6268795B2 (en) * 2013-08-02 2018-01-31 セイコーエプソン株式会社 Image generation program and printing apparatus
JP6983825B2 (en) * 2019-01-07 2021-12-17 株式会社ユニバーサルエンターテインメント Pachinko machine
CN114994939B (en) * 2022-04-21 2023-03-17 北京伟兴彦科技有限公司 Method and device for realizing 3D display by using 2D display screen

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0635392A (en) * 1992-07-20 1994-02-10 Fujitsu Ltd Stereoscopic display device
JPH1198533A (en) * 1997-09-24 1999-04-09 Sanyo Electric Co Ltd Method for converting two-dimensional video into three-dimensional video
JP2000228778A (en) * 1998-11-30 2000-08-15 Kazunari Era Method for generating stereoscopic vision image data and stereoscopic vision image data generator
JP4222817B2 (en) * 2002-09-27 2009-02-12 シャープ株式会社 Stereoscopic image display apparatus, recording method, and transmission method
JP4419139B2 (en) * 2004-12-27 2010-02-24 日本ビクター株式会社 Depth signal generation device, depth signal generation program, pseudo stereoscopic image generation device, and pseudo stereoscopic image generation program
JP4214529B2 (en) * 2004-12-28 2009-01-28 日本ビクター株式会社 Depth signal generation device, depth signal generation program, pseudo stereoscopic image generation device, and pseudo stereoscopic image generation program
KR101497503B1 (en) * 2008-09-25 2015-03-04 삼성전자주식회사 Method and apparatus for generating depth map for conversion two dimensional image to three dimensional image

Also Published As

Publication number Publication date
JP2010087618A (en) 2010-04-15

Similar Documents

Publication Publication Date Title
US8749712B2 (en) Method for processing on-screen display and associated embedded system
US7894854B2 (en) Image/audio playback device of mobile communication terminal
US20100265315A1 (en) Three-dimensional image combining apparatus
JP5224352B2 (en) Image display apparatus and program
JP5348687B2 (en) Terminal device and program
US20050264650A1 (en) Apparatus and method for synthesizing captured images in a mobile terminal with a camera
WO2011036844A1 (en) Three dimensional image processing device and control method thereof
KR20110096494A (en) Electronic device and method for displaying stereo-view or multiview sequence image
EP2434476A1 (en) Display device, viewing angle control method, computer program storage device with viewing angle control program, and mobile terminal
JP2008109607A (en) Display device, image processing method, and electronic apparatus
US7821575B2 (en) Image processing apparatus, receiver, and display device
JP2015041936A (en) Image display device, image processing apparatus and image processing method
KR20130131787A (en) Image projection module, mobile device including image projection module, and method for the same
WO2022166712A1 (en) Image display method, apparatus, readable medium, and electronic device
CN114245090A (en) Image projection method, laser projection apparatus, and computer-readable storage medium
US20130120527A1 (en) Electronic apparatus and display control method
JP2008098828A (en) Portable terminal equipment
KR20110136414A (en) Display apparatus and control method of the same
JP2000308032A (en) Portable telephone set
JP3672561B2 (en) Moving picture synthesizing apparatus, moving picture synthesizing method, and information terminal apparatus with moving picture synthesizing function
KR101801141B1 (en) Apparatus for displaying image and method for operating the same
KR100761075B1 (en) Liquid Crystal Display Device for having a 3-dimensional camera
JP4133356B2 (en) Image composition apparatus, composition method, and program for realizing the method
CN114915839B (en) Rendering processing method for inserting video support element, electronic terminal and storage medium
WO2012157342A1 (en) Image display device, image display method, and program

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20100806

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130306

R150 Certificate of patent or registration of utility model

Ref document number: 5224352

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160322

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees