JP5224352B2 - Image display apparatus and program - Google Patents
Image display apparatus and program Download PDFInfo
- Publication number
- JP5224352B2 JP5224352B2 JP2008251709A JP2008251709A JP5224352B2 JP 5224352 B2 JP5224352 B2 JP 5224352B2 JP 2008251709 A JP2008251709 A JP 2008251709A JP 2008251709 A JP2008251709 A JP 2008251709A JP 5224352 B2 JP5224352 B2 JP 5224352B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- scaler
- dimensional
- dimensional image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
本発明は、2次元画像データを立体視用の画像データに変換し、かかる画像データに基づく画像を立体視可能に表示する画像表示装置に関する。 The present invention relates to an image display apparatus that converts two-dimensional image data into image data for stereoscopic viewing and displays an image based on the image data so as to be stereoscopically viewable.
3次元(立体視)表示に関して、従来より様々な技術が提案されている(例えば、特許文献1)。特許文献1には、撮像された一の2次元画像から3次元情報を取得することで、立体視画像を表示可能とするカメラが提案されている。
Various techniques have been proposed for three-dimensional (stereoscopic) display (for example, Patent Document 1).
しかしながら、上記特許文献1で開示される発明では、原画像を構成する画素毎に、3次元空間内の点の位置を推定する処理を行うため、原画像の画素数が増加すると、演算処理の負荷が増大するという問題があった。また、位置の推定には、データベース(知識ベース)を必要とするが、かかるデータベースは、原画像の画素数に応じて用意しなければならない。したがって、多様な画素数の画像を取り扱う製品では、全ての画像サイズに対応させようとすると、データベースの容量が増大してしまうという問題があった。
However, in the invention disclosed in
本発明は、上記従来の問題を解決すべくなされたものであり、一の2次元画像データに基づき容易に立体視用の画像データを生成でき、また、処理負荷やデータベースの規模を増大させることなく、多様な画素数の画像データに対応可能な画像表示装置及びプログラムを提供することを目的とする。 The present invention has been made to solve the above-described conventional problems, and can easily generate image data for stereoscopic viewing based on one two-dimensional image data, and increase the processing load and the scale of a database. It is another object of the present invention to provide an image display device and a program that can deal with image data having various numbers of pixels.
上記目的を達成するため、本発明に係る画像表示装置は、
第1の画像供給手段と、第2の画像供給手段と、経路選択手段と、第1のスケーラと、他視点画像生成手段と、第2のスケーラと、画像合成手段と、表示手段と、を備える画像表示装置であって、
前記第1の画像供給手段は、第1の2次元画像データを前記経路選択手段に出力し、
前記第2の画像供給手段は、第2の2次元画像データを前記経路選択手段に出力し、
前記経路選択手段は、前記第1の2次元画像データ及び前記第2の2次元画像データの何れか一方を前記第1のスケーラに出力し、前記第1の2次元画像データ及び前記第2の2次元画像データを前記画像合成手段に出力し、
前記第1のスケーラは、前記経路選択手段から入力した前記2次元画像データの画素数を前記他視点画像生成手段が対応可能な画素数に変換し、
前記他視点画像生成手段は、前記第1のスケーラによる前記変換の結果得られた画像データを解析し、他視点の画像データを生成し、
前記第2のスケーラは、前記他視点画像生成手段により生成された前記画像データの画素数を前記第1のスケーラが入力した前記2次元画像データの画素数に変換し、
前記画像合成手段は、
前記経路選択手段から入力した前記第1の2次元画像データ及び前記第2の2次元画像データの内、前記第1のスケーラが入力した前記2次元画像データと内容が同一の方の2次元画像データと、前記第2のスケーラによる前記変換の結果得られた画像データと、を所定のフォーマットに基づいて合成し、その合成によって得られた画像データと、前記第1の2次元画像データ及び前記第2の2次元画像データの内、前記第1のスケーラが入力した前記2次元画像データと内容が異なる方の2次元画像データと、を合成することで、立体視用の画像データを生成し、
前記表示手段は、前記画像合成手段により生成された前記画像データに基づく画像を表示し、
前記第1のスケーラが入力した前記2次元画像データ及び前記第2のスケーラによって得られた前記画像データの何れか一方は、右眼用の画像データであり、他方は、左眼用の画像データである、ことを特徴とする。
In order to achieve the above object, an image display device according to the present invention provides:
First image supply means, second image supply means, route selection means, first scaler, other viewpoint image generation means, second scaler, image composition means, and display means An image display device comprising:
The first image supply means outputs first two-dimensional image data to the route selection means,
The second image supply means outputs second two-dimensional image data to the route selection means;
The route selection means outputs either the first two-dimensional image data or the second two-dimensional image data to the first scaler, and the first two-dimensional image data and the second two-dimensional image data. Outputting two-dimensional image data to the image composition means;
The first scaler converts the number of pixels of the two-dimensional image data input from the path selection unit into the number of pixels that the other viewpoint image generation unit can handle,
The other-viewpoint image generation means analyzes the image data obtained as a result of the conversion by the first scaler, and generates other-viewpoint image data,
The second scaler converts the number of pixels of the image data generated by the other viewpoint image generation means into the number of pixels of the two-dimensional image data input by the first scaler,
The image composition means includes
Of the first two-dimensional image data and the second two-dimensional image data input from the route selection means, a two-dimensional image having the same content as the two-dimensional image data input by the first scaler Data and image data obtained as a result of the conversion by the second scaler based on a predetermined format, the image data obtained by the synthesis, the first two-dimensional image data, and the By combining the second 2D image data of the second 2D image data and the 2D image data having a different content from the 2D image data input by the first scaler, the image data for stereoscopic vision is generated. ,
The display means displays an image based on the image data generated by the image composition means,
Said one of the image data obtained by the first scaler said 2-dimensional image data and the second scaler entered is image data for the right eye and the other image data for the left eye It is characterized by being.
前記表示手段により表示される右眼用の画像及び左眼用の画像からの光線が、それぞれ対応するユーザの眼に入射されるようにする視差バリアをさらに備える構成にするのが好ましい。 It is preferable to further include a parallax barrier that allows light beams from the right-eye image and the left-eye image displayed by the display unit to enter the corresponding user's eyes.
前記経路選択手段から前記第1のスケーラへ出力される前記2次元画像データは、ユーザの利き眼用の画像データであり、前記他視点画像生成手段により生成される前記画像データは、ユーザの非利き眼用の画像データである、ようにしてもよい。 The two-dimensional image data output from the route selection unit to the first scaler is image data for a user's dominant eye, and the image data generated by the other viewpoint image generation unit You may make it be image data for dominant eyes.
この場合、ユーザの利き眼についての情報の入力をユーザから受け付けるユーザインタフェースをさらに備える構成にしてもよい。 In this case, you may make it the structure further provided with the user interface which receives the input of the information about a user's dominant eye from a user.
また、本発明に係るプログラムは、
コンピュータを、
第1の画像供給手段、第2の画像供給手段、経路選択手段、第1のスケーラ、他視点画像生成手段、第2のスケーラ、画像合成手段、として機能させ、
前記第1の画像供給手段は、第1の2次元画像データを前記経路選択手段に出力し、
前記第2の画像供給手段は、第2の2次元画像データを前記経路選択手段に出力し、
前記経路選択手段は、前記第1の2次元画像データ及び前記第2の2次元画像データの何れか一方を前記第1のスケーラに出力し、前記第1の2次元画像データ及び前記第2の2次元画像データを前記画像合成手段に出力し、
前記第1のスケーラは、前記経路選択手段から入力した前記2次元画像データの画素数を前記他視点画像生成手段が対応可能な画素数に変換し、
前記他視点画像生成手段は、前記第1のスケーラによる前記変換の結果得られた画像データを解析し、他視点の画像データを生成し、
前記第2のスケーラは、前記他視点画像生成手段により生成された前記画像データの画素数を前記第1のスケーラが入力した前記2次元画像データの画素数に変換し、
前記画像合成手段は、
前記経路選択手段から入力した前記第1の2次元画像データ及び前記第2の2次元画像データの内、前記第1のスケーラが入力した前記2次元画像データと内容が同一の方の2次元画像データと、前記第2のスケーラによる前記変換の結果得られた画像データと、を所定のフォーマットに基づいて合成し、その合成によって得られた画像データと、前記第1の2次元画像データ及び前記第2の2次元画像データの内、前記第1のスケーラが入力した前記2次元画像データと内容が異なる方の2次元画像データと、を合成することで、立体視用の画像データを生成し、
前記第1のスケーラが入力した前記2次元画像データ及び前記第2のスケーラによって得られた前記画像データの何れか一方は、右眼用の画像データであり、他方は、左眼用の画像データである、ことを特徴とする。
The program according to the present invention is
Computer
Function as first image supply means, second image supply means, route selection means, first scaler, other viewpoint image generation means, second scaler, image composition means,
The first image supply means outputs first two-dimensional image data to the route selection means,
The second image supply means outputs second two-dimensional image data to the route selection means;
The route selection means outputs either the first two-dimensional image data or the second two-dimensional image data to the first scaler, and the first two-dimensional image data and the second two-dimensional image data. Outputting two-dimensional image data to the image composition means;
The first scaler converts the number of pixels of the two-dimensional image data input from the path selection unit into the number of pixels that the other viewpoint image generation unit can handle,
The other-viewpoint image generation means analyzes the image data obtained as a result of the conversion by the first scaler, and generates other-viewpoint image data,
The second scaler converts the number of pixels of the image data generated by the other viewpoint image generation means into the number of pixels of the two-dimensional image data input by the first scaler,
The image composition means includes
Of the first two-dimensional image data and the second two-dimensional image data input from the route selection means, a two-dimensional image having the same content as the two-dimensional image data input by the first scaler Data and image data obtained as a result of the conversion by the second scaler based on a predetermined format, the image data obtained by the synthesis, the first two-dimensional image data, and the By combining the second 2D image data of the second 2D image data and the 2D image data having a different content from the 2D image data input by the first scaler, the image data for stereoscopic vision is generated. ,
Said one of the image data obtained by the first scaler said 2-dimensional image data and the second scaler entered is image data for the right eye and the other image data for the left eye It is characterized by being.
本発明によれば、一の2次元画像データに基づき容易に立体視用の画像データを生成することが可能となり、また、処理負荷やデータベースの規模を増大させることなく、多様な画素数の画像データに対応可能となる。 According to the present invention, it is possible to easily generate stereoscopic image data based on one two-dimensional image data, and it is possible to generate an image with various numbers of pixels without increasing the processing load and the scale of the database. Data can be handled.
以下、本発明に係る画像表示装置の実施形態を図面を用いて説明する。本発明は、映像表示が可能な端末装置全般、例えば携帯電話、PHS、PDA、PC、TV、映像記録装置・再生装置等に適用可能であるが、以下の各実施形態では、本発明に係る画像表示装置を携帯電話に適用して説明する。本発明を携帯電話に適用すると、立体視用画像データ生成時の処理負荷等が低減されるため、低消費電力化が図れ、回路規模低減による小型化が可能となる。 Embodiments of an image display apparatus according to the present invention will be described below with reference to the drawings. The present invention can be applied to all terminal devices capable of displaying video, such as mobile phones, PHS, PDAs, PCs, TVs, video recording / playback devices, and the like in the following embodiments. An image display device will be described by applying it to a mobile phone. When the present invention is applied to a mobile phone, the processing load at the time of generating stereoscopic image data is reduced, so that power consumption can be reduced and downsizing can be achieved by reducing the circuit scale.
(第1実施形態)
本発明の第1実施形態について図面を用いて説明する。
図1は、第1実施形態に係る携帯電話100の構成を示すブロック図である。携帯電話100は、通信アンテナ1と、無線回路2と、符号復号処理回路3と、マイク4と、レシーバ5と、キー6と、CPU7と、CPUバス8と、メモリ9と、DAC10と、スピーカ11と、ビデオI/F12と、立体画像変換処理部13と、LCDコントローラ14と、表示部15と、視差バリア16と、を備える。
(First embodiment)
A first embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a
通信アンテナ1は、空中を伝送されてきた電波を受信し、高周波電気信号に変換し、無線回路2に入力する。また、通信アンテナ1は、無線回路2から出力された高周波電気信号を電波に変換して発信する。無線回路2は、CPU7の指示に基づき、通信アンテナ1で受信した高周波電気信号を復調し、符号復号処理回路3に入力する。また、無線回路2は、符号復号処理回路3の出力信号に変調処理を施し、高周波電気信号に変換して通信アンテナ1へ出力する。
The
符号復号処理回路3は、CPU7の制御に従って、無線回路2の出力信号に復号処理を施し、通話用音声信号をレシーバ5に出力し、文字データや画像データ等をCPU7へ出力する。また、符号復号処理回路3は、マイク4を介して入力されたユーザ等の音声、または、ユーザがキー6を操作して編集した文字やメモリ9から読み取った画像データ等に符号化処理を施し、その結果得られた信号を無線回路2へ出力する。
The code
メモリ9は、各種制御用のプログラム、データベース、電話帳、アドレス帳、着信メロディ、楽曲データ、動画や静止画などの画像データ、等を格納する。なお、画像データや楽曲データは、図示しない半導体メモリカードやハードディスクに保持するようにしてもよい。
The
DAC10は、CPU7から出力される着信音や通話音声等のデジタル音声信号をアナログ信号に変換し、スピーカ11へ供給する。スピーカ11は、DAC10から供給されたアナログ信号に基づいて着信音や通話音声等を出力する。
The
CPU7は、音声通話処理、音楽や画像の再生処理、その他、携帯電話100全般に関する制御を行う。例えば、CPU7は、CPUバス8を介してメモリ9からプログラムを取得し、符号復号処理回路3、無線回路2を制御して、着信待ちに係る処理を行う。一方、着信時には、CPU7は、メモリ9の電話帳から発信者の名前や着信メロディ、着信画像を読み出す。そして、CPU7は、音声データについては、DAC10へ出力する一方、相手の電話番号や名前、画像データについては、ビデオI/F12を介して、立体画像変換処理部13へ出力する。そして、着信待ち状態あるいは着信時状態において、ユーザがキー6を操作することにより、通話やメールの送受信が可能となる。
The
立体画像変換処理部13は、詳細は後述するが、CPU7から出力されたビデオ信号(2次元画像)に画像処理を施して、別視点から見た画像データを生成し、LCDコントローラ14へ出力する。LCDコントローラ14は、CPU7から出力された画像データと、立体画像変換処理部13から出力された画像データとを所定のフォーマットに基づいて合成し、合成した画像データ(立体視用画像データ)を所定のフレームレートで表示部15へ出力する。
Although the details will be described later, the stereoscopic image
表示部15は、本実施形態では、液晶ディスプレイで構成され、LCDコントローラ14から出力される画像データに基づいた画像(立体視用画像)を表示する。なお、表示部15は、自発光型の有機ELディスプレイで構成されてもよい。
In the present embodiment, the
視差バリア16は、表示部15に表示される立体視用画像(左眼用画像及び右眼用画像で構成される)において、左眼用画像については、ユーザの右眼からは見えないように、また、右眼用画像については、ユーザの左眼からは見えないように画像観視方向を制限するものである。視差バリア16は、図2A、図2Bに示すように、縦ストライプのものを使用し、これにより、ユーザの左右の眼に入射する光を制限する。
The
したがって、たとえば、図2Cに示すように、携帯電話100全体を90°回転させて使用する場合は、視差バリア16のストライプの向きも90°回転させる必要がある。この場合、視差バリア16を機械的に90°回転させるための機構を設けることで対応することが可能である。しかし、表示部15の画素と視差バリア16のストライプの位置合わせに精度が要求されることから、視差バリア16をマトリクスタイプの透過型表示部(例えば、スイッチ液晶パネル)で構成するのが望ましい。かかる構成にすると、CPU7の制御により、左眼用画像と右眼用画像を合成する際のフォーマットと、視差バリア16のストライプ表示の向きを容易に変更することができる。
Therefore, for example, as shown in FIG. 2C, when the entire
さらに、視差バリア16として使用する上記透過型表示部の画素数を十分多くすることにより、ストライプ表示の微妙な位置調整が可能となり、立体視用画像表示時の左眼用画像及び右眼用画像の分離度を向上させることが可能である。この位置調整は製造時に行ってもよいし、あるいは、携帯電話100に図示しないユーザインタフェースを設けて、製品出荷後にユーザ(エンドユーザ)が適宜調整できるようにしてもよい。
Further, by sufficiently increasing the number of pixels of the transmissive display unit used as the
次に、立体画像変換処理部13の詳細について説明する。図3に示すように、立体画像変換処理部13は、第1のスケーラ131と、他視点画像生成部132と、第2のスケーラ133と、を備える。
Next, details of the stereoscopic image
第1のスケーラ131は、ビデオI/F12を介してCPU7から出力された2次元画像(画像データa)に対して、横方向、縦方向を所定の画素数に縮小し、その結果得られた画像データbを他視点画像生成部132に供給する。他視点画像生成部132は、第1のスケーラ131から供給された画像データbを基に、画像データaと異なる視点の画像データcを生成し、第2のスケーラ133に供給する。第2のスケーラ133は、他視点画像生成部132から供給された画像データcに対して、縦、横が元の画素数となるよう拡大した画像データdをLCDコントローラ14に供給する。
The
図3から理解できるように、立体画像変換処理部13は、CPU7から出力された画像データaに立体画像変換処理を施してLCDコントローラ14へ出力する第1の経路と、画像データaをそのままLCDコントローラ14へ出力する第2の経路を設けている。立体表示を行わない、即ち、通常の2次元表示を行う場合は、CPU7の制御の下、LCDコントローラ14は、第2の経路から取得した画像データaのみを表示部15に出力する。この場合、例えば、視差バリア16をスイッチ液晶パネル等の透過型表示部で構成していると、CPU7の指示によって、視差バリア16のストライプをオフにし、全画素を透過させることで、2次元画像表示用に切り換えることできる。CPU7は、ユーザによるキー6の操作や取り扱うコンテンツの種類等に応じて、2次元表示と3次元(立体)表示を切り換えることができる。
As can be understood from FIG. 3, the stereoscopic image
続いて、立体表示を行う際の立体画像変換処理部13の動作について説明する。図4は、立体画像変換処理部13が実行する立体画像変換処理の手順を示すフローチャートである。なお、以下の説明において、CPU7から供給される画像データaの画像サイズは、VGA (横:480ドット、縦:640ドット)であり、表示部15の画素数はVGAであり、他視点画像生成部132が生成する画像データcの画像サイズは、QVGA(横:240ドット,縦:320ドット)であるとする。
Next, the operation of the stereoscopic image
立体画像変換処理は、CPU7からビデオI/F12を介して供給された画像データaを立体画像変換処理部13が入力することで開始される。立体画像変換処理部13は、入力した画像データaをLCDコントローラ14へ出力する(ステップS101)と共に、第1のスケーラ131にて画素数の縮小処理(ステップS102)を行う。
The stereoscopic image conversion process is started when the stereoscopic image
ここで、画像データa(原画像データ)の各画素を、図5Aに示すように、横方向ラインにおいて、1ライン目の左から(1,1),(2,1),(3,1)・・・,2ライン目の左から(1,2),(2,2),(3,2)・・・のように表す。第1のスケーラ131は、画像データaの画像サイズ(VGA)をQVGAサイズに縮小する。具体的には、第1のスケーラ131は、図5Bに示すように、横方向ラインにおいて、1ライン目は(1,1),(3,1),(5,1)・・・、2ライン目は(1,3),(3,3),(5,3)・・・となるように、画像データaの横方向,縦方向ライン共に、3画素毎に真ん中の画素を間引くことで、画像データaを縮小する。第1のスケーラ131は、その結果得られた画像データb(QVGAサイズ)を他視点画像生成部132へ出力する。
Here, as shown in FIG. 5A, each pixel of the image data a (original image data) is (1,1), (2,1), (3,1) from the left of the first line in the horizontal line. )..., (1, 2), (2, 2), (3, 2). The
他視点画像生成部132は、画像データbを解析し、メモリ9に記憶されているデータベース(知識ベース)を使用した推論により、画像データbを構成する各画素の奥行きを計算し、他視点から見た場合の画像データ(他視点画像データ)を生成する(ステップS103)。他視点画像生成部132は、例えば、要素図形の輪郭、重なりや濃度、繰り返し、陰影、物体認識等に基づいて、各画素の奥行きを推定する。なお、本実施形態では、CPU7から供給される画像データaに基づく画像を右眼用画像とし、他視点画像生成部132は、図5Cに示すような左眼用画像データを他視点画像のデータ(画像データc)として生成する。そして、他視点画像生成部132は、生成した画像データcを第2のスケーラ133へ出力する。
The other-viewpoint
第2のスケーラ133は、他視点画像生成部132から出力されたQVGAサイズの画像データcに対して、縦、横2倍化処理を施す(ステップS104)。具体的には、第2のスケーラ133は、画像データcの横方向,縦方向ラインの双方において、同一画素が2つ続くようにして、画像データcを縦、横2倍化する。この結果、図5Dに示すように、横方向ラインにおいて、1ライン目と2ライン目の画像データが、左から(1,1L),(1,1L),(3,1L),(3,1L)・・・,3ライン目と4ライン目の画像データが、左から(1,3L),(1,3L),(3,3L),(3,3L)となる画像データdが生成される。第2のスケーラ133は、生成した画像データdをLCDコントローラ14へ出力する。
The
なお、この拡大処理による精細度の低下によって、画像のボケや斜め線のギザギザ(ジャギー)が目立つような場合には、これらを低減させるため、バイキュービックやスプライン関数を使用した高画質な拡大アルゴリズムを使用してもよい。また、一般的に、人間は、利き眼で物体を主体的に見ており、利き目ではない方の眼は補助的に使用していることから、CPU7から供給する画像データaを利き目用の画像データとし、生成した画像データを他方の眼用の画像データとするのが好ましい。また、利き目は、人によって異なるため、携帯電話100は、CPU7から供給する画像データa(原画像データ)をどちらの眼用に使用するかについて、ユーザに選択させるためのユーザインタフェースを備えてもよい。
In addition, when the blurring of the image and the jaggedness (jaggy) of the diagonal lines are noticeable due to the reduction in definition due to the enlargement processing, a high-quality enlargement algorithm using bicubic or spline functions is used to reduce them. May be used. In general, humans mainly view objects with their dominant eyes and use the non-dominant eyes as an auxiliary. Therefore, the image data a supplied from the
LCDコントローラ14は、CPU7から出力された画像データa(右眼用画像データ)と、第2のスケーラ133から出力された画像データd(左眼用画像データ)とを所定のフォーマットに基づいて合成する。具体的には、LCDコントローラ14は、図5Eに示すように、奇数列目に画像データa(右眼用画像データ)を配置し、偶数列目に画像データd(左眼用画像データ)を配置することで、画像データe(立体視用画像データ)を生成する。
The
即ち、LCDコントローラ14は、右眼用画像データと左眼用画像データとが1列毎に交互に並ぶように合成することで、画像データeを生成し、生成した画像データeを表示部15に出力する。図6は、表示部15、視差バリア16及びユーザ視点のそれぞれの位置関係を示す平面図である。図6において、152は液晶パネル、151はバックライト、171はユーザの右眼,172は左眼である。
That is, the
視差バリア16のハッチングを施してある部分は、光を遮蔽する部分であり、白い部分は、光を透過する部分である。図6において、視差バリア16は、例えば、右眼用画像(1,1R),(3,1R),(5,1R)からの光線が右眼171に入射し、左眼用画像(1,1L),(3,1L),(5,1L)からの光線が左眼172に入射する位置に配置されている。これにより、ユーザが、左右の眼でそれぞれの視点の画像を観視することにより、表示部15に表示された画像(立体視用画像)を立体画像として認識することができる。
The hatched portion of the
図7A〜図7Hに、各処理段階における画像データの具体的な画像イメージを示す。図7Aは、画像データa(原画像データ)の画像イメージであり、ここでは、点線の密度で精細度、画像の大きさで画素数を表している。図7Bは、第1のスケーラ131が出力する画像データbの画像イメージを示す。画像データbは、画像データaの構成画素を横方向、垂直方向それぞれについて、2分の1に縮小することで得られるため、その画像サイズはQVGAとなる。
7A to 7H show specific image images of the image data at each processing stage. FIG. 7A is an image of the image data a (original image data). Here, the density is indicated by the density of dotted lines, and the number of pixels is indicated by the size of the image. FIG. 7B shows an image of the image data b output from the
図7Cは、他視点画像生成部132によって生成された画像データc(他視点画像データ)の画像イメージを示す。他視点画像生成部132は、画像データb(図7B参照)をユーザの左眼から見た画像(他視点画像)のデータに変換する。このため、本例では、顔の方向が左右反転した、図7Cのような画像イメージとなる。図7Dは、第2のスケーラ133により生成された画像データdの画像イメージを示す。画像データdは、画像データaの画像サイズを縦横2倍に拡大した結果得られるため、画像サイズはVGAとなるが、精細度は2分の1となる。
FIG. 7C shows an image of the image data c (other viewpoint image data) generated by the other
図7Eは、LCDコントローラ14によって生成された画像データeの画像イメージ、即ち、表示部15に表示される立体視用画像の画像イメージを示す。LCDコントローラ14により、図7Aに示す画像データa(即ち、右眼用画像データ)と、図7Dに示す画像データd(即ち、左眼用画像データ)とが、それぞれ1列毎に合成されることで、図7Eに示すような1列毎に右眼用画像と左眼用画像が入り混じった画像が表示部15に表示される。
FIG. 7E shows an image of the image data e generated by the
この立体視用画像に対し、視差バリア16を用いることにより、ユーザの右眼には、図7Fに示すような右眼視点の画像からの光線が入射し、左眼には、図7Gに示すような、左眼視点の画像からの光線が入射する。このため、ユーザには、図7Hに示すように、表示された画像が立体的な画像として視認される。
By using the
このように、本実施形態の携帯電話100(画像表示装置)によれば、立体画像変換処理部13は、供給された原画像データ(画像データa)の画素数を所定の画素数に変換した画像データbを生成し、かかる画像データbに基づいて、他視点画像データcを生成する。したがって、原画像データの画素数にかかわらず立体視用画像データを作成でき、しかも、処理負荷や使用するデータベースの規模を増大させることがない。
Thus, according to the mobile phone 100 (image display apparatus) of the present embodiment, the stereoscopic image
本実施形態では、第1のスケーラ131で原画像データを縦横2分の1に縮小し、第2のスケーラ133で縦横2倍に拡大する場合の例について述べたが、縮小・拡大倍率は、これに限定されない。要は、第1のスケーラ131が、原画像データの画素数を他視点画像生成部132が対応可能な画素数に変換できればよい。例えば、原画像データの画素数が、他視点画像生成部13の対応可能な画素数より少ない場合では、第1のスケーラ131は、原画像データの画素数を増加させる方向で変換してもよい。
In the present embodiment, the example in which the
同様に、第2のスケーラ133は、生成する画像データの画素数を原画像データの画像数と一致させることができればよく、さらに言えば、他視点画像処理部132から出力される画像データcの画素数が、表示部15の対応画素数より多い場合では、第2のスケーラ133は、画像データcの画素数を減らすことで、画像データdを生成してもよい。要するに、第2のスケーラ133の拡大、縮小倍率は、他視点画像生成部13から出力された画像データcの画素数を原画像データの画素数と同じにできるような値に設定すればよい。
Similarly, the
さらに、原画像データの画素数が表示部15の対応画素数と一致していない場合は、LCDコントローラ14の後段または立体画像変換処理部13の後段に第3のスケーラを設け、原画像データ及び第2のスケーラ133から出力されるそれぞれの画像データ対して、同じ倍率で拡大または縮小を施して、表示部15の対応画素数と一致させるようにしてもよい。
Further, when the number of pixels of the original image data does not match the number of corresponding pixels of the
あるいは、表示部15の対応画素数と一致させる処理を行わず、例えば、表示部15の対応画素数より少ない場合では、縮小表示してもよいし、これとは逆に表示部15の対応画素数より多い場合では、画像の一部を拡大表示してもよい。
Alternatively, the process of matching the number of corresponding pixels of the
また、立体画像変換処理部13は、CPU7あるいはLCDコントローラ14に内蔵させてもよい。
Further, the stereoscopic image
(第2実施形態)
続いて、本発明の第2実施形態係る携帯電話100について説明する。なお、以下の説明において、第1実施形態と同一部分については、同一符号を付し、説明を省略する。
(Second Embodiment)
Next, the
図8は、第2実施形態に係る携帯電話100の構成を示すブロック図である。第1実施形態の携帯電話100は、表示部15の画面全体に立体視用画像を表示していたが、本実施形態の携帯電話100は、立体画像表示エリア検出部18を設け、CPU7が指定した画面エリアのみに立体視用画像の表示を行う。
FIG. 8 is a block diagram showing a configuration of the
例えば、携帯電話では、図9Aに示すような表示態様で画像を表示するケースが多い。図9Aでは、画面上部に携帯電話網の電界強度を示すアンテナピクトと、バッテリーの残量を示すバッテリーアイコンが表示され、中央部に任意の画像(ここでは、人物の顔画像)が表示され、下部にキー6の機能を示すソフトウェアキーが表示されている。
For example, mobile phones often display images in a display mode as shown in FIG. 9A. In FIG. 9A, an antenna picture indicating the electric field strength of the mobile phone network and a battery icon indicating the remaining battery level are displayed at the top of the screen, and an arbitrary image (here, a human face image) is displayed at the center. A software key indicating the function of the
本実施形態の携帯電話100は、このように、任意画像の表示エリアが限定されている場合でも、当該任意画像(この場合は、顔画像)のみを立体表示できることに特徴を有する。以下、かかる特徴を具体的に説明する。
As described above, the
CPU7は、図9Aに示すような画像データ(全体画像データ)と、立体視用画像の表示エリアを特定するための情報(具体的には、表示部15の画面エリア上の座標情報)とを立体画像表示エリア検出部18に供給する。立体画像表示エリア検出部18は、全体画像データから図9Bに示すように顔画像部分を抽出し、立体画像変換処理部13へ出力する。また、立体画像表示エリア検出部18は、図9Aの全体画像データを右眼用画像データとして、上記の座標情報と共にLCDコントローラ14へ出力する。
The
立体画像変換処理部13は、第1実施形態と同様の手順により、図9Cに示すような左眼用画像データを生成して、LCDコントローラ14へ出力する。LCDコントローラ14は、立体画像表示エリア検出部18から出力された図9Aの全体画像データと、立体画像変換処理部13から出力された左眼用画像データとを、表示部15の画面エリア上の座標情報に基づいて合成し、表示部15へ出力する。
The stereoscopic image
その結果、ユーザは、視差バリア16を介して表示部15の画像を観視すると、図9Dに示すように、人物の顔画像部分のみを立体画像として認識することがきる。
As a result, when the user views the image on the
ここでは、任意画像部分を立体表示する場合の例について説明したが、これに限定されることは勿論ない。例えば、アンテナピクトやバッテリーアイコン、ソフトウェアキー画像部分のみを立体画像変換処理部13に出力することにより、任意画像(例えば、顔画像)以外の部分を3D化してもよいし、全体的に3D化してもよい。
Here, an example in which an arbitrary image portion is stereoscopically displayed has been described, but the present invention is not limited to this. For example, by outputting only the antenna pictogram, battery icon, and software key image portion to the stereoscopic image
また、立体画像表示エリア検出部18は、CPU7に内蔵させてもよい。
Further, the stereoscopic image display
(第3実施形態)
続いて、本発明の第3実施形態係る携帯電話100について説明する。なお、以下の説明において、第1実施形態と同一部分については、同一符号を付し、説明を省略する。
(Third embodiment)
Subsequently, a
図10は、第3実施形態に係る携帯電話100の構成を示すブロック図である。
図10に示すように、第3実施形態の携帯電話100は、画像処理用のアプリケーションプロッセッサ19(以下、AP19と略す。)と、CPU7から出力された画像データと、AP19から出力された画像データのそれぞれの出力経路を選択する経路選択部20を設けた点が、実施形態1の携帯電話100と異なる。
FIG. 10 is a block diagram showing a configuration of the
As shown in FIG. 10, the
本実施形態の携帯電話100は、表示部15に任意画像(ユーザが所望する画像等)を立体表示する際、CPU7から、図11Aに示すような背景画像データが経路選択部20へ出力され、図11Bに示すような任意画像(ここでは、人物の顔画像)データが、経路選択部20へ出力される。
When the
経路選択部20は、CPU7の制御の下、CPU7から出力された背景画像データをLCDコントローラ14へ出力し、AP19から出力された顔画像データを立体画像変換処理部13へ出力する。立体画像変換処理部13は、上述した第1実施形態と同様の手順で、AP19から出力された顔画像データ、即ち、ユーザの利き眼に対応する画像データ(ここでは、右眼用画像データ)を基に、左眼用画像データを作成し、右眼用画像データ及び作成した左眼用画像データをLCDコントローラ14へ出力する。
Under the control of the
LCDコントローラ14は、立体画像変換処理部13から出力された右眼用画像データと左眼用画像データを合成して、図11Cに示すような立体視用画像データを生成する。そして、LCDコントローラ14は、生成した立体視用画像データと、経路選択部20から出力された背景画像データとを再度合成して、表示部15へ出力する。
The
その結果、ユーザは、視差バリア16を介して表示部15の画像を観視すると、図11Dに示すように、人物の顔画像部分のみを立体画像として認識することがきる。
As a result, when the user views the image on the
ここでは、AP19から出力される画像データに基づく画像のみを立体表示する場合の例について説明したが、これに限定されることは勿論ない。例えば、経路選択部20が、CPU7から供給される画像データを立体画像変換処理部13へ出力し、AP19から出力される画像データをLCDコントローラ14へ出力することで、背景画像部分のみを立体表示させることもできる。
Here, an example in which only an image based on image data output from the
また、AP19で経路選択部20の出力系統を制御してもよいし、あるいは、AP19から出力される画像データは、必ず立体画像変換処理部13へ出力されるようにしてもよい。
Further, the output system of the
また、経路選択部20は、CPU7またはAP19に内蔵させてもよい。
The
なお、本発明は、上記何れの実施形態にも限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。 The present invention is not limited to any of the above-described embodiments, and various modifications can be made without departing from the scope of the present invention.
例えば、上記各実施形態では、視差バリア16を使用して左右眼用画像を分離する場合の例について説明したが、これに限られず、1画素または1ライン単位で直線偏光板や円偏光板などの偏光板を設け、偏光眼鏡を使用して左右眼用画像を分離してもよい。あるいは、左右眼用画像を時分割で交互に表示し、液晶シャッター眼鏡を使用して左右眼用画像を分離しても構わない。この場合、LCDコントローラが、上記偏光板の構成に応じて左右眼用画像の並び方を制御したり、左右眼用画像の表示タイミングを制御したりするのが好ましい。
For example, in each of the above-described embodiments, an example of separating the left and right eye images using the
また、プログラムの適用により、既存の携帯電話等の画像表示装置を本発明に係る画像表示装置として機能させることも可能である。即ち、上述したCPU7が実行したようなプログラムを、既存の画像表示装置に適用し、当該画像表示装置を制御するコンピュータ(CPUなど)がそれを実行することで、上述した各機能構成や処理が実現され得る。
Further, by applying the program, it is possible to cause an existing image display device such as a mobile phone to function as the image display device according to the present invention. That is, by applying the program executed by the
このようなプログラムの配布方法は任意であり、例えば、メモリカードなどの記録媒体に格納して配布可能である他、例えば、インターネットなどの通信ネットワークを介して配布することもできる。そして、このようにして配布されたプログラムを携帯電話等の画像表示装置にインストールして適用することで、上述した携帯端末100と同様な機能を実現することができる。
Such a program distribution method is arbitrary. For example, the program can be distributed by being stored in a recording medium such as a memory card, or can be distributed through a communication network such as the Internet. Then, by installing and applying the distributed program to an image display device such as a mobile phone, the same functions as those of the
1…通信アンテナ、2…無線回路、3…符号復号処理回路、4…マイク、5…レシーバ、6…キー、7…CPU、8…CPUバス、9…メモリ、10…DAC、11…スピーカ、12…ビデオI/F、13…立体画像変換処理部、131…第1のスケーラ、132…他視点画像生成部、133…第2のスケーラ、14…LCDコントローラ、15…表示部、151…バックライト、152…液晶パネル、16…視差バリア、171…右眼、172…左眼、18…立体画像表示エリア検出部、19…AP、20…経路選択部
DESCRIPTION OF
Claims (5)
前記第1の画像供給手段は、第1の2次元画像データを前記経路選択手段に出力し、
前記第2の画像供給手段は、第2の2次元画像データを前記経路選択手段に出力し、
前記経路選択手段は、前記第1の2次元画像データ及び前記第2の2次元画像データの何れか一方を前記第1のスケーラに出力し、前記第1の2次元画像データ及び前記第2の2次元画像データを前記画像合成手段に出力し、
前記第1のスケーラは、前記経路選択手段から入力した前記2次元画像データの画素数を前記他視点画像生成手段が対応可能な画素数に変換し、
前記他視点画像生成手段は、前記第1のスケーラによる前記変換の結果得られた画像データを解析し、他視点の画像データを生成し、
前記第2のスケーラは、前記他視点画像生成手段により生成された前記画像データの画素数を前記第1のスケーラが入力した前記2次元画像データの画素数に変換し、
前記画像合成手段は、
前記経路選択手段から入力した前記第1の2次元画像データ及び前記第2の2次元画像データの内、前記第1のスケーラが入力した前記2次元画像データと内容が同一の方の2次元画像データと、前記第2のスケーラによる前記変換の結果得られた画像データと、を所定のフォーマットに基づいて合成し、その合成によって得られた画像データと、前記第1の2次元画像データ及び前記第2の2次元画像データの内、前記第1のスケーラが入力した前記2次元画像データと内容が異なる方の2次元画像データと、を合成することで、立体視用の画像データを生成し、
前記表示手段は、前記画像合成手段により生成された前記画像データに基づく画像を表示し、
前記第1のスケーラが入力した前記2次元画像データ及び前記第2のスケーラによって得られた前記画像データの何れか一方は、右眼用の画像データであり、他方は、左眼用の画像データである、
ことを特徴とする画像表示装置。 First image supply means, second image supply means, route selection means, first scaler, other viewpoint image generation means, second scaler, image composition means, and display means An image display device comprising:
The first image supply means outputs first two-dimensional image data to the route selection means,
The second image supply means outputs second two-dimensional image data to the route selection means;
The route selection means outputs either the first two-dimensional image data or the second two-dimensional image data to the first scaler, and the first two-dimensional image data and the second two-dimensional image data. Outputting two-dimensional image data to the image composition means;
The first scaler converts the number of pixels of the two-dimensional image data input from the path selection unit into the number of pixels that the other viewpoint image generation unit can handle,
The other-viewpoint image generation means analyzes the image data obtained as a result of the conversion by the first scaler, and generates other-viewpoint image data,
The second scaler converts the number of pixels of the image data generated by the other viewpoint image generation means into the number of pixels of the two-dimensional image data input by the first scaler,
The image composition means includes
Of the first two-dimensional image data and the second two-dimensional image data input from the route selection means, a two-dimensional image having the same content as the two-dimensional image data input by the first scaler Data and image data obtained as a result of the conversion by the second scaler based on a predetermined format, the image data obtained by the synthesis, the first two-dimensional image data, and the By combining the second 2D image data of the second 2D image data and the 2D image data having a different content from the 2D image data input by the first scaler, the image data for stereoscopic vision is generated. ,
The display means displays an image based on the image data generated by the image composition means,
Is one of the image data obtained by the previous SL first scaler said 2-dimensional image data and the second scaler entered is image data for the right eye and the other, for the left eye Image data,
An image display device characterized by that.
ことを特徴とする請求項1に記載の画像表示装置。 It further includes a parallax barrier that allows light from the right-eye image and the left-eye image displayed by the display unit to be incident on the corresponding user's eyes, respectively.
The image display apparatus according to claim 1.
ことを特徴とする請求項1又は2に記載の画像表示装置。 The two-dimensional image data output from the route selection unit to the first scaler is image data for a user's dominant eye, and the image data generated by the other viewpoint image generation unit It is image data for the dominant eye,
The image display apparatus according to claim 1 or 2, characterized in that.
ことを特徴とする請求項3に記載の画像表示装置。 A user interface that accepts input of information about the user's dominant eye from the user;
The image display device according to claim 3 .
第1の画像供給手段、第2の画像供給手段、経路選択手段、第1のスケーラ、他視点画像生成手段、第2のスケーラ、画像合成手段、として機能させ、
前記第1の画像供給手段は、第1の2次元画像データを前記経路選択手段に出力し、
前記第2の画像供給手段は、第2の2次元画像データを前記経路選択手段に出力し、
前記経路選択手段は、前記第1の2次元画像データ及び前記第2の2次元画像データの何れか一方を前記第1のスケーラに出力し、前記第1の2次元画像データ及び前記第2の2次元画像データを前記画像合成手段に出力し、
前記第1のスケーラは、前記経路選択手段から入力した前記2次元画像データの画素数を前記他視点画像生成手段が対応可能な画素数に変換し、
前記他視点画像生成手段は、前記第1のスケーラによる前記変換の結果得られた画像データを解析し、他視点の画像データを生成し、
前記第2のスケーラは、前記他視点画像生成手段により生成された前記画像データの画素数を前記第1のスケーラが入力した前記2次元画像データの画素数に変換し、
前記画像合成手段は、
前記経路選択手段から入力した前記第1の2次元画像データ及び前記第2の2次元画像データの内、前記第1のスケーラが入力した前記2次元画像データと内容が同一の方の2次元画像データと、前記第2のスケーラによる前記変換の結果得られた画像データと、を所定のフォーマットに基づいて合成し、その合成によって得られた画像データと、前記第1の2次元画像データ及び前記第2の2次元画像データの内、前記第1のスケーラが入力した前記2次元画像データと内容が異なる方の2次元画像データと、を合成することで、立体視用の画像データを生成し、
前記第1のスケーラが入力した前記2次元画像データ及び前記第2のスケーラによって得られた前記画像データの何れか一方は、右眼用の画像データであり、他方は、左眼用の画像データである、
ことを特徴とするプログラム。 Computer
Function as first image supply means, second image supply means, route selection means, first scaler, other viewpoint image generation means, second scaler, image composition means,
The first image supply means outputs first two-dimensional image data to the route selection means,
The second image supply means outputs second two-dimensional image data to the route selection means;
The route selection means outputs either the first two-dimensional image data or the second two-dimensional image data to the first scaler, and the first two-dimensional image data and the second two-dimensional image data. Outputting two-dimensional image data to the image composition means;
The first scaler converts the number of pixels of the two-dimensional image data input from the path selection unit into the number of pixels that the other viewpoint image generation unit can handle,
The other-viewpoint image generation means analyzes the image data obtained as a result of the conversion by the first scaler, and generates other-viewpoint image data,
The second scaler converts the number of pixels of the image data generated by the other viewpoint image generation means into the number of pixels of the two-dimensional image data input by the first scaler,
The image composition means includes
Of the first two-dimensional image data and the second two-dimensional image data input from the route selection means, a two-dimensional image having the same content as the two-dimensional image data input by the first scaler Data and image data obtained as a result of the conversion by the second scaler based on a predetermined format, the image data obtained by the synthesis, the first two-dimensional image data, and the By combining the second 2D image data of the second 2D image data and the 2D image data having a different content from the 2D image data input by the first scaler, the image data for stereoscopic vision is generated. ,
Said one of the image data obtained by the first scaler said 2-dimensional image data and the second scaler entered is image data for the right eye and the other image data for the left eye Is,
A program characterized by that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008251709A JP5224352B2 (en) | 2008-09-29 | 2008-09-29 | Image display apparatus and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008251709A JP5224352B2 (en) | 2008-09-29 | 2008-09-29 | Image display apparatus and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010087618A JP2010087618A (en) | 2010-04-15 |
JP5224352B2 true JP5224352B2 (en) | 2013-07-03 |
Family
ID=42251166
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008251709A Expired - Fee Related JP5224352B2 (en) | 2008-09-29 | 2008-09-29 | Image display apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5224352B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5268991B2 (en) * | 2010-05-18 | 2013-08-21 | 株式会社東芝 | Information processing apparatus and video content reproduction method |
US9035939B2 (en) * | 2010-10-04 | 2015-05-19 | Qualcomm Incorporated | 3D video control system to adjust 3D video rendering based on user preferences |
JP6268795B2 (en) * | 2013-08-02 | 2018-01-31 | セイコーエプソン株式会社 | Image generation program and printing apparatus |
JP6983825B2 (en) * | 2019-01-07 | 2021-12-17 | 株式会社ユニバーサルエンターテインメント | Pachinko machine |
CN114994939B (en) * | 2022-04-21 | 2023-03-17 | 北京伟兴彦科技有限公司 | Method and device for realizing 3D display by using 2D display screen |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0635392A (en) * | 1992-07-20 | 1994-02-10 | Fujitsu Ltd | Stereoscopic display device |
JPH1198533A (en) * | 1997-09-24 | 1999-04-09 | Sanyo Electric Co Ltd | Method for converting two-dimensional video into three-dimensional video |
JP2000228778A (en) * | 1998-11-30 | 2000-08-15 | Kazunari Era | Method for generating stereoscopic vision image data and stereoscopic vision image data generator |
JP4222817B2 (en) * | 2002-09-27 | 2009-02-12 | シャープ株式会社 | Stereoscopic image display apparatus, recording method, and transmission method |
JP4419139B2 (en) * | 2004-12-27 | 2010-02-24 | 日本ビクター株式会社 | Depth signal generation device, depth signal generation program, pseudo stereoscopic image generation device, and pseudo stereoscopic image generation program |
JP4214529B2 (en) * | 2004-12-28 | 2009-01-28 | 日本ビクター株式会社 | Depth signal generation device, depth signal generation program, pseudo stereoscopic image generation device, and pseudo stereoscopic image generation program |
KR101497503B1 (en) * | 2008-09-25 | 2015-03-04 | 삼성전자주식회사 | Method and apparatus for generating depth map for conversion two dimensional image to three dimensional image |
-
2008
- 2008-09-29 JP JP2008251709A patent/JP5224352B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010087618A (en) | 2010-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8749712B2 (en) | Method for processing on-screen display and associated embedded system | |
US7894854B2 (en) | Image/audio playback device of mobile communication terminal | |
US20100265315A1 (en) | Three-dimensional image combining apparatus | |
JP5224352B2 (en) | Image display apparatus and program | |
JP5348687B2 (en) | Terminal device and program | |
US20050264650A1 (en) | Apparatus and method for synthesizing captured images in a mobile terminal with a camera | |
WO2011036844A1 (en) | Three dimensional image processing device and control method thereof | |
KR20110096494A (en) | Electronic device and method for displaying stereo-view or multiview sequence image | |
EP2434476A1 (en) | Display device, viewing angle control method, computer program storage device with viewing angle control program, and mobile terminal | |
JP2008109607A (en) | Display device, image processing method, and electronic apparatus | |
US7821575B2 (en) | Image processing apparatus, receiver, and display device | |
JP2015041936A (en) | Image display device, image processing apparatus and image processing method | |
KR20130131787A (en) | Image projection module, mobile device including image projection module, and method for the same | |
WO2022166712A1 (en) | Image display method, apparatus, readable medium, and electronic device | |
CN114245090A (en) | Image projection method, laser projection apparatus, and computer-readable storage medium | |
US20130120527A1 (en) | Electronic apparatus and display control method | |
JP2008098828A (en) | Portable terminal equipment | |
KR20110136414A (en) | Display apparatus and control method of the same | |
JP2000308032A (en) | Portable telephone set | |
JP3672561B2 (en) | Moving picture synthesizing apparatus, moving picture synthesizing method, and information terminal apparatus with moving picture synthesizing function | |
KR101801141B1 (en) | Apparatus for displaying image and method for operating the same | |
KR100761075B1 (en) | Liquid Crystal Display Device for having a 3-dimensional camera | |
JP4133356B2 (en) | Image composition apparatus, composition method, and program for realizing the method | |
CN114915839B (en) | Rendering processing method for inserting video support element, electronic terminal and storage medium | |
WO2012157342A1 (en) | Image display device, image display method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20100806 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110810 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120423 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120515 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120713 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130306 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5224352 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160322 Year of fee payment: 3 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |