JP2013016921A - Image processing device, image processing method, and image processing program - Google Patents

Image processing device, image processing method, and image processing program Download PDF

Info

Publication number
JP2013016921A
JP2013016921A JP2011146639A JP2011146639A JP2013016921A JP 2013016921 A JP2013016921 A JP 2013016921A JP 2011146639 A JP2011146639 A JP 2011146639A JP 2011146639 A JP2011146639 A JP 2011146639A JP 2013016921 A JP2013016921 A JP 2013016921A
Authority
JP
Japan
Prior art keywords
image information
pixels
image data
partial image
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011146639A
Other languages
Japanese (ja)
Inventor
Yukiya Ono
幸也 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2011146639A priority Critical patent/JP2013016921A/en
Publication of JP2013016921A publication Critical patent/JP2013016921A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To reduce a processing burden.SOLUTION: An image processing device according to an embodiment comprises first extraction means and first determination means. The first extraction means extracts a line of pixels in a parallel direction at a predetermined height from each of two items of partial image information obtained by dividing image information. The first determination means determines whether the image information is image information for stereoscopic display containing right-eye partial image information and left-eye partial image information, on the basis of a difference between the lines of two pixels extracted by the first extraction means.

Description

本発明の実施形態は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。   Embodiments described herein relate generally to an image processing apparatus, an image processing method, and an image processing program.

従来、画像を立体的に表示可能な立体画像表示装置、所謂、3次元ディスプレイが存在している。   2. Description of the Related Art Conventionally, there are stereoscopic image display devices that can display images stereoscopically, so-called three-dimensional displays.

3次元ディスプレイでは、例えば、スリットやレンチキュラシート(シリンドリカルレンズアレイ)を用いて、左右視差(水平視差)を実現している。このような構成を備えた3次元ディスプレイを用いて、右目用の画像と左目用の画像とを、ユーザのそれぞれの目に提供することで、立体視表示を実現できる。この3次元ディスプレイで立体視表示を行う際に、画像データに対して、当該3次元ディスプレイに対応した処理を行う必要がある。   In the three-dimensional display, for example, left and right parallax (horizontal parallax) is realized using a slit or a lenticular sheet (cylindrical lens array). A stereoscopic display can be realized by providing a right-eye image and a left-eye image to the respective eyes of the user using a three-dimensional display having such a configuration. When performing stereoscopic display on the three-dimensional display, it is necessary to perform processing corresponding to the three-dimensional display on the image data.

そのためには、画像データが立体視表示可能なフォーマットである必要がある。立体視表示可能なフォーマットとしては、例えば、マルチキャスト方式、サイドバイサイド方式、トップアンドボトム方式、2D+奥行き方式、タイルフォーマット方式等がある。   For this purpose, the image data must be in a format that can be stereoscopically displayed. Examples of formats that can be stereoscopically displayed include a multicast method, a side-by-side method, a top-and-bottom method, a 2D + depth method, and a tile format method.

従来技術では、画像データのフォーマットに適した処理を行うために、画像データが、サイドバイサイド方式などの立体視表示可能なフォーマットであるか否かを判定する技術が提案されている。   In the prior art, in order to perform processing suitable for the format of the image data, a technique for determining whether or not the image data is in a stereoscopic display format such as a side-by-side format has been proposed.

特開2010−68309号公報JP 2010-68309 A

しかしながら、従来技術においては、画像データがサイドバイサイド方式であるか否かを判定するために、右目用の部分用画像データと、当該画像データの左目用の部分画像データと、に含まれている多くの画素についての類似度等を集計する必要がある。このため、判定するための処理負担が大きいという問題が生じていた。   However, in the prior art, in order to determine whether or not the image data is a side-by-side method, many of the image data included in the right-eye partial image data and the left-eye partial image data of the image data are included. It is necessary to add up the degree of similarity for the pixels. For this reason, the problem that the processing burden for determination is large has arisen.

本発明は、上記に鑑みてなされたものであって、立体視表示可能であるか否かの判定をする際の処理負担を軽減させる画像処理装置、画像処理方法、及び画像処理プログラムを提供する。   The present invention has been made in view of the above, and provides an image processing apparatus, an image processing method, and an image processing program that can reduce the processing burden when determining whether or not stereoscopic display is possible. .

実施形態の画像処理装置は、第1の抽出手段と、第1の判定手段と、を備える。第1の抽出手段は、画像情報を分割した2個の部分画像情報のそれぞれから、所定の高さにおける水平方向の画素のラインを抽出する。第1の判定手段は、第1の抽出手段により抽出された2個の画素のライン間の差異に基づいて、画像情報が、右目用の部分画像情報と左目用の部分画像情報とを含んだ立体視表示用の画像情報であるか否かを判定する。   The image processing apparatus according to the embodiment includes a first extraction unit and a first determination unit. The first extraction unit extracts a line of pixels in the horizontal direction at a predetermined height from each of the two pieces of partial image information obtained by dividing the image information. In the first determination unit, the image information includes partial image information for the right eye and partial image information for the left eye based on a difference between the lines of the two pixels extracted by the first extraction unit. It is determined whether the image information is for stereoscopic display.

図1は、第1の実施形態にかかる情報処理装置のハードウェア構成の一例を示す図である。FIG. 1 is a diagram illustrating an example of a hardware configuration of the information processing apparatus according to the first embodiment. 図2は、第1の実施形態にかかる立体画像表示部の構成を一部拡大して示す斜視図である。FIG. 2 is a partially enlarged perspective view illustrating the configuration of the stereoscopic image display unit according to the first embodiment. 図3は、サイドバイサイド方式のコンテンツの一フレームを示した画像データの例を示した図である。FIG. 3 is a diagram showing an example of image data showing one frame of side-by-side content. 図4は、第1の実施形態にかかる表示処理部における、2次元表示と、立体視表示と、の切換制御を説明した図である。FIG. 4 is a diagram illustrating switching control between two-dimensional display and stereoscopic display in the display processing unit according to the first embodiment. 図5は、第1の実施形態にかかる情報処理装置が、サイドバイサイド形式であるか否かを判定するために抽出する画素のラインを示した図である。FIG. 5 is a diagram illustrating pixel lines that are extracted by the information processing apparatus according to the first embodiment to determine whether the information processing apparatus is in the side-by-side format. 図6は、立体視表示の検出精度を設定する画面例を示した図である。FIG. 6 is a diagram showing an example of a screen for setting the detection accuracy of the stereoscopic display. 図7は、第1の実施形態にかかる横ライン判定部による判定を説明した図である。FIG. 7 is a diagram for explaining determination by the horizontal line determination unit according to the first embodiment. 図8は、第1の実施形態にかかるずれ算出部のずれの算出を示した図である。FIG. 8 is a diagram illustrating the calculation of the shift of the shift calculation unit according to the first embodiment. 図9は、第1の実施形態にかかる縦ライン判定部による判定を示した図である。FIG. 9 is a diagram illustrating determination by the vertical line determination unit according to the first embodiment. 図10は、第1の実施形態にかかる情報処理装置における、画像データの判定処理の手順を示すフローチャートである。FIG. 10 is a flowchart illustrating a procedure of image data determination processing in the information processing apparatus according to the first embodiment. 図11は、第2の実施形態にかかる情報処理装置における、画像データの判定処理の手順を示すフローチャートである。FIG. 11 is a flowchart illustrating a procedure of image data determination processing in the information processing apparatus according to the second embodiment.

(第1の実施形態)
第1の実施形態にかかる情報処理装置100のハードウェア構成について説明する。図1は、本実施形態にかかる情報処理装置100のハードウェア構成の一例を示す図である。図1に示すように、情報処理装置100は、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、通信I/F104と、入力デバイス105と、立体画像表示部106と、記憶部107と、がバス108を介して接続された、通常のコンピュータを利用したハードウェア構成となっている。
(First embodiment)
A hardware configuration of the information processing apparatus 100 according to the first embodiment will be described. FIG. 1 is a diagram illustrating an example of a hardware configuration of the information processing apparatus 100 according to the present embodiment. As shown in FIG. 1, an information processing apparatus 100 includes a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, a communication I / F 104, an input device 105, and the like. The stereoscopic image display unit 106 and the storage unit 107 are connected via a bus 108 and have a hardware configuration using a normal computer.

ROM102は、CPU101が実行する各種のプログラムや各種の設定情報等を記憶する。RAM103は、情報処理装置100の主記憶装置であって、CPU101のワークエリアとして機能する。   The ROM 102 stores various programs executed by the CPU 101, various setting information, and the like. A RAM 103 is a main storage device of the information processing apparatus 100 and functions as a work area of the CPU 101.

通信I/F104は、LANやインターネット等を介して、他の情報処理装置等とのデータ通信を制御する。   The communication I / F 104 controls data communication with other information processing apparatuses and the like via a LAN, the Internet, or the like.

入力デバイス105は、立体画像表示部106に表示されたカーソルを操作するためのデバイスとする。本実施形態では、カーソルを操作する例について説明するが、カーソル以外の操作オブジェクトを操作しても良い。   The input device 105 is a device for operating the cursor displayed on the stereoscopic image display unit 106. In this embodiment, an example of operating the cursor will be described, but an operation object other than the cursor may be operated.

立体画像表示部106は、インテグラル・イメージング(II)方式やインテグラル・フォトグラフィー(IP)方式の画像を立体視表示することが可能な立体画像表示仕様の表示装置とする。   The stereoscopic image display unit 106 is a display device having a stereoscopic image display specification capable of stereoscopically displaying an integral imaging (II) or integral photography (IP) image.

このように、本実施形態にかかる情報処理装置100は、立体画像表示部106として、インテグラル・イメージング(II)方式やインテグラル・フォトグラフィー(IP)方式の裸眼3D対応パネルを搭載したPC等とする。   As described above, the information processing apparatus 100 according to the present embodiment includes, as the stereoscopic image display unit 106, a PC equipped with an integral imaging (II) type or integral photography (IP) type naked-eye 3D-compatible panel. And

図2は、立体画像表示部106の構成を一部拡大して示す斜視図である。図2に示すように、立体画像表示部106は、2次元平面状に複数配列されたカラー画素ドットを備えてカラー画像を表示可能な画像表示素子201と、カラー画素ドットから出射する光線方向を限定することにより水平方向の視認可能な角度を制限する光線方向限定素子202から構成されている。   FIG. 2 is a perspective view showing a partially enlarged configuration of the stereoscopic image display unit 106. As shown in FIG. 2, the stereoscopic image display unit 106 includes an image display element 201 having a plurality of color pixel dots arranged in a two-dimensional plane and capable of displaying a color image, and a direction of light emitted from the color pixel dots. By limiting, the light beam direction limiting element 202 is configured to limit the visible angle in the horizontal direction.

画像表示素子201は、画面内のカラー画素ドットの位置ずれが光線の出射方向に大きく影響することから、2次元上に画素ドットがマトリクス配列された、所謂フラットパネルがCRT、プロジェクターよりも好ましく、そのような表示方式として非発光型の液晶パネル(LCD)、発光型のプラズマディスプレイパネル(PDP)、有機EL(エレクトロルミネッセンス)パネルなどが挙げられる。   The image display element 201 is preferably a so-called flat panel in which pixel dots are arranged in a two-dimensional matrix, rather than a CRT or projector, because the displacement of the color pixel dots in the screen greatly affects the light emission direction. Examples of such a display method include a non-light emitting liquid crystal panel (LCD), a light emitting plasma display panel (PDP), and an organic EL (electroluminescence) panel.

光線方向限定素子202は、画面垂直方向に母線を有する垂直レンティキュラーレンズである。光線方向限定素子202は、光線を出力する方向を限定する機能を有し、パララクスバリア或いは視差バリアとも称せられる。なお、立体視を実現するための手法としては、垂直レンティキュラーレンズを用いるものに制限するものではなく、光線を出力する方向を限定する機能を有するものであればよい。これにより、ユーザの左目と右目とのそれぞれに異なる光線を出力できるため、立体視を実現できる。   The light direction limiting element 202 is a vertical lenticular lens having a generatrix in the vertical direction of the screen. The light beam direction limiting element 202 has a function of limiting the light output direction, and is also referred to as a parallax barrier or a parallax barrier. Note that the method for realizing the stereoscopic view is not limited to a method using a vertical lenticular lens, and any method may be used as long as it has a function of limiting the direction in which a light beam is output. Thereby, since a different light beam can be output to each of the user's left eye and right eye, stereoscopic vision can be realized.

画像表示素子201には、縦横比が3:1の画素が、横方向および縦方向にそれぞれ直線状にマトリクス状に並び、各画素は同一行内で横方向にR(赤)、G(緑)、B(青)が交互に並ぶように配列されており、同一列内で縦方向にR(赤)、B(青)、G(緑)が交互に並ぶように配列されている。画素行の縦周期は、画素の横周期Ppの3倍である。このような画像表示素子201の構造では、水平方向に複数の視差を与える立体表示が可能となる。   In the image display element 201, pixels with an aspect ratio of 3: 1 are arranged in a matrix in a straight line in the horizontal direction and the vertical direction, and each pixel has R (red) and G (green) in the horizontal direction in the same row. , B (blue) are alternately arranged, and R (red), B (blue), and G (green) are alternately arranged in the vertical direction in the same column. The vertical period of the pixel row is three times the horizontal period Pp of the pixel. With such a structure of the image display element 201, stereoscopic display that gives a plurality of parallaxes in the horizontal direction is possible.

記憶部107は、HDD(Hard Disk Drive)やSSD(Solid State Drive)等の補助記憶装置であって、CPU101が実行する画像処理プログラム110、各種他のプログラムや各種の設定情報を記憶する。さらに、記憶部107は、後述する視差画像の生成が可能なコンテンツを記憶する。   The storage unit 107 is an auxiliary storage device such as a hard disk drive (HDD) or a solid state drive (SSD), and stores an image processing program 110 executed by the CPU 101, various other programs, and various setting information. Furthermore, the storage unit 107 stores content capable of generating a parallax image described later.

画像処理プログラム110は、設定部111と、分割部112と、横ライン抽出部113と、横ライン判定部114と、ずれ算出部115と、縦ライン抽出部116と、縦ライン判定部117と、表示処理部118と、を備えている。   The image processing program 110 includes a setting unit 111, a dividing unit 112, a horizontal line extracting unit 113, a horizontal line determining unit 114, a deviation calculating unit 115, a vertical line extracting unit 116, a vertical line determining unit 117, A display processing unit 118.

CPU101は、ROM102や記憶部107が記憶するプログラムをRAM103に展開して実行する。本実施形態にかかるCPU101は、画像処理プログラム110を読み込むことで、当該画像処理プログラム110に含まれている各構成がRAM103上にソフトウェア構成として実現される。そして、実現された各ソフトウェア構成が、コンテンツを立体視表示するための処理を実行する。なお、本実施形態は、ソフトウェア構成を図1に示す構成に制限するものではなく、他の構成であっても良い。   The CPU 101 expands the program stored in the ROM 102 or the storage unit 107 in the RAM 103 and executes it. The CPU 101 according to the present embodiment reads the image processing program 110 so that each configuration included in the image processing program 110 is realized as a software configuration on the RAM 103. Each realized software configuration executes processing for stereoscopically displaying content. In the present embodiment, the software configuration is not limited to the configuration shown in FIG. 1, and other configurations may be used.

表示処理部118は、立体画像表示部106を用いて、各種情報の表示処理を行う。表示処理部118は、記憶部107に記憶されているコンテンツを読み出して、立体画像表示部106に対して受け渡す。コンテンツは、動画データや静止画データなど、様々な表示データが考えられる。   The display processing unit 118 performs various types of information display processing using the stereoscopic image display unit 106. The display processing unit 118 reads the content stored in the storage unit 107 and passes it to the stereoscopic image display unit 106. The content may be various display data such as moving image data and still image data.

このコンテンツのフォーマット(3D Format)は、情報処理装置100が表示可能な、相互に視差を有するフォーマットとして、サイドバイサイド方式とする。   The content format (3D Format) is a side-by-side format that can be displayed by the information processing apparatus 100 and has a parallax with each other.

図3は、サイドバイサイド方式のコンテンツの一フレームを示した画像データの例を示した図である。図3に示すように、サイドバイサイド方式では、相互に視差を有する、右目用のフレーム301と、左目用のフレーム302と、を平方向に1/2に圧縮した上で、横並びに配置して1枚のフレーム画像300として構成されている。   FIG. 3 is a diagram showing an example of image data showing one frame of side-by-side content. As shown in FIG. 3, in the side-by-side method, a right-eye frame 301 and a left-eye frame 302 having parallax with each other are compressed in half in the horizontal direction and arranged side by side. This is configured as a single frame image 300.

このように、立体視表示用の画像データと、2次元表示用の画像データとでは、フォーマットが異なることから、行われる処理も異なる。また、立体画像表示部106においても、異なる制御が行われる。   As described above, since the image data for stereoscopic display and the image data for two-dimensional display have different formats, the processing to be performed is also different. In the stereoscopic image display unit 106, different control is performed.

図4は、2次元表示401と、立体視表示402と、の切換制御を説明した図である。図4に示すように、表示処理部118は、立体画像表示部106の光線方向限定素子202を制御することで、2次元表示401と、立体視表示402と、を切り替えることができる。   FIG. 4 is a diagram for explaining switching control between the two-dimensional display 401 and the stereoscopic display 402. As shown in FIG. 4, the display processing unit 118 can switch between the two-dimensional display 401 and the stereoscopic display 402 by controlling the light direction limiting element 202 of the stereoscopic image display unit 106.

本実施形態では、表示処理部118が、光線方向限定素子202による光の偏光を抑止するよう制御する。画像表示素子201から出力された光は、光線方向限定素子202をそのまま通り、2次元表示401を実現できる。一方、表示処理部118が、光線方向限定素子202で光を偏光させるよう制御する。これにより、画像表示素子201から出力された光は、光線方向限定素子202により、右目用の光と左目用の光とに分けられ、立体視表示402を実現できる。   In the present embodiment, the display processing unit 118 controls to suppress the polarization of light by the light direction limiting element 202. The light output from the image display element 201 passes through the light beam direction limiting element 202 as it is, and a two-dimensional display 401 can be realized. On the other hand, the display processing unit 118 controls the light direction limiting element 202 to polarize the light. Thereby, the light output from the image display element 201 is divided into the light for the right eye and the light for the left eye by the light direction limiting element 202, and the stereoscopic display 402 can be realized.

そして、本実施形態にかかる情報処理装置100では、サイドバイサイド形式の画像データであるか否かを判定して、判定結果に基づいて、立体視表示を行うか否かを決定することとする。   The information processing apparatus 100 according to the present embodiment determines whether the image data is in side-by-side format, and determines whether to perform stereoscopic display based on the determination result.

図5は、情報処理装置100が、サイドバイサイド形式であるか否かを判定するために抽出する画素のラインを示した図である。ところで、立体視表示とは、両目の視差に基づく立体視表示であるため、左目用画像データ505と、右目用画像データ506と、の間において、水平方向(左右方向)にずれが生じている。これに対し、左目用画像データ505と、右目用画像データ506と、の間において、垂直方向には原則的にはずれは生じていない。   FIG. 5 is a diagram illustrating pixel lines that are extracted by the information processing apparatus 100 to determine whether the information processing apparatus 100 is in the side-by-side format. By the way, since the stereoscopic display is a stereoscopic display based on the parallax of both eyes, there is a shift in the horizontal direction (left-right direction) between the left-eye image data 505 and the right-eye image data 506. . In contrast, in principle, there is no deviation in the vertical direction between the left-eye image data 505 and the right-eye image data 506.

そこで、本実施形態では、垂直方向にずれが生じていないことに基づいて、左目用画像データ505における、所定の高さhの水平方向のライン502の画素と、右目用画像データ506における、所定の高さhの水平方向のライン504の画素と、を比較することとした。これにより、サイドバイサイド形式であるか否かの判定が容易となる。なお、高さhは実施の態様に応じて異なるものとする。   Therefore, in the present embodiment, based on the fact that there is no deviation in the vertical direction, the pixel of the horizontal line 502 having a predetermined height h in the left-eye image data 505 and the predetermined value in the right-eye image data 506. The pixel of the horizontal line 504 having the height h is compared. Thereby, it is easy to determine whether the side-by-side format is used. The height h is different depending on the embodiment.

また、左目用画像データ505における水平方向のライン502の画素と、右目用画像データ506における水平方向のライン504の画素と、を比較することで、左目用画像データ505と、右目用画像データ506と、の間の水平方向のずれ幅を算出できる。そこで、本実施形態では、当該ずれ幅を考慮に入れた上で、さらに、左目用画像データの幅の垂直方向のライン501と、右目用画像データの幅の垂直方向のライン503と、を比較することとした。これにより、処理負担を軽減した上で、高い精度でサイドバイサイド形式の画像データであるか否かを判定できる。   Further, by comparing the pixels of the horizontal line 502 in the left-eye image data 505 with the pixels of the horizontal line 504 in the right-eye image data 506, the left-eye image data 505 and the right-eye image data 506 are compared. And the horizontal deviation width between them can be calculated. Therefore, in the present embodiment, the vertical line 501 of the left-eye image data width is compared with the vertical line 503 of the right-eye image data width in consideration of the shift width. It was decided to. As a result, it is possible to determine whether or not the image data is in side-by-side format with high accuracy while reducing the processing load.

なお、本実施形態にかかる画像データについて、色空間YUV形式のうち、輝度(Y)を用いて、比較等を行う例とする。しかしながら、YUV形式である場合に制限するものではなく、RGB形式など、他の形式であっても良い。本実施形態では、輝度のみを用いて処理を行うことで、比較データ量を減らすことができる。   Note that the image data according to the present embodiment is an example of performing comparison or the like using luminance (Y) in the color space YUV format. However, the present invention is not limited to the YUV format, and may be another format such as an RGB format. In the present embodiment, the amount of comparison data can be reduced by performing processing using only luminance.

また、図5に示すような一つのラインの画素の比較ではなく、複数のラインの画素に基づいてサイドバイサイド形式であるか否かを判定してもよい。本実施形態では、立体視表示の検出精度を設定により、比較に用いるラインの数を変更できる。   Further, it may be determined whether or not the side-by-side format is used based on pixels of a plurality of lines instead of comparing pixels of one line as shown in FIG. In the present embodiment, the number of lines used for comparison can be changed by setting the detection accuracy of the stereoscopic display.

図1に戻り、設定部111は、立体視表示の検出精度を設定する。設定部111は、判定対象となる横ライン又は縦ラインの数の増減の設定、並びに各ラインに含まれている画素のうち、判定対象となる画素の増減の設定を行うことで、サイドバイサイド形式であるか否かの検出精度を変更可能とした。   Returning to FIG. 1, the setting unit 111 sets the detection accuracy of the stereoscopic display. The setting unit 111 sets the increase / decrease in the number of horizontal lines or vertical lines to be determined, and sets the increase / decrease in the pixels to be determined among the pixels included in each line. The detection accuracy of whether or not there is changeable.

なお、本実施形態にかかる情報処理装置100の設定部111は、横ライン又は縦ラインに含まれている画素のうち、判定対象となる画素の増減を設定可能としている。例えば、横ライン又は縦ラインに含まれている画素のうち、2ドットにつき1個を比較対象としても良いし、ラインのうち両端部から10%を比較対象とせず、中央80パーセントを比較対象としても良い。   Note that the setting unit 111 of the information processing apparatus 100 according to the present embodiment can set the increase / decrease of the pixel to be determined among the pixels included in the horizontal line or the vertical line. For example, out of the pixels included in the horizontal line or vertical line, one pixel per 2 dots may be compared, 10% from both ends of the line is not compared, and the center 80% is compared. Also good.

図6は、立体視表示の検出精度を設定する画面例を示した図である。図6に示す画面601においては、ユーザが入力デバイス105を介して、スライダー602を操作することで、立体視表示の検出精度を変更することができる。例えば、スライダー602で検出精度を高めることで、複数ラインによる判定が行われるようになる。一方、スライダー602で検出精度を低くすることで、判定に用いられるラインの数を減らすと共に、ラインの含まれている画素のうち、判定対象となる画素の数を減らすことができる。   FIG. 6 is a diagram showing an example of a screen for setting the detection accuracy of the stereoscopic display. In the screen 601 illustrated in FIG. 6, the user can change the detection accuracy of the stereoscopic display by operating the slider 602 via the input device 105. For example, by increasing the detection accuracy with the slider 602, the determination by a plurality of lines is performed. On the other hand, by lowering the detection accuracy with the slider 602, it is possible to reduce the number of lines used for the determination and reduce the number of pixels to be determined among the pixels included in the line.

図1に戻り、分割部112は、判定対象となる画像データを、左右の部分画像データに2等分する。これにより画像データがサイドバイサイド形式である場合、右目用の部分画像データと、左目用の部分画像データと、に分割されたことになる。   Returning to FIG. 1, the dividing unit 112 divides the image data to be determined into two equal parts of left and right partial image data. As a result, when the image data is in the side-by-side format, it is divided into partial image data for the right eye and partial image data for the left eye.

横ライン抽出部113は、画像データを分割した2個の部分画像データのそれぞれから、高さhにおける水平方向の画素のライン(以下、横ラインと称す)の画素を抽出する。また、設定部111により立体視表示の検出精度が高い場合には、部分画像データのそれぞれから、複数のラインの画素を抽出する。本実施形態では、ラインの各画素を示すパラメータとして、画素の輝度値を抽出する。   The horizontal line extraction unit 113 extracts pixels of a horizontal pixel line (hereinafter referred to as a horizontal line) at a height h from each of the two partial image data obtained by dividing the image data. Further, when the setting unit 111 has a high stereoscopic display detection accuracy, pixels of a plurality of lines are extracted from each of the partial image data. In the present embodiment, the luminance value of a pixel is extracted as a parameter indicating each pixel of the line.

横ライン判定部114は、横ライン抽出部113により抽出された、左側の部分画像データの横ラインの画素と、右側の部分画像データの横ラインの画素と、の間の差異に基づいて、画像データが、右目用の部分画像データと左目用の部分画像データとを含んだ立体視表示用の画像データの可能性が高いか否かを判定する。本実施形態では、左側の部分画像データの横ラインの画素と、右側の部分画像データの横ラインの画素と、の類似度が、予め定められた閾値を超えた場合に、立体視表示用の画像データの可能性が高いと判定する。   The horizontal line determination unit 114 determines whether the image is based on the difference between the horizontal line pixels of the left partial image data and the horizontal line pixels of the right partial image data extracted by the horizontal line extraction unit 113. It is determined whether or not the data is highly likely to be image data for stereoscopic display including partial image data for the right eye and partial image data for the left eye. In the present embodiment, when the similarity between the horizontal line pixels of the left partial image data and the horizontal line pixels of the right partial image data exceeds a predetermined threshold, the stereoscopic display It is determined that the possibility of image data is high.

図7は、横ライン判定部114による判定を説明した図である。図7のグラフ701が、左側の部分画像データから抽出した横ラインにおける各画素の輝度値の遷移703を示し、図7のグラフ702が、右側の部分画像データから抽出した横ラインにおける各画素の輝度値の遷移704を示している。そして、横ライン判定部114は、これら輝度値の遷移に基づいて判定を行う。   FIG. 7 is a diagram illustrating the determination by the horizontal line determination unit 114. A graph 701 in FIG. 7 shows a transition 703 of the luminance value of each pixel in the horizontal line extracted from the left partial image data, and a graph 702 in FIG. 7 shows each pixel in the horizontal line extracted from the right partial image data. A luminance value transition 704 is shown. And the horizontal line determination part 114 performs determination based on transition of these luminance values.

ところで、画像データがサイドバイサイド形式の場合、横ラインにおける各画素の輝度値の遷移は、右側と左側とで、視差に基づくずれが生じている。具体的には、輝度の遷移703は左側にずれる一方、輝度の遷移704は右側にずれる。そこで、横ライン判定部114は、このずれを考慮した上で、横ラインの画素間の判定を行っても良い。また、横ライン抽出部113が、各部分画像データから複数の横ラインの画素を抽出した場合、横ライン判定部114は、部分画像データのそれぞれから抽出された複数の横ラインの画素間の差異に基づいて、立体視表示可能な、サイドバイサイド形式の画像データであるか否かを判定する。   By the way, when the image data is in a side-by-side format, the transition of the luminance value of each pixel in the horizontal line has a shift based on parallax between the right side and the left side. Specifically, the luminance transition 703 is shifted to the left, while the luminance transition 704 is shifted to the right. Therefore, the horizontal line determination unit 114 may perform determination between pixels on the horizontal line in consideration of this shift. Further, when the horizontal line extraction unit 113 extracts a plurality of horizontal line pixels from each partial image data, the horizontal line determination unit 114 determines the difference between the plurality of horizontal line pixels extracted from each of the partial image data. Based on the above, it is determined whether or not the image data can be stereoscopically displayed in the side-by-side format.

また、横ライン抽出部113は、設定部111により行われた設定に従って、横ラインの画素のうち、予め定められた複数箇所の画素(例えば、中央80パーセントの範囲の画素や、2ドットに1個の画素)を抽出してもよい。この場合、横ライン判定部114が、部分画像データのそれぞれから抽出された、予め定められた複数箇所の画素(例えば、中央80パーセントの範囲の画素や、2ドットに1個の画素)間の差異に基づいて、サイドバイサイド形式の画像データである可能性が高いか否かを判定する。   In addition, the horizontal line extraction unit 113, in accordance with the setting performed by the setting unit 111, among a plurality of pixels on the horizontal line, a predetermined number of pixels (for example, pixels in the range of the center 80% or 1 in 2 dots) Number of pixels) may be extracted. In this case, the horizontal line determination unit 114 extracts a predetermined number of pixels extracted from each of the partial image data (for example, pixels in the range of the center 80% or one pixel in two dots). Based on the difference, it is determined whether or not the image data is likely to be side-by-side image data.

横ライン判定部114によりサイドバイサイド形式の画像データである可能性が高いと判定された場合、本実施形態では、垂直方向のラインの画素についても比較を行うこととする。しかしながら、部分画像データ間には、両目の視差に基づくずれが生じている。そこで、ずれ算出部115は、横ライン抽出部113により抽出された横ラインの画素間のずれ幅を算出する。   In the present embodiment, when the horizontal line determination unit 114 determines that the image data is likely to be side-by-side format image data, in the present embodiment, comparison is also performed on pixels in the vertical line. However, there is a shift between the partial image data based on the parallax between the eyes. Therefore, the deviation calculation unit 115 calculates the deviation width between pixels of the horizontal line extracted by the horizontal line extraction unit 113.

図8は、ずれ算出部115のずれの算出を示した図である。図8に示すように、左側の部分画像データの横ライン801に含まれる各画素の輝度値と、右側の部分画像データの横ライン802に含まれる各画素の輝度値と、を比較し、ずれ幅を算出する。図8に示す例では、横ライン801のn番目の画素の輝度値が、横ライン802のn−2番目の画素の輝度値と一致する場合、ずれ算出部115は、ずれ幅として2ドットを算出する。   FIG. 8 is a diagram illustrating the calculation of the shift by the shift calculation unit 115. As shown in FIG. 8, the luminance value of each pixel included in the horizontal line 801 of the left partial image data is compared with the luminance value of each pixel included in the horizontal line 802 of the right partial image data. Calculate the width. In the example illustrated in FIG. 8, when the luminance value of the nth pixel in the horizontal line 801 matches the luminance value of the n−2th pixel in the horizontal line 802, the shift calculation unit 115 sets 2 dots as the shift width. calculate.

縦ライン抽出部116は、横ライン判定部114の判定結果として、サイドバイサイド形式の画像データである可能性が高いと判定された場合に、2個の部分画像データのそれぞれから、垂直方向の画素のライン(以下、縦ライン)の画素を抽出する。本実施形態にかかる縦ライン抽出部116は、ずれ算出部115により算出されたずれ幅に基づいて、2個の部分画像データのそれぞれから、縦ラインの画素を抽出する。   When the vertical line extraction unit 116 determines that there is a high possibility of side-by-side format image data as the determination result of the horizontal line determination unit 114, the vertical line extraction unit 116 calculates the vertical pixel from each of the two partial image data. Pixels in a line (hereinafter, vertical line) are extracted. The vertical line extraction unit 116 according to the present embodiment extracts vertical line pixels from each of the two partial image data based on the shift width calculated by the shift calculation unit 115.

縦ライン判定部117は、縦ライン抽出部116により抽出された縦ラインの画素間の差異に基づいて、画像データが、立体視表示可能なサイドバイサイド形式の画像データであるか否かを判定する。本実施形態では、左側の部分画像データの縦ラインの画素と、右側の部分画像データの縦ラインの画素と、の類似度が、予め定められた閾値を超えた場合に、立体視表示用の画像データの可能性が高いと判定する。なお、閾値は、実施の態様にあわせて設定されるものとし、横ラインの画素の類似度を判定する際の閾値と異ならせても良い。   The vertical line determination unit 117 determines whether the image data is side-by-side format image data that can be stereoscopically displayed based on the difference between the pixels of the vertical line extracted by the vertical line extraction unit 116. In the present embodiment, when the similarity between the vertical line pixel of the left partial image data and the vertical line pixel of the right partial image data exceeds a predetermined threshold, the stereoscopic display is displayed. It is determined that the possibility of image data is high. Note that the threshold value is set in accordance with the embodiment, and may be different from the threshold value used when determining the similarity of the pixels on the horizontal line.

図9は、縦ライン判定部117による判定を示した図である。図9のグラフ901は、左側の部分画像データにおける、所定のドット間隔毎の縦ラインの画素の輝度値の遷移911、912、913を示している。具体的には、遷移912が、左側画像データの中心の縦ラインの画素の輝度値であり、遷移911は、中心から所定のドット(例えば2ドット)左にずらした縦ラインの画素の輝度値の遷移であり、遷移913は、中心から所定のドット(例えば2ドット)右にずらした縦ラインの画素の輝度値の遷移とする。   FIG. 9 is a diagram illustrating determination by the vertical line determination unit 117. A graph 901 in FIG. 9 shows transitions 911, 912, and 913 of the luminance values of the pixels on the vertical line for each predetermined dot interval in the left partial image data. Specifically, the transition 912 is the luminance value of the pixel of the vertical line at the center of the left image data, and the transition 911 is the luminance value of the pixel of the vertical line shifted to the left by a predetermined dot (for example, 2 dots) from the center. The transition 913 is a transition of the luminance value of the pixels on the vertical line shifted to the right by a predetermined dot (for example, 2 dots) from the center.

グラフ902は、右側の部分画像データにおける、所定のドット間隔毎の縦ラインの画素の輝度値の遷移921、922、923を示している。具体的には、遷移922が、右側画像データの中心の縦ラインの画素の輝度値であり、遷移921は、中心から所定のドット(例えば2ドット)左にずらした縦ラインの画素の輝度値の遷移であり、遷移923は、中心から所定のドット(例えば2ドット)右にずらした縦ラインの画素の輝度値の遷移とする。   A graph 902 shows transitions 921, 922, and 923 of the luminance values of the pixels on the vertical line for each predetermined dot interval in the right partial image data. Specifically, the transition 922 is the luminance value of the pixel of the vertical line at the center of the right image data, and the transition 921 is the luminance value of the pixel of the vertical line shifted to the left by a predetermined dot (for example, 2 dots) from the center. The transition 923 is a transition of the luminance value of the pixels on the vertical line shifted to the right by a predetermined dot (for example, 2 dots) from the center.

そして、ずれ算出部115のずれ幅として、例えば2ドットをずれ幅として算出した場合、縦ライン判定部117は、左側画像データの縦ラインの画素の輝度値の遷移912と、右側画像データの縦ラインの画素の輝度値の遷移923と、を比較することになる。図9に示す例では、一致するためサイドバイサイド形式と判定される。   When the shift calculation unit 115 calculates, for example, 2 dots as the shift width, the vertical line determination unit 117 shifts the luminance value transition 912 of the pixels in the vertical line of the left image data and the vertical shift of the right image data. The luminance value transition 923 of the pixel of the line is compared. In the example shown in FIG. 9, it is determined as the side-by-side format because they match.

本実施形態では、このようにずれ幅に基づいて抽出された縦ラインの画素を比較することで、高い精度で、サイドバイサイド形式の画像データを検出できる。   In the present embodiment, side-by-side image data can be detected with high accuracy by comparing the pixels of the vertical lines extracted based on the shift width in this way.

本実施形態ではずれ幅を算出したが、必ずずれ幅の算出を必要とするものではない。変形例としては、縦ライン抽出部116が、部分画像データ毎に、縦ラインの画素を複数抽出し、縦ライン判定部117が、抽出した縦ラインの画素の全ての組み合わせについて、閾値を超える程度に類似しているか否か判定する。そして、縦ライン判定部117が、判定を行った全ての組み合わせのうち、一つでも閾値を超えていれば、サイドバイサイド形式と判定する等が考えられる。図9に示す例では、変形例にかかる縦ライン抽出部116が、右側の部分画像データの縦ラインにおける画素の輝度値の遷移911、912、913と、左側の部分画像データの縦ラインにおける画素の輝度値の遷移921、922、923と、を抽出する。そして、縦ライン抽出部116は、抽出した遷移の全ての組み合わせについて類似度を判定し、遷移912と、遷移923と、が一致するため、サイドバイサイド形式と判定する。   In this embodiment, the shift width is calculated, but the shift width is not necessarily calculated. As a modified example, the vertical line extraction unit 116 extracts a plurality of vertical line pixels for each partial image data, and the vertical line determination unit 117 exceeds the threshold for all combinations of the extracted vertical line pixels. It is determined whether or not it is similar. And if the vertical line determination part 117 has exceeded the threshold value among all the combinations which performed determination, it will consider with a side-by-side format etc. In the example illustrated in FIG. 9, the vertical line extraction unit 116 according to the modified example performs pixel luminance value transitions 911, 912, and 913 in the vertical line of the right partial image data and pixels in the vertical line of the left partial image data. The luminance value transitions 921, 922, and 923 are extracted. Then, the vertical line extraction unit 116 determines the similarity for all combinations of the extracted transitions, and determines that the transition 912 and the transition 923 match each other, so that the side-by-side format is determined.

また、縦ライン抽出部116は、設定部111により行われた設定に従って、縦ラインのうち、予め定められた複数箇所の画素(例えば、中央80パーセントの範囲の画素や、2ドットに1個の画素)を抽出してもよい。この場合、縦ライン判定部117が、部分画像データのそれぞれから抽出された、予め定められた複数箇所の画素(例えば、中央80パーセントの範囲の画素や、2ドットに1個の画素)間の差異に基づいて、サイドバイサイド形式の画像データであるか否かを判定する。   Further, the vertical line extraction unit 116, in accordance with the setting performed by the setting unit 111, a plurality of predetermined pixels (for example, pixels in the range of the center 80% or one in two dots) in the vertical line. Pixel) may be extracted. In this case, the vertical line determination unit 117 extracts a predetermined number of pixels extracted from each of the partial image data (for example, a pixel in the range of the center 80 percent or one pixel in two dots). Based on the difference, it is determined whether the image data is in side-by-side format.

次に、本実施形態にかかる情報処理装置100における、画像データの判定処理について説明する。図10は、本実施形態にかかる情報処理装置100における上述した処理の手順を示すフローチャートである。   Next, image data determination processing in the information processing apparatus 100 according to the present embodiment will be described. FIG. 10 is a flowchart illustrating the above-described processing procedure in the information processing apparatus 100 according to the present embodiment.

まず、設定部111が、ユーザにより行われた設定を取得する(ステップS1001)。次に、分割部112が、画像データを左右それぞれの部分画像データに2等分する(ステップS1002)。   First, the setting unit 111 acquires settings made by the user (step S1001). Next, the dividing unit 112 divides the image data into two equal parts of the left and right partial image data (step S1002).

次に、横ライン抽出部113が、左右それぞれの部分画像データから、高さhの水平方向の横ラインの画素を抽出する(ステップS1003)。その際、ステップS1005のために、横ライン抽出部113は、予め複数ラインの画素を、各部分画像データから抽出しておいても良い。さらに、立体視表示の検出精度が低く設定されている場合、横ライン抽出部113は、横ラインのうち、所定の箇所の画素を抽出し、後述する判定処理を軽減してもよい。   Next, the horizontal line extraction unit 113 extracts the pixels of the horizontal line in the horizontal direction with the height h from the left and right partial image data (step S1003). At that time, for step S1005, the horizontal line extraction unit 113 may extract pixels of a plurality of lines from each partial image data in advance. Furthermore, when the detection accuracy of the stereoscopic display is set to be low, the horizontal line extraction unit 113 may extract pixels at a predetermined location in the horizontal line, and reduce the determination process described later.

そして、横ライン判定部114は、左右それぞれの部分画像データから抽出した、高さhの横ラインの画素間が閾値以上に一致しているか否かを判定する(ステップS1004)。   Then, the horizontal line determination unit 114 determines whether or not the pixels of the horizontal line having the height h extracted from the left and right partial image data are equal to or greater than the threshold (step S1004).

横ライン判定部114が一致していないと判定した場合(ステップS1004:No)、立体視表示の検出精度が高く設定されている場合、横ライン抽出部113が各部分画像データから抽出した複数の横ラインの画素間が閾値以上に一致しているか否かを判定する(ステップS1005)。そして、横ライン判定部114が閾値以上に一致していないと判定した場合(ステップS1005:No)、表示処理部118が、画像データに対して、2次元表示処理を行う(ステップS1011)。なお、立体視表示の検出精度が低く設定されている場合、ステップS1005の処理を行わずに、ステップS1011に進んでも良い。   When it is determined that the horizontal line determination unit 114 does not match (step S1004: No), when the stereoscopic display detection accuracy is set high, the horizontal line extraction unit 113 extracts a plurality of pieces extracted from each partial image data. It is determined whether or not the pixels on the horizontal line are equal to or greater than the threshold (step S1005). Then, when the horizontal line determination unit 114 determines that it does not match the threshold value or more (step S1005: No), the display processing unit 118 performs a two-dimensional display process on the image data (step S1011). If the detection accuracy of the stereoscopic display is set low, the process may proceed to step S1011 without performing the process of step S1005.

一方、横ライン判定部114が、横ラインの画素間で閾値以上に一致していると判定した場合(ステップS1004:Yes、ステップS1005:Yes)、ずれ算出部115が、横ラインの画素に基づいて、部分画像データ間のずれ幅を算出する(ステップS1006)。   On the other hand, when the horizontal line determination unit 114 determines that the pixels of the horizontal line are equal to or greater than the threshold value (step S1004: Yes, step S1005: Yes), the deviation calculation unit 115 is based on the pixels of the horizontal line. Thus, the shift width between the partial image data is calculated (step S1006).

次に、縦ライン抽出部116が、算出されたずれ幅を考慮した上で、左右それぞれの部分画像データから、垂直方向の縦ラインの画素を抽出する(ステップS1007)。本実施形態では、縦ライン抽出部116が、左側の部分画像データから中央の縦ラインの画素を抽出し、右側の部分画像データからは、中央からずれ幅だけずらした位置から縦ラインの画素を抽出する。なお、このような手法に限らず、ずれ幅を考慮した抽出手法であればよい。さらに、ステップS1009のために、縦ライン抽出部116は、予め複数ラインの画素を、各部分画像データから抽出しておいても良い。さらに、立体視表示の検出精度が低く設定されている場合、縦ライン抽出部116は、縦ラインのうち、所定の箇所の画素を抽出し、後述する判定処理を軽減してもよい。   Next, the vertical line extraction unit 116 extracts vertical vertical line pixels from the left and right partial image data in consideration of the calculated shift width (step S1007). In the present embodiment, the vertical line extraction unit 116 extracts the pixels of the center vertical line from the left partial image data, and the pixels of the vertical line from the position shifted from the center by the shift width are extracted from the right partial image data. Extract. Note that the extraction method is not limited to such a method, and any extraction method that considers the shift width may be used. Further, for step S1009, the vertical line extraction unit 116 may extract pixels of a plurality of lines from each partial image data in advance. Furthermore, when the detection accuracy of the stereoscopic display is set to be low, the vertical line extraction unit 116 may extract pixels at a predetermined portion of the vertical line, and reduce the determination process described later.

そして、縦ライン判定部117は、抽出された縦ラインの画素間が閾値以上に一致しているか否かを判定する(ステップS1008)。   Then, the vertical line determination unit 117 determines whether or not the pixels of the extracted vertical lines are equal to or greater than the threshold (step S1008).

そして、縦ライン判定部117が閾値以上に一致していないと判定された場合(ステップS1008:No)、立体視表示の検出精度が高く設定されている場合、さらに縦ライン判定部117が各部分画像データから抽出した複数の縦ラインの画素間が閾値以上に一致しているか否かを判定する(ステップS1009)。閾値以上に一致していないと判定した場合(ステップS1005:No)、表示処理部118が、画像データに対して、2次元表示処理を行う(ステップS1011)。なお、立体視表示の検出精度が低く設定されている場合、ステップS1009の処理を行わずに、ステップS1011に進んでも良い。   When it is determined that the vertical line determination unit 117 does not match the threshold value or more (step S1008: No), when the detection accuracy of the stereoscopic display is set high, the vertical line determination unit 117 further includes each part. It is determined whether or not the pixels of the plurality of vertical lines extracted from the image data are equal to or greater than the threshold (step S1009). If it is determined that they do not match the threshold value or more (step S1005: No), the display processing unit 118 performs two-dimensional display processing on the image data (step S1011). If the detection accuracy of the stereoscopic display is set low, the process may proceed to step S1011 without performing the process of step S1009.

一方、縦ライン判定部117が、縦ラインの画素間で閾値以上に一致していると判定した場合(ステップS1008:Yes、ステップS1009:Yes)、表示処理部118は、画像データがサイドバイサイド形式として、立体視表示処理を行う(ステップS1010)。   On the other hand, when the vertical line determination unit 117 determines that the vertical line pixels match the threshold value or more (step S1008: Yes, step S1009: Yes), the display processing unit 118 sets the image data as a side-by-side format. Then, a stereoscopic display process is performed (step S1010).

上述した処理手順により、画像データがサイドバイサイド形式であるか否かを判定することができる。なお、図10の処理手順は一例として示したものであり、他の処理手順で、横ラインの画素間の判定及び縦ラインの画素間の判定を行っても良い。   With the processing procedure described above, it can be determined whether the image data is in a side-by-side format. Note that the processing procedure of FIG. 10 is shown as an example, and the determination between pixels on the horizontal line and the determination between pixels on the vertical line may be performed by other processing procedures.

また、本実施形態にかかる情報処理装置100では、設定等に応じて抽出する縦ライン又は横ラインにおける画素の抽出数を変更しても良い。さらに、設定等に応じて抽出する縦ライン又は横ラインの数を変更しても良い。   Further, in the information processing apparatus 100 according to the present embodiment, the number of extracted pixels in the vertical line or horizontal line to be extracted may be changed according to the setting or the like. Further, the number of vertical lines or horizontal lines to be extracted may be changed according to the setting or the like.

本実施形態にかかる情報処理装置100では、設定部111の設定に従って検出精度を異ならせることとした。これにより、誤検出があってもよいから速く切り替わった方がよい、又は切り替わるのが遅くても良いから検出精度を高めて欲しいと言った、ユーザの要求に対応することが可能となった。   In the information processing apparatus 100 according to the present embodiment, the detection accuracy is varied according to the setting of the setting unit 111. As a result, it is possible to respond to the user's request that it is better to switch quickly because there may be a false detection, or that the switching accuracy may be slow because switching may be slow.

本実施形態にかかる情報処理装置100では、YUB形式の輝度を用いた比較により、サイドバイサイド形式(立体視表示用)の画像データであるか否かを判定する例について説明した。しかしながら、比較に輝度を用いることに制限するものではなく、色相、彩度、あるいは明度等、画像データの比較に用いることが可能なパラメータであればよい。   In the information processing apparatus 100 according to the present embodiment, the example in which it is determined whether or not the image data is in the side-by-side format (for stereoscopic display) by comparison using the luminance in the YUB format has been described. However, the present invention is not limited to the use of luminance for comparison, and any parameter that can be used for comparison of image data, such as hue, saturation, or brightness, may be used.

本実施形態にかかる情報処理装置100では、横ラインの画素に基づく判定と、縦ラインの画素に基づく判定と、を組み合わせることで、サイドバイサイド形式の画像データの検出精度を向上させることができる。   In the information processing apparatus 100 according to the present embodiment, the detection accuracy of side-by-side image data can be improved by combining the determination based on the pixels of the horizontal line and the determination based on the pixels of the vertical line.

さらに、情報処理装置100は、縦ラインの画素に基づく判定を行う際に、ずれ算出部115により算出されたずれ幅を考慮して、判定対象の縦ラインの画素を抽出することとした。これにより、さらに検出精度の向上を図ることができる。   Furthermore, the information processing apparatus 100 extracts the pixels of the vertical line to be determined in consideration of the shift width calculated by the shift calculation unit 115 when performing the determination based on the pixels of the vertical line. Thereby, the detection accuracy can be further improved.

(第2の実施形態)
第1の実施形態では、画像データの横ラインの画素の比較と、縦ラインの画素の比較とを、組み合わせて、サイドバイサイド形式の画像データであるか判定する例について説明した。しかしながら、このような手法に制限するものではない。そこで、第2の実施形態では、横ラインの画素の比較を行う例について説明する。
(Second Embodiment)
In the first embodiment, the example of determining whether the image data is the side-by-side format by combining the comparison of the pixels of the horizontal line of the image data and the comparison of the pixels of the vertical line has been described. However, it is not limited to such a method. Therefore, in the second embodiment, an example in which the pixels in the horizontal line are compared will be described.

図11は、本実施形態にかかる情報処理装置100における上述した処理の手順を示すフローチャートである。図11に示すフローチャートにおいては、図10のステップS1001〜S1005までと同様の処理で、横ラインの画素間が閾値以上に一致するか否かの判定が行われる(ステップS1101〜S1105)。   FIG. 11 is a flowchart illustrating a procedure of the above-described processing in the information processing apparatus 100 according to the present embodiment. In the flowchart shown in FIG. 11, it is determined whether or not the pixels on the horizontal line are equal to or greater than the threshold value by the same processing as steps S1001 to S1005 in FIG. 10 (steps S1101 to S1105).

そして、横ライン判定部114により横ラインの画素間が閾値以上に一致すると判定した場合(ステップS1104:Yes、ステップS1105:Yes)に、表示処理部118が、画像データに対して、立体視表示処理を行う(ステップS1106)。   When the horizontal line determination unit 114 determines that the pixels between the horizontal lines are equal to or greater than the threshold (step S1104: Yes, step S1105: Yes), the display processing unit 118 performs stereoscopic display on the image data. Processing is performed (step S1106).

一方、横ライン判定部114が、複数の横ラインの画素間が閾値以上に一致しないと判定した場合(ステップS1105:No)に、表示処理部118が、画像データに対して、2次元表示処理を行う(ステップS1107)。   On the other hand, when the horizontal line determination unit 114 determines that the pixels of the plurality of horizontal lines do not match the threshold value or more (step S1105: No), the display processing unit 118 performs two-dimensional display processing on the image data. Is performed (step S1107).

上述した処理手順により、画像データがサイドバイサイド形式であるか否かを判定することができる。第2の実施形態では、横ラインの判定結果に基づいてサイドバイサイド形式か否かを判定するため、第1の実施形態よりも処理負担を軽減できる。なお、図11の処理手順は一例として示したものであり、他の処理手順で、横ラインの画素間の判定を行っても良い。   With the processing procedure described above, it can be determined whether the image data is in a side-by-side format. In the second embodiment, since it is determined whether or not the side-by-side format is used based on the determination result of the horizontal line, the processing load can be reduced as compared with the first embodiment. Note that the processing procedure in FIG. 11 is shown as an example, and the determination between pixels on the horizontal line may be performed by another processing procedure.

以上説明したとおり、第1から第2の実施形態によれば、従来のサイドバイサイド形式の画像データ同士の比較と比べて、画像データに含まれるラインが類似するか否かの判定だけで良いため、立体視表示可能であるかの否かの判定における処理負担を軽減できる。   As described above, according to the first to second embodiments, it is only necessary to determine whether or not the lines included in the image data are similar as compared with the comparison between the image data in the conventional side-by-side format. The processing burden in determining whether or not stereoscopic display is possible can be reduced.

上述した実施形態の情報処理装置で実行される画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。   The image processing program executed by the information processing apparatus according to the above-described embodiment is a file in an installable or executable format, such as a CD-ROM, a flexible disk (FD), a CD-R, a DVD (Digital Versatile Disk), or the like. And recorded on a computer-readable recording medium.

また、上述した実施形態の情報処理装置で実行される画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の情報処理装置で実行される画像処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。   Further, the image processing program executed by the information processing apparatus according to the above-described embodiment may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network. The image processing program executed by the information processing apparatus according to the present embodiment may be provided or distributed via a network such as the Internet.

また、本実施形態の画像処理プログラムを、ROM等に予め組み込んで提供するように構成してもよい。   In addition, the image processing program of the present embodiment may be provided by being incorporated in advance in a ROM or the like.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。   Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.

100…情報処理装置、101…CPU、102…ROM、103…RAM、104…通信I/F、105…入力デバイス、106…立体画像表示部、107…記憶部、108…バス、110…画像処理プログラム、111…設定部、112…分割部、113…横ライン抽出部、114…横ライン判定部、115…ずれ算出部、116…縦ライン抽出部、117…縦ライン判定部、118…表示処理部   DESCRIPTION OF SYMBOLS 100 ... Information processing apparatus 101 ... CPU, 102 ... ROM, 103 ... RAM, 104 ... Communication I / F, 105 ... Input device, 106 ... Stereoscopic image display part, 107 ... Memory | storage part, 108 ... Bus, 110 ... Image processing Program 111 111 Setting unit 112 Dividing unit 113 Horizontal line extracting unit 114 Horizontal line determining unit 115 Displacement calculating unit 116 Vertical line extracting unit 117 Vertical line determining unit 118 Display processing Part

Claims (8)

画像情報を分割した2個の部分画像情報のそれぞれから、所定の高さにおける水平方向の画素のラインを抽出する第1の抽出手段と、
前記第1の抽出手段により抽出された2個の前記画素のライン間の差異に基づいて、前記画像情報が、右目用の部分画像情報と左目用の部分画像情報とを含んだ立体視表示用の画像情報であるか否かを判定する第1の判定手段と、
を備える画像処理装置。
First extraction means for extracting a horizontal pixel line at a predetermined height from each of the two partial image information obtained by dividing the image information;
Based on the difference between the lines of the two pixels extracted by the first extraction means, the image information includes stereoscopic image information for the right eye and partial image information for the left eye. First determination means for determining whether or not the image information is,
An image processing apparatus comprising:
前記第1の判定手段の判定結果として、前記立体視表示用の画像情報であると判定された場合に、前記2個の部分画像情報のそれぞれから、垂直方向の画素のラインを抽出する第2の抽出手段と、
前記第2の抽出手段により抽出された前記画素のライン間の差異に基づいて、前記画像情報が、立体視表示用の画像情報であるか否かを判定する第2の判定手段と、
をさらに備える請求項1に記載の画像処理装置。
As a determination result of the first determination means, when it is determined that the image information is for stereoscopic display, a second pixel line is extracted from each of the two pieces of partial image information. Extraction means of
Second determination means for determining whether the image information is image information for stereoscopic display based on a difference between the lines of the pixels extracted by the second extraction means;
The image processing apparatus according to claim 1, further comprising:
前記第1の判定手段の判定結果として、前記立体視表示用の画像情報であると判定された場合に、前記第1の抽出手段により抽出された2個の前記画素のライン間のずれ幅を算出する算出手段と、
前記第2の抽出手段は、前記算出手段により算出された前記ずれ幅に基づいて、前記2個の部分画像情報のそれぞれから、所定の幅の画素のラインを抽出する、
請求項2に記載の画像処理装置。
As a determination result of the first determination unit, when it is determined that the image information is for stereoscopic display, a deviation width between lines of the two pixels extracted by the first extraction unit is calculated. A calculating means for calculating;
The second extraction unit extracts a line of pixels having a predetermined width from each of the two partial image information based on the shift width calculated by the calculation unit.
The image processing apparatus according to claim 2.
前記第1の抽出手段は、水平方向の画素のラインを、前記部分画像情報のそれぞれから複数抽出し、
前記第1の判定手段は、前記部分画像情報のそれぞれから抽出された複数の前記画素のライン間の差異に基づいて、前記立体視表示用の画像情報であるか否かを判定する、
請求項1乃至3のいずれか一つに記載の画像処理装置。
The first extracting means extracts a plurality of horizontal pixel lines from each of the partial image information,
The first determination unit determines whether the image information is for stereoscopic display based on a difference between lines of the plurality of pixels extracted from each of the partial image information.
The image processing apparatus according to claim 1.
前記第2の抽出手段は、垂直方向の画素のラインを、前記部分画像情報のそれぞれから複数抽出し、
前記第2の判定手段は、前記部分画像情報のそれぞれから抽出された複数の前記画素のライン間の差異に基づいて、前記立体視表示用の画像情報であるか否かを判定する、
請求項1乃至4のいずれか一つに記載の画像処理装置。
The second extraction means extracts a plurality of vertical pixel lines from each of the partial image information,
The second determination unit determines whether the image information is for stereoscopic display based on a difference between lines of the plurality of pixels extracted from each of the partial image information.
The image processing apparatus according to claim 1.
前記第1の判定手段は、前記水平方向の画素のラインのうち、予め定められた複数箇所の画素を抽出し、
前記第1の判定手段は、前記部分画像情報のそれぞれから抽出された、予め定められた複数箇所の画素間の差異に基づいて、前記立体視表示用の画像情報であるか否かを判定する、
請求項1乃至5のいずれか一つに記載の画像処理装置。
The first determination means extracts a plurality of predetermined pixels from the horizontal pixel line,
The first determination unit determines whether or not the image information is for stereoscopic display based on a difference between a plurality of predetermined pixels extracted from each of the partial image information. ,
The image processing apparatus according to claim 1.
画像処理装置で実行される画像処理方法であって、
抽出手段が、画像情報を分割した2個の部分画像情報のそれぞれから、所定の高さにおける水平方向の画素のラインを抽出する抽出ステップと、
判定手段が、前記抽出手段により抽出された2個の前記画素のライン間の差異に基づいて、前記画像情報が、右目用の部分画像情報と左目用の部分画像情報とを含んだ立体視表示用の画像情報であるか否かを判定する判定ステップと、
を含む画像処理方法。
An image processing method executed by an image processing apparatus,
An extraction step in which the extraction means extracts a line of pixels in the horizontal direction at a predetermined height from each of the two pieces of partial image information obtained by dividing the image information;
Based on the difference between the lines of the two pixels extracted by the extraction unit by the determination unit, the image information includes stereoscopic image display information including right-eye partial image information and left-eye partial image information. A determination step of determining whether or not the image information is for,
An image processing method including:
画像情報を分割した2個の部分画像情報のそれぞれから、所定の高さにおける水平方向の画素のラインを抽出する抽出ステップと、
前記抽出手段により抽出された2個の前記画素のライン間の差異に基づいて、前記画像情報が、右目用の部分画像情報と左目用の部分画像情報とを含んだ立体視表示用の画像情報であるか否かを判定する判定ステップと、
をコンピュータに実行させるための画像処理プログラム。
An extraction step of extracting a horizontal pixel line at a predetermined height from each of the two partial image information obtained by dividing the image information;
Based on the difference between the lines of the two pixels extracted by the extraction means, the image information includes stereoscopic image information including right-eye partial image information and left-eye partial image information. A determination step for determining whether or not
An image processing program for causing a computer to execute.
JP2011146639A 2011-06-30 2011-06-30 Image processing device, image processing method, and image processing program Pending JP2013016921A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011146639A JP2013016921A (en) 2011-06-30 2011-06-30 Image processing device, image processing method, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011146639A JP2013016921A (en) 2011-06-30 2011-06-30 Image processing device, image processing method, and image processing program

Publications (1)

Publication Number Publication Date
JP2013016921A true JP2013016921A (en) 2013-01-24

Family

ID=47689181

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011146639A Pending JP2013016921A (en) 2011-06-30 2011-06-30 Image processing device, image processing method, and image processing program

Country Status (1)

Country Link
JP (1) JP2013016921A (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004266862A (en) * 2004-05-20 2004-09-24 I-O Data Device Inc Camera for photographing stereoscopic image and stereoscopic image processing apparatus
JP2006332985A (en) * 2005-05-25 2006-12-07 Sharp Corp Stereoscopic image format decision device
JP2010068315A (en) * 2008-09-11 2010-03-25 Mitsubishi Electric Corp Video recording device and method, and video reproducing device and method
JP2010068309A (en) * 2008-09-11 2010-03-25 Mitsubishi Electric Corp Video display and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004266862A (en) * 2004-05-20 2004-09-24 I-O Data Device Inc Camera for photographing stereoscopic image and stereoscopic image processing apparatus
JP2006332985A (en) * 2005-05-25 2006-12-07 Sharp Corp Stereoscopic image format decision device
JP2010068315A (en) * 2008-09-11 2010-03-25 Mitsubishi Electric Corp Video recording device and method, and video reproducing device and method
JP2010068309A (en) * 2008-09-11 2010-03-25 Mitsubishi Electric Corp Video display and method

Similar Documents

Publication Publication Date Title
JP5150255B2 (en) View mode detection
JP5986918B2 (en) Video processing method and apparatus using multi-layer representation
US9270981B2 (en) Apparatus and method for adaptively rendering subpixel
KR102415502B1 (en) Method and apparatus of light filed rendering for plurality of user
JP5011316B2 (en) Rendering the output image
KR102121389B1 (en) Glassless 3d display apparatus and contorl method thereof
EP2801200B1 (en) Display processor for 3d display
JP2008219788A (en) Stereoscopic image display device, and method and program therefor
US20150365645A1 (en) System for generating intermediate view images
KR20160058327A (en) Three dimensional image display device
KR20140046563A (en) Image processing apparatus and method for performing image rendering based on direction of display
US9521428B2 (en) Method, device and system for resizing original depth frame into resized depth frame
EP2765774A1 (en) System for generating an intermediate view image
JP2014011804A (en) Display apparatus and control method thereof
JP5010746B1 (en) Image display device
JP2015037282A (en) Image processing device, image processing method, and program
WO2019111964A1 (en) Image display device, image display method, and image display system
US20140362197A1 (en) Image processing device, image processing method, and stereoscopic image display device
JP5127959B2 (en) Display control apparatus, display control method, and program
WO2022004382A1 (en) Image generation device, image generation method, and program
JP2013016921A (en) Image processing device, image processing method, and image processing program
KR101479435B1 (en) 3d moving image creation device, and 3d moving image creation method
JP5433761B2 (en) Display control apparatus, display control method, and program
JP2013070286A (en) Display control program, display control system, display control apparatus, and display control method
EP2858361A1 (en) Method, device and system for restoring resized depth frame into original depth frame

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121204