JP2013016921A - Image processing device, image processing method, and image processing program - Google Patents
Image processing device, image processing method, and image processing program Download PDFInfo
- Publication number
- JP2013016921A JP2013016921A JP2011146639A JP2011146639A JP2013016921A JP 2013016921 A JP2013016921 A JP 2013016921A JP 2011146639 A JP2011146639 A JP 2011146639A JP 2011146639 A JP2011146639 A JP 2011146639A JP 2013016921 A JP2013016921 A JP 2013016921A
- Authority
- JP
- Japan
- Prior art keywords
- image information
- pixels
- image data
- partial image
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明の実施形態は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。 Embodiments described herein relate generally to an image processing apparatus, an image processing method, and an image processing program.
従来、画像を立体的に表示可能な立体画像表示装置、所謂、3次元ディスプレイが存在している。 2. Description of the Related Art Conventionally, there are stereoscopic image display devices that can display images stereoscopically, so-called three-dimensional displays.
3次元ディスプレイでは、例えば、スリットやレンチキュラシート(シリンドリカルレンズアレイ)を用いて、左右視差(水平視差)を実現している。このような構成を備えた3次元ディスプレイを用いて、右目用の画像と左目用の画像とを、ユーザのそれぞれの目に提供することで、立体視表示を実現できる。この3次元ディスプレイで立体視表示を行う際に、画像データに対して、当該3次元ディスプレイに対応した処理を行う必要がある。 In the three-dimensional display, for example, left and right parallax (horizontal parallax) is realized using a slit or a lenticular sheet (cylindrical lens array). A stereoscopic display can be realized by providing a right-eye image and a left-eye image to the respective eyes of the user using a three-dimensional display having such a configuration. When performing stereoscopic display on the three-dimensional display, it is necessary to perform processing corresponding to the three-dimensional display on the image data.
そのためには、画像データが立体視表示可能なフォーマットである必要がある。立体視表示可能なフォーマットとしては、例えば、マルチキャスト方式、サイドバイサイド方式、トップアンドボトム方式、2D+奥行き方式、タイルフォーマット方式等がある。 For this purpose, the image data must be in a format that can be stereoscopically displayed. Examples of formats that can be stereoscopically displayed include a multicast method, a side-by-side method, a top-and-bottom method, a 2D + depth method, and a tile format method.
従来技術では、画像データのフォーマットに適した処理を行うために、画像データが、サイドバイサイド方式などの立体視表示可能なフォーマットであるか否かを判定する技術が提案されている。 In the prior art, in order to perform processing suitable for the format of the image data, a technique for determining whether or not the image data is in a stereoscopic display format such as a side-by-side format has been proposed.
しかしながら、従来技術においては、画像データがサイドバイサイド方式であるか否かを判定するために、右目用の部分用画像データと、当該画像データの左目用の部分画像データと、に含まれている多くの画素についての類似度等を集計する必要がある。このため、判定するための処理負担が大きいという問題が生じていた。 However, in the prior art, in order to determine whether or not the image data is a side-by-side method, many of the image data included in the right-eye partial image data and the left-eye partial image data of the image data are included. It is necessary to add up the degree of similarity for the pixels. For this reason, the problem that the processing burden for determination is large has arisen.
本発明は、上記に鑑みてなされたものであって、立体視表示可能であるか否かの判定をする際の処理負担を軽減させる画像処理装置、画像処理方法、及び画像処理プログラムを提供する。 The present invention has been made in view of the above, and provides an image processing apparatus, an image processing method, and an image processing program that can reduce the processing burden when determining whether or not stereoscopic display is possible. .
実施形態の画像処理装置は、第1の抽出手段と、第1の判定手段と、を備える。第1の抽出手段は、画像情報を分割した2個の部分画像情報のそれぞれから、所定の高さにおける水平方向の画素のラインを抽出する。第1の判定手段は、第1の抽出手段により抽出された2個の画素のライン間の差異に基づいて、画像情報が、右目用の部分画像情報と左目用の部分画像情報とを含んだ立体視表示用の画像情報であるか否かを判定する。 The image processing apparatus according to the embodiment includes a first extraction unit and a first determination unit. The first extraction unit extracts a line of pixels in the horizontal direction at a predetermined height from each of the two pieces of partial image information obtained by dividing the image information. In the first determination unit, the image information includes partial image information for the right eye and partial image information for the left eye based on a difference between the lines of the two pixels extracted by the first extraction unit. It is determined whether the image information is for stereoscopic display.
(第1の実施形態)
第1の実施形態にかかる情報処理装置100のハードウェア構成について説明する。図1は、本実施形態にかかる情報処理装置100のハードウェア構成の一例を示す図である。図1に示すように、情報処理装置100は、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、通信I/F104と、入力デバイス105と、立体画像表示部106と、記憶部107と、がバス108を介して接続された、通常のコンピュータを利用したハードウェア構成となっている。
(First embodiment)
A hardware configuration of the
ROM102は、CPU101が実行する各種のプログラムや各種の設定情報等を記憶する。RAM103は、情報処理装置100の主記憶装置であって、CPU101のワークエリアとして機能する。
The
通信I/F104は、LANやインターネット等を介して、他の情報処理装置等とのデータ通信を制御する。
The communication I /
入力デバイス105は、立体画像表示部106に表示されたカーソルを操作するためのデバイスとする。本実施形態では、カーソルを操作する例について説明するが、カーソル以外の操作オブジェクトを操作しても良い。
The
立体画像表示部106は、インテグラル・イメージング(II)方式やインテグラル・フォトグラフィー(IP)方式の画像を立体視表示することが可能な立体画像表示仕様の表示装置とする。
The stereoscopic
このように、本実施形態にかかる情報処理装置100は、立体画像表示部106として、インテグラル・イメージング(II)方式やインテグラル・フォトグラフィー(IP)方式の裸眼3D対応パネルを搭載したPC等とする。
As described above, the
図2は、立体画像表示部106の構成を一部拡大して示す斜視図である。図2に示すように、立体画像表示部106は、2次元平面状に複数配列されたカラー画素ドットを備えてカラー画像を表示可能な画像表示素子201と、カラー画素ドットから出射する光線方向を限定することにより水平方向の視認可能な角度を制限する光線方向限定素子202から構成されている。
FIG. 2 is a perspective view showing a partially enlarged configuration of the stereoscopic
画像表示素子201は、画面内のカラー画素ドットの位置ずれが光線の出射方向に大きく影響することから、2次元上に画素ドットがマトリクス配列された、所謂フラットパネルがCRT、プロジェクターよりも好ましく、そのような表示方式として非発光型の液晶パネル(LCD)、発光型のプラズマディスプレイパネル(PDP)、有機EL(エレクトロルミネッセンス)パネルなどが挙げられる。
The
光線方向限定素子202は、画面垂直方向に母線を有する垂直レンティキュラーレンズである。光線方向限定素子202は、光線を出力する方向を限定する機能を有し、パララクスバリア或いは視差バリアとも称せられる。なお、立体視を実現するための手法としては、垂直レンティキュラーレンズを用いるものに制限するものではなく、光線を出力する方向を限定する機能を有するものであればよい。これにより、ユーザの左目と右目とのそれぞれに異なる光線を出力できるため、立体視を実現できる。
The light
画像表示素子201には、縦横比が3:1の画素が、横方向および縦方向にそれぞれ直線状にマトリクス状に並び、各画素は同一行内で横方向にR(赤)、G(緑)、B(青)が交互に並ぶように配列されており、同一列内で縦方向にR(赤)、B(青)、G(緑)が交互に並ぶように配列されている。画素行の縦周期は、画素の横周期Ppの3倍である。このような画像表示素子201の構造では、水平方向に複数の視差を与える立体表示が可能となる。
In the
記憶部107は、HDD(Hard Disk Drive)やSSD(Solid State Drive)等の補助記憶装置であって、CPU101が実行する画像処理プログラム110、各種他のプログラムや各種の設定情報を記憶する。さらに、記憶部107は、後述する視差画像の生成が可能なコンテンツを記憶する。
The
画像処理プログラム110は、設定部111と、分割部112と、横ライン抽出部113と、横ライン判定部114と、ずれ算出部115と、縦ライン抽出部116と、縦ライン判定部117と、表示処理部118と、を備えている。
The
CPU101は、ROM102や記憶部107が記憶するプログラムをRAM103に展開して実行する。本実施形態にかかるCPU101は、画像処理プログラム110を読み込むことで、当該画像処理プログラム110に含まれている各構成がRAM103上にソフトウェア構成として実現される。そして、実現された各ソフトウェア構成が、コンテンツを立体視表示するための処理を実行する。なお、本実施形態は、ソフトウェア構成を図1に示す構成に制限するものではなく、他の構成であっても良い。
The
表示処理部118は、立体画像表示部106を用いて、各種情報の表示処理を行う。表示処理部118は、記憶部107に記憶されているコンテンツを読み出して、立体画像表示部106に対して受け渡す。コンテンツは、動画データや静止画データなど、様々な表示データが考えられる。
The
このコンテンツのフォーマット(3D Format)は、情報処理装置100が表示可能な、相互に視差を有するフォーマットとして、サイドバイサイド方式とする。
The content format (3D Format) is a side-by-side format that can be displayed by the
図3は、サイドバイサイド方式のコンテンツの一フレームを示した画像データの例を示した図である。図3に示すように、サイドバイサイド方式では、相互に視差を有する、右目用のフレーム301と、左目用のフレーム302と、を平方向に1/2に圧縮した上で、横並びに配置して1枚のフレーム画像300として構成されている。
FIG. 3 is a diagram showing an example of image data showing one frame of side-by-side content. As shown in FIG. 3, in the side-by-side method, a right-
このように、立体視表示用の画像データと、2次元表示用の画像データとでは、フォーマットが異なることから、行われる処理も異なる。また、立体画像表示部106においても、異なる制御が行われる。
As described above, since the image data for stereoscopic display and the image data for two-dimensional display have different formats, the processing to be performed is also different. In the stereoscopic
図4は、2次元表示401と、立体視表示402と、の切換制御を説明した図である。図4に示すように、表示処理部118は、立体画像表示部106の光線方向限定素子202を制御することで、2次元表示401と、立体視表示402と、を切り替えることができる。
FIG. 4 is a diagram for explaining switching control between the two-
本実施形態では、表示処理部118が、光線方向限定素子202による光の偏光を抑止するよう制御する。画像表示素子201から出力された光は、光線方向限定素子202をそのまま通り、2次元表示401を実現できる。一方、表示処理部118が、光線方向限定素子202で光を偏光させるよう制御する。これにより、画像表示素子201から出力された光は、光線方向限定素子202により、右目用の光と左目用の光とに分けられ、立体視表示402を実現できる。
In the present embodiment, the
そして、本実施形態にかかる情報処理装置100では、サイドバイサイド形式の画像データであるか否かを判定して、判定結果に基づいて、立体視表示を行うか否かを決定することとする。
The
図5は、情報処理装置100が、サイドバイサイド形式であるか否かを判定するために抽出する画素のラインを示した図である。ところで、立体視表示とは、両目の視差に基づく立体視表示であるため、左目用画像データ505と、右目用画像データ506と、の間において、水平方向(左右方向)にずれが生じている。これに対し、左目用画像データ505と、右目用画像データ506と、の間において、垂直方向には原則的にはずれは生じていない。
FIG. 5 is a diagram illustrating pixel lines that are extracted by the
そこで、本実施形態では、垂直方向にずれが生じていないことに基づいて、左目用画像データ505における、所定の高さhの水平方向のライン502の画素と、右目用画像データ506における、所定の高さhの水平方向のライン504の画素と、を比較することとした。これにより、サイドバイサイド形式であるか否かの判定が容易となる。なお、高さhは実施の態様に応じて異なるものとする。
Therefore, in the present embodiment, based on the fact that there is no deviation in the vertical direction, the pixel of the
また、左目用画像データ505における水平方向のライン502の画素と、右目用画像データ506における水平方向のライン504の画素と、を比較することで、左目用画像データ505と、右目用画像データ506と、の間の水平方向のずれ幅を算出できる。そこで、本実施形態では、当該ずれ幅を考慮に入れた上で、さらに、左目用画像データの幅の垂直方向のライン501と、右目用画像データの幅の垂直方向のライン503と、を比較することとした。これにより、処理負担を軽減した上で、高い精度でサイドバイサイド形式の画像データであるか否かを判定できる。
Further, by comparing the pixels of the
なお、本実施形態にかかる画像データについて、色空間YUV形式のうち、輝度(Y)を用いて、比較等を行う例とする。しかしながら、YUV形式である場合に制限するものではなく、RGB形式など、他の形式であっても良い。本実施形態では、輝度のみを用いて処理を行うことで、比較データ量を減らすことができる。 Note that the image data according to the present embodiment is an example of performing comparison or the like using luminance (Y) in the color space YUV format. However, the present invention is not limited to the YUV format, and may be another format such as an RGB format. In the present embodiment, the amount of comparison data can be reduced by performing processing using only luminance.
また、図5に示すような一つのラインの画素の比較ではなく、複数のラインの画素に基づいてサイドバイサイド形式であるか否かを判定してもよい。本実施形態では、立体視表示の検出精度を設定により、比較に用いるラインの数を変更できる。 Further, it may be determined whether or not the side-by-side format is used based on pixels of a plurality of lines instead of comparing pixels of one line as shown in FIG. In the present embodiment, the number of lines used for comparison can be changed by setting the detection accuracy of the stereoscopic display.
図1に戻り、設定部111は、立体視表示の検出精度を設定する。設定部111は、判定対象となる横ライン又は縦ラインの数の増減の設定、並びに各ラインに含まれている画素のうち、判定対象となる画素の増減の設定を行うことで、サイドバイサイド形式であるか否かの検出精度を変更可能とした。
Returning to FIG. 1, the
なお、本実施形態にかかる情報処理装置100の設定部111は、横ライン又は縦ラインに含まれている画素のうち、判定対象となる画素の増減を設定可能としている。例えば、横ライン又は縦ラインに含まれている画素のうち、2ドットにつき1個を比較対象としても良いし、ラインのうち両端部から10%を比較対象とせず、中央80パーセントを比較対象としても良い。
Note that the
図6は、立体視表示の検出精度を設定する画面例を示した図である。図6に示す画面601においては、ユーザが入力デバイス105を介して、スライダー602を操作することで、立体視表示の検出精度を変更することができる。例えば、スライダー602で検出精度を高めることで、複数ラインによる判定が行われるようになる。一方、スライダー602で検出精度を低くすることで、判定に用いられるラインの数を減らすと共に、ラインの含まれている画素のうち、判定対象となる画素の数を減らすことができる。
FIG. 6 is a diagram showing an example of a screen for setting the detection accuracy of the stereoscopic display. In the
図1に戻り、分割部112は、判定対象となる画像データを、左右の部分画像データに2等分する。これにより画像データがサイドバイサイド形式である場合、右目用の部分画像データと、左目用の部分画像データと、に分割されたことになる。
Returning to FIG. 1, the dividing
横ライン抽出部113は、画像データを分割した2個の部分画像データのそれぞれから、高さhにおける水平方向の画素のライン(以下、横ラインと称す)の画素を抽出する。また、設定部111により立体視表示の検出精度が高い場合には、部分画像データのそれぞれから、複数のラインの画素を抽出する。本実施形態では、ラインの各画素を示すパラメータとして、画素の輝度値を抽出する。
The horizontal
横ライン判定部114は、横ライン抽出部113により抽出された、左側の部分画像データの横ラインの画素と、右側の部分画像データの横ラインの画素と、の間の差異に基づいて、画像データが、右目用の部分画像データと左目用の部分画像データとを含んだ立体視表示用の画像データの可能性が高いか否かを判定する。本実施形態では、左側の部分画像データの横ラインの画素と、右側の部分画像データの横ラインの画素と、の類似度が、予め定められた閾値を超えた場合に、立体視表示用の画像データの可能性が高いと判定する。
The horizontal
図7は、横ライン判定部114による判定を説明した図である。図7のグラフ701が、左側の部分画像データから抽出した横ラインにおける各画素の輝度値の遷移703を示し、図7のグラフ702が、右側の部分画像データから抽出した横ラインにおける各画素の輝度値の遷移704を示している。そして、横ライン判定部114は、これら輝度値の遷移に基づいて判定を行う。
FIG. 7 is a diagram illustrating the determination by the horizontal
ところで、画像データがサイドバイサイド形式の場合、横ラインにおける各画素の輝度値の遷移は、右側と左側とで、視差に基づくずれが生じている。具体的には、輝度の遷移703は左側にずれる一方、輝度の遷移704は右側にずれる。そこで、横ライン判定部114は、このずれを考慮した上で、横ラインの画素間の判定を行っても良い。また、横ライン抽出部113が、各部分画像データから複数の横ラインの画素を抽出した場合、横ライン判定部114は、部分画像データのそれぞれから抽出された複数の横ラインの画素間の差異に基づいて、立体視表示可能な、サイドバイサイド形式の画像データであるか否かを判定する。
By the way, when the image data is in a side-by-side format, the transition of the luminance value of each pixel in the horizontal line has a shift based on parallax between the right side and the left side. Specifically, the
また、横ライン抽出部113は、設定部111により行われた設定に従って、横ラインの画素のうち、予め定められた複数箇所の画素(例えば、中央80パーセントの範囲の画素や、2ドットに1個の画素)を抽出してもよい。この場合、横ライン判定部114が、部分画像データのそれぞれから抽出された、予め定められた複数箇所の画素(例えば、中央80パーセントの範囲の画素や、2ドットに1個の画素)間の差異に基づいて、サイドバイサイド形式の画像データである可能性が高いか否かを判定する。
In addition, the horizontal
横ライン判定部114によりサイドバイサイド形式の画像データである可能性が高いと判定された場合、本実施形態では、垂直方向のラインの画素についても比較を行うこととする。しかしながら、部分画像データ間には、両目の視差に基づくずれが生じている。そこで、ずれ算出部115は、横ライン抽出部113により抽出された横ラインの画素間のずれ幅を算出する。
In the present embodiment, when the horizontal
図8は、ずれ算出部115のずれの算出を示した図である。図8に示すように、左側の部分画像データの横ライン801に含まれる各画素の輝度値と、右側の部分画像データの横ライン802に含まれる各画素の輝度値と、を比較し、ずれ幅を算出する。図8に示す例では、横ライン801のn番目の画素の輝度値が、横ライン802のn−2番目の画素の輝度値と一致する場合、ずれ算出部115は、ずれ幅として2ドットを算出する。
FIG. 8 is a diagram illustrating the calculation of the shift by the
縦ライン抽出部116は、横ライン判定部114の判定結果として、サイドバイサイド形式の画像データである可能性が高いと判定された場合に、2個の部分画像データのそれぞれから、垂直方向の画素のライン(以下、縦ライン)の画素を抽出する。本実施形態にかかる縦ライン抽出部116は、ずれ算出部115により算出されたずれ幅に基づいて、2個の部分画像データのそれぞれから、縦ラインの画素を抽出する。
When the vertical
縦ライン判定部117は、縦ライン抽出部116により抽出された縦ラインの画素間の差異に基づいて、画像データが、立体視表示可能なサイドバイサイド形式の画像データであるか否かを判定する。本実施形態では、左側の部分画像データの縦ラインの画素と、右側の部分画像データの縦ラインの画素と、の類似度が、予め定められた閾値を超えた場合に、立体視表示用の画像データの可能性が高いと判定する。なお、閾値は、実施の態様にあわせて設定されるものとし、横ラインの画素の類似度を判定する際の閾値と異ならせても良い。
The vertical
図9は、縦ライン判定部117による判定を示した図である。図9のグラフ901は、左側の部分画像データにおける、所定のドット間隔毎の縦ラインの画素の輝度値の遷移911、912、913を示している。具体的には、遷移912が、左側画像データの中心の縦ラインの画素の輝度値であり、遷移911は、中心から所定のドット(例えば2ドット)左にずらした縦ラインの画素の輝度値の遷移であり、遷移913は、中心から所定のドット(例えば2ドット)右にずらした縦ラインの画素の輝度値の遷移とする。
FIG. 9 is a diagram illustrating determination by the vertical
グラフ902は、右側の部分画像データにおける、所定のドット間隔毎の縦ラインの画素の輝度値の遷移921、922、923を示している。具体的には、遷移922が、右側画像データの中心の縦ラインの画素の輝度値であり、遷移921は、中心から所定のドット(例えば2ドット)左にずらした縦ラインの画素の輝度値の遷移であり、遷移923は、中心から所定のドット(例えば2ドット)右にずらした縦ラインの画素の輝度値の遷移とする。
A
そして、ずれ算出部115のずれ幅として、例えば2ドットをずれ幅として算出した場合、縦ライン判定部117は、左側画像データの縦ラインの画素の輝度値の遷移912と、右側画像データの縦ラインの画素の輝度値の遷移923と、を比較することになる。図9に示す例では、一致するためサイドバイサイド形式と判定される。
When the
本実施形態では、このようにずれ幅に基づいて抽出された縦ラインの画素を比較することで、高い精度で、サイドバイサイド形式の画像データを検出できる。 In the present embodiment, side-by-side image data can be detected with high accuracy by comparing the pixels of the vertical lines extracted based on the shift width in this way.
本実施形態ではずれ幅を算出したが、必ずずれ幅の算出を必要とするものではない。変形例としては、縦ライン抽出部116が、部分画像データ毎に、縦ラインの画素を複数抽出し、縦ライン判定部117が、抽出した縦ラインの画素の全ての組み合わせについて、閾値を超える程度に類似しているか否か判定する。そして、縦ライン判定部117が、判定を行った全ての組み合わせのうち、一つでも閾値を超えていれば、サイドバイサイド形式と判定する等が考えられる。図9に示す例では、変形例にかかる縦ライン抽出部116が、右側の部分画像データの縦ラインにおける画素の輝度値の遷移911、912、913と、左側の部分画像データの縦ラインにおける画素の輝度値の遷移921、922、923と、を抽出する。そして、縦ライン抽出部116は、抽出した遷移の全ての組み合わせについて類似度を判定し、遷移912と、遷移923と、が一致するため、サイドバイサイド形式と判定する。
In this embodiment, the shift width is calculated, but the shift width is not necessarily calculated. As a modified example, the vertical
また、縦ライン抽出部116は、設定部111により行われた設定に従って、縦ラインのうち、予め定められた複数箇所の画素(例えば、中央80パーセントの範囲の画素や、2ドットに1個の画素)を抽出してもよい。この場合、縦ライン判定部117が、部分画像データのそれぞれから抽出された、予め定められた複数箇所の画素(例えば、中央80パーセントの範囲の画素や、2ドットに1個の画素)間の差異に基づいて、サイドバイサイド形式の画像データであるか否かを判定する。
Further, the vertical
次に、本実施形態にかかる情報処理装置100における、画像データの判定処理について説明する。図10は、本実施形態にかかる情報処理装置100における上述した処理の手順を示すフローチャートである。
Next, image data determination processing in the
まず、設定部111が、ユーザにより行われた設定を取得する(ステップS1001)。次に、分割部112が、画像データを左右それぞれの部分画像データに2等分する(ステップS1002)。
First, the
次に、横ライン抽出部113が、左右それぞれの部分画像データから、高さhの水平方向の横ラインの画素を抽出する(ステップS1003)。その際、ステップS1005のために、横ライン抽出部113は、予め複数ラインの画素を、各部分画像データから抽出しておいても良い。さらに、立体視表示の検出精度が低く設定されている場合、横ライン抽出部113は、横ラインのうち、所定の箇所の画素を抽出し、後述する判定処理を軽減してもよい。
Next, the horizontal
そして、横ライン判定部114は、左右それぞれの部分画像データから抽出した、高さhの横ラインの画素間が閾値以上に一致しているか否かを判定する(ステップS1004)。
Then, the horizontal
横ライン判定部114が一致していないと判定した場合(ステップS1004:No)、立体視表示の検出精度が高く設定されている場合、横ライン抽出部113が各部分画像データから抽出した複数の横ラインの画素間が閾値以上に一致しているか否かを判定する(ステップS1005)。そして、横ライン判定部114が閾値以上に一致していないと判定した場合(ステップS1005:No)、表示処理部118が、画像データに対して、2次元表示処理を行う(ステップS1011)。なお、立体視表示の検出精度が低く設定されている場合、ステップS1005の処理を行わずに、ステップS1011に進んでも良い。
When it is determined that the horizontal
一方、横ライン判定部114が、横ラインの画素間で閾値以上に一致していると判定した場合(ステップS1004:Yes、ステップS1005:Yes)、ずれ算出部115が、横ラインの画素に基づいて、部分画像データ間のずれ幅を算出する(ステップS1006)。
On the other hand, when the horizontal
次に、縦ライン抽出部116が、算出されたずれ幅を考慮した上で、左右それぞれの部分画像データから、垂直方向の縦ラインの画素を抽出する(ステップS1007)。本実施形態では、縦ライン抽出部116が、左側の部分画像データから中央の縦ラインの画素を抽出し、右側の部分画像データからは、中央からずれ幅だけずらした位置から縦ラインの画素を抽出する。なお、このような手法に限らず、ずれ幅を考慮した抽出手法であればよい。さらに、ステップS1009のために、縦ライン抽出部116は、予め複数ラインの画素を、各部分画像データから抽出しておいても良い。さらに、立体視表示の検出精度が低く設定されている場合、縦ライン抽出部116は、縦ラインのうち、所定の箇所の画素を抽出し、後述する判定処理を軽減してもよい。
Next, the vertical
そして、縦ライン判定部117は、抽出された縦ラインの画素間が閾値以上に一致しているか否かを判定する(ステップS1008)。
Then, the vertical
そして、縦ライン判定部117が閾値以上に一致していないと判定された場合(ステップS1008:No)、立体視表示の検出精度が高く設定されている場合、さらに縦ライン判定部117が各部分画像データから抽出した複数の縦ラインの画素間が閾値以上に一致しているか否かを判定する(ステップS1009)。閾値以上に一致していないと判定した場合(ステップS1005:No)、表示処理部118が、画像データに対して、2次元表示処理を行う(ステップS1011)。なお、立体視表示の検出精度が低く設定されている場合、ステップS1009の処理を行わずに、ステップS1011に進んでも良い。
When it is determined that the vertical
一方、縦ライン判定部117が、縦ラインの画素間で閾値以上に一致していると判定した場合(ステップS1008:Yes、ステップS1009:Yes)、表示処理部118は、画像データがサイドバイサイド形式として、立体視表示処理を行う(ステップS1010)。
On the other hand, when the vertical
上述した処理手順により、画像データがサイドバイサイド形式であるか否かを判定することができる。なお、図10の処理手順は一例として示したものであり、他の処理手順で、横ラインの画素間の判定及び縦ラインの画素間の判定を行っても良い。 With the processing procedure described above, it can be determined whether the image data is in a side-by-side format. Note that the processing procedure of FIG. 10 is shown as an example, and the determination between pixels on the horizontal line and the determination between pixels on the vertical line may be performed by other processing procedures.
また、本実施形態にかかる情報処理装置100では、設定等に応じて抽出する縦ライン又は横ラインにおける画素の抽出数を変更しても良い。さらに、設定等に応じて抽出する縦ライン又は横ラインの数を変更しても良い。
Further, in the
本実施形態にかかる情報処理装置100では、設定部111の設定に従って検出精度を異ならせることとした。これにより、誤検出があってもよいから速く切り替わった方がよい、又は切り替わるのが遅くても良いから検出精度を高めて欲しいと言った、ユーザの要求に対応することが可能となった。
In the
本実施形態にかかる情報処理装置100では、YUB形式の輝度を用いた比較により、サイドバイサイド形式(立体視表示用)の画像データであるか否かを判定する例について説明した。しかしながら、比較に輝度を用いることに制限するものではなく、色相、彩度、あるいは明度等、画像データの比較に用いることが可能なパラメータであればよい。
In the
本実施形態にかかる情報処理装置100では、横ラインの画素に基づく判定と、縦ラインの画素に基づく判定と、を組み合わせることで、サイドバイサイド形式の画像データの検出精度を向上させることができる。
In the
さらに、情報処理装置100は、縦ラインの画素に基づく判定を行う際に、ずれ算出部115により算出されたずれ幅を考慮して、判定対象の縦ラインの画素を抽出することとした。これにより、さらに検出精度の向上を図ることができる。
Furthermore, the
(第2の実施形態)
第1の実施形態では、画像データの横ラインの画素の比較と、縦ラインの画素の比較とを、組み合わせて、サイドバイサイド形式の画像データであるか判定する例について説明した。しかしながら、このような手法に制限するものではない。そこで、第2の実施形態では、横ラインの画素の比較を行う例について説明する。
(Second Embodiment)
In the first embodiment, the example of determining whether the image data is the side-by-side format by combining the comparison of the pixels of the horizontal line of the image data and the comparison of the pixels of the vertical line has been described. However, it is not limited to such a method. Therefore, in the second embodiment, an example in which the pixels in the horizontal line are compared will be described.
図11は、本実施形態にかかる情報処理装置100における上述した処理の手順を示すフローチャートである。図11に示すフローチャートにおいては、図10のステップS1001〜S1005までと同様の処理で、横ラインの画素間が閾値以上に一致するか否かの判定が行われる(ステップS1101〜S1105)。
FIG. 11 is a flowchart illustrating a procedure of the above-described processing in the
そして、横ライン判定部114により横ラインの画素間が閾値以上に一致すると判定した場合(ステップS1104:Yes、ステップS1105:Yes)に、表示処理部118が、画像データに対して、立体視表示処理を行う(ステップS1106)。
When the horizontal
一方、横ライン判定部114が、複数の横ラインの画素間が閾値以上に一致しないと判定した場合(ステップS1105:No)に、表示処理部118が、画像データに対して、2次元表示処理を行う(ステップS1107)。
On the other hand, when the horizontal
上述した処理手順により、画像データがサイドバイサイド形式であるか否かを判定することができる。第2の実施形態では、横ラインの判定結果に基づいてサイドバイサイド形式か否かを判定するため、第1の実施形態よりも処理負担を軽減できる。なお、図11の処理手順は一例として示したものであり、他の処理手順で、横ラインの画素間の判定を行っても良い。 With the processing procedure described above, it can be determined whether the image data is in a side-by-side format. In the second embodiment, since it is determined whether or not the side-by-side format is used based on the determination result of the horizontal line, the processing load can be reduced as compared with the first embodiment. Note that the processing procedure in FIG. 11 is shown as an example, and the determination between pixels on the horizontal line may be performed by another processing procedure.
以上説明したとおり、第1から第2の実施形態によれば、従来のサイドバイサイド形式の画像データ同士の比較と比べて、画像データに含まれるラインが類似するか否かの判定だけで良いため、立体視表示可能であるかの否かの判定における処理負担を軽減できる。 As described above, according to the first to second embodiments, it is only necessary to determine whether or not the lines included in the image data are similar as compared with the comparison between the image data in the conventional side-by-side format. The processing burden in determining whether or not stereoscopic display is possible can be reduced.
上述した実施形態の情報処理装置で実行される画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。 The image processing program executed by the information processing apparatus according to the above-described embodiment is a file in an installable or executable format, such as a CD-ROM, a flexible disk (FD), a CD-R, a DVD (Digital Versatile Disk), or the like. And recorded on a computer-readable recording medium.
また、上述した実施形態の情報処理装置で実行される画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の情報処理装置で実行される画像処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。 Further, the image processing program executed by the information processing apparatus according to the above-described embodiment may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network. The image processing program executed by the information processing apparatus according to the present embodiment may be provided or distributed via a network such as the Internet.
また、本実施形態の画像処理プログラムを、ROM等に予め組み込んで提供するように構成してもよい。 In addition, the image processing program of the present embodiment may be provided by being incorporated in advance in a ROM or the like.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
100…情報処理装置、101…CPU、102…ROM、103…RAM、104…通信I/F、105…入力デバイス、106…立体画像表示部、107…記憶部、108…バス、110…画像処理プログラム、111…設定部、112…分割部、113…横ライン抽出部、114…横ライン判定部、115…ずれ算出部、116…縦ライン抽出部、117…縦ライン判定部、118…表示処理部
DESCRIPTION OF
Claims (8)
前記第1の抽出手段により抽出された2個の前記画素のライン間の差異に基づいて、前記画像情報が、右目用の部分画像情報と左目用の部分画像情報とを含んだ立体視表示用の画像情報であるか否かを判定する第1の判定手段と、
を備える画像処理装置。 First extraction means for extracting a horizontal pixel line at a predetermined height from each of the two partial image information obtained by dividing the image information;
Based on the difference between the lines of the two pixels extracted by the first extraction means, the image information includes stereoscopic image information for the right eye and partial image information for the left eye. First determination means for determining whether or not the image information is,
An image processing apparatus comprising:
前記第2の抽出手段により抽出された前記画素のライン間の差異に基づいて、前記画像情報が、立体視表示用の画像情報であるか否かを判定する第2の判定手段と、
をさらに備える請求項1に記載の画像処理装置。 As a determination result of the first determination means, when it is determined that the image information is for stereoscopic display, a second pixel line is extracted from each of the two pieces of partial image information. Extraction means of
Second determination means for determining whether the image information is image information for stereoscopic display based on a difference between the lines of the pixels extracted by the second extraction means;
The image processing apparatus according to claim 1, further comprising:
前記第2の抽出手段は、前記算出手段により算出された前記ずれ幅に基づいて、前記2個の部分画像情報のそれぞれから、所定の幅の画素のラインを抽出する、
請求項2に記載の画像処理装置。 As a determination result of the first determination unit, when it is determined that the image information is for stereoscopic display, a deviation width between lines of the two pixels extracted by the first extraction unit is calculated. A calculating means for calculating;
The second extraction unit extracts a line of pixels having a predetermined width from each of the two partial image information based on the shift width calculated by the calculation unit.
The image processing apparatus according to claim 2.
前記第1の判定手段は、前記部分画像情報のそれぞれから抽出された複数の前記画素のライン間の差異に基づいて、前記立体視表示用の画像情報であるか否かを判定する、
請求項1乃至3のいずれか一つに記載の画像処理装置。 The first extracting means extracts a plurality of horizontal pixel lines from each of the partial image information,
The first determination unit determines whether the image information is for stereoscopic display based on a difference between lines of the plurality of pixels extracted from each of the partial image information.
The image processing apparatus according to claim 1.
前記第2の判定手段は、前記部分画像情報のそれぞれから抽出された複数の前記画素のライン間の差異に基づいて、前記立体視表示用の画像情報であるか否かを判定する、
請求項1乃至4のいずれか一つに記載の画像処理装置。 The second extraction means extracts a plurality of vertical pixel lines from each of the partial image information,
The second determination unit determines whether the image information is for stereoscopic display based on a difference between lines of the plurality of pixels extracted from each of the partial image information.
The image processing apparatus according to claim 1.
前記第1の判定手段は、前記部分画像情報のそれぞれから抽出された、予め定められた複数箇所の画素間の差異に基づいて、前記立体視表示用の画像情報であるか否かを判定する、
請求項1乃至5のいずれか一つに記載の画像処理装置。 The first determination means extracts a plurality of predetermined pixels from the horizontal pixel line,
The first determination unit determines whether or not the image information is for stereoscopic display based on a difference between a plurality of predetermined pixels extracted from each of the partial image information. ,
The image processing apparatus according to claim 1.
抽出手段が、画像情報を分割した2個の部分画像情報のそれぞれから、所定の高さにおける水平方向の画素のラインを抽出する抽出ステップと、
判定手段が、前記抽出手段により抽出された2個の前記画素のライン間の差異に基づいて、前記画像情報が、右目用の部分画像情報と左目用の部分画像情報とを含んだ立体視表示用の画像情報であるか否かを判定する判定ステップと、
を含む画像処理方法。 An image processing method executed by an image processing apparatus,
An extraction step in which the extraction means extracts a line of pixels in the horizontal direction at a predetermined height from each of the two pieces of partial image information obtained by dividing the image information;
Based on the difference between the lines of the two pixels extracted by the extraction unit by the determination unit, the image information includes stereoscopic image display information including right-eye partial image information and left-eye partial image information. A determination step of determining whether or not the image information is for,
An image processing method including:
前記抽出手段により抽出された2個の前記画素のライン間の差異に基づいて、前記画像情報が、右目用の部分画像情報と左目用の部分画像情報とを含んだ立体視表示用の画像情報であるか否かを判定する判定ステップと、
をコンピュータに実行させるための画像処理プログラム。 An extraction step of extracting a horizontal pixel line at a predetermined height from each of the two partial image information obtained by dividing the image information;
Based on the difference between the lines of the two pixels extracted by the extraction means, the image information includes stereoscopic image information including right-eye partial image information and left-eye partial image information. A determination step for determining whether or not
An image processing program for causing a computer to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011146639A JP2013016921A (en) | 2011-06-30 | 2011-06-30 | Image processing device, image processing method, and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011146639A JP2013016921A (en) | 2011-06-30 | 2011-06-30 | Image processing device, image processing method, and image processing program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013016921A true JP2013016921A (en) | 2013-01-24 |
Family
ID=47689181
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011146639A Pending JP2013016921A (en) | 2011-06-30 | 2011-06-30 | Image processing device, image processing method, and image processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013016921A (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004266862A (en) * | 2004-05-20 | 2004-09-24 | I-O Data Device Inc | Camera for photographing stereoscopic image and stereoscopic image processing apparatus |
JP2006332985A (en) * | 2005-05-25 | 2006-12-07 | Sharp Corp | Stereoscopic image format decision device |
JP2010068315A (en) * | 2008-09-11 | 2010-03-25 | Mitsubishi Electric Corp | Video recording device and method, and video reproducing device and method |
JP2010068309A (en) * | 2008-09-11 | 2010-03-25 | Mitsubishi Electric Corp | Video display and method |
-
2011
- 2011-06-30 JP JP2011146639A patent/JP2013016921A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004266862A (en) * | 2004-05-20 | 2004-09-24 | I-O Data Device Inc | Camera for photographing stereoscopic image and stereoscopic image processing apparatus |
JP2006332985A (en) * | 2005-05-25 | 2006-12-07 | Sharp Corp | Stereoscopic image format decision device |
JP2010068315A (en) * | 2008-09-11 | 2010-03-25 | Mitsubishi Electric Corp | Video recording device and method, and video reproducing device and method |
JP2010068309A (en) * | 2008-09-11 | 2010-03-25 | Mitsubishi Electric Corp | Video display and method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5150255B2 (en) | View mode detection | |
JP5986918B2 (en) | Video processing method and apparatus using multi-layer representation | |
US9270981B2 (en) | Apparatus and method for adaptively rendering subpixel | |
KR102415502B1 (en) | Method and apparatus of light filed rendering for plurality of user | |
JP5011316B2 (en) | Rendering the output image | |
KR102121389B1 (en) | Glassless 3d display apparatus and contorl method thereof | |
EP2801200B1 (en) | Display processor for 3d display | |
JP2008219788A (en) | Stereoscopic image display device, and method and program therefor | |
US20150365645A1 (en) | System for generating intermediate view images | |
KR20160058327A (en) | Three dimensional image display device | |
KR20140046563A (en) | Image processing apparatus and method for performing image rendering based on direction of display | |
US9521428B2 (en) | Method, device and system for resizing original depth frame into resized depth frame | |
EP2765774A1 (en) | System for generating an intermediate view image | |
JP2014011804A (en) | Display apparatus and control method thereof | |
JP5010746B1 (en) | Image display device | |
JP2015037282A (en) | Image processing device, image processing method, and program | |
WO2019111964A1 (en) | Image display device, image display method, and image display system | |
US20140362197A1 (en) | Image processing device, image processing method, and stereoscopic image display device | |
JP5127959B2 (en) | Display control apparatus, display control method, and program | |
WO2022004382A1 (en) | Image generation device, image generation method, and program | |
JP2013016921A (en) | Image processing device, image processing method, and image processing program | |
KR101479435B1 (en) | 3d moving image creation device, and 3d moving image creation method | |
JP5433761B2 (en) | Display control apparatus, display control method, and program | |
JP2013070286A (en) | Display control program, display control system, display control apparatus, and display control method | |
EP2858361A1 (en) | Method, device and system for restoring resized depth frame into original depth frame |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20121204 |