JP4133573B2 - Image recording apparatus and image recording method - Google Patents

Image recording apparatus and image recording method Download PDF

Info

Publication number
JP4133573B2
JP4133573B2 JP2003139349A JP2003139349A JP4133573B2 JP 4133573 B2 JP4133573 B2 JP 4133573B2 JP 2003139349 A JP2003139349 A JP 2003139349A JP 2003139349 A JP2003139349 A JP 2003139349A JP 4133573 B2 JP4133573 B2 JP 4133573B2
Authority
JP
Japan
Prior art keywords
image
image data
recording
file
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003139349A
Other languages
Japanese (ja)
Other versions
JP2004343549A (en
Inventor
一人 大原
敏男 野村
正宏 塩井
竜二 北浦
直樹 石原
裕之 堅田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2003139349A priority Critical patent/JP4133573B2/en
Publication of JP2004343549A publication Critical patent/JP2004343549A/en
Application granted granted Critical
Publication of JP4133573B2 publication Critical patent/JP4133573B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size

Description

【0001】
【発明の属する技術分野】
本発明は、両眼視差を利用した3次元画像を撮影して記録媒体に記録する画像記録装置および画像記録方法に関するものである。
【0002】
【従来の技術】
近年、100万画素以上の解像度を持った、いわゆるメガピクセルのCCDを備えることにより、高品質の画像データを簡単に撮影することが可能なデジタルカメラが普及している。その結果、銀塩フィルム式のカメラと同じ品質で、デジタルデータとして記録された画像データをプリントすることが可能となり、画像データから高品質な画像プリントを提供するプリントサービスが普及しつつある。
【0003】
一方、被写体に対して視差を持った複数視点の画像を左右の眼で別々に見ることにより、撮影された被写体を立体的に見ることができることが知られている(以下、このような画像をステレオ画像と呼ぶ。またステレオ画像を構成する各視点の画像を視点画像と呼ぶ)。ステレオ画像を撮影するための手段としては、一般的な単眼カメラに視点の異なる複数の被写体像を形成するステレオアダプタを装着して1画面に視差のある複数の画像を撮影する方法や、2台以上のカメラを用いて異なる視点から被写体を撮影することで視差のある複数の画像を撮影するということが行われている。
【0004】
図10は、ステレオアダプタを装着した際の撮影画像を説明するための図である。図10(a)はステレオアダプタを装着しない状態で撮影した画像であり、図10(b)は、画角が1/2になるタイプのステレオアダプタを装着して撮影した画像を、図10(c)は、画角は変化せず、撮影できる範囲が狭くなるタイプのステレオアダプタを装着して撮影した画像を示す。ステレオアダプタを装着した場合、一般に左側に左眼画像が、右側に右眼画像が映され、画面の大きさはステレオアダプタを装着する前と変わらない。
【0005】
このようにして撮影された画像は、左眼画像を左眼のみで、右眼画像を右眼のみで見ることで立体視することができる。両眼視差を利用して立体視を実現する代表的な方式の1つとしてパララクスバリア方式が提案されている。図11は、パララクスバリア方式を説明するための図である。図11(a)は、視差が生じる原理を示す図である。図11(b)は、パララクスバリア方式で表示される画面の表示形式を示す図であり、左眼画像と右眼画像が水平方向1画素おきに交互にならんだ形に配置されている。
【0006】
図11(a)では、図11(b)に示すような画像を、画像表示パネル701に表示し、同一視点の画素の間隔よりも狭い間隔でスリットを持つパララクスバリア702を画像表示パネル701の前面に置くことにより、左眼画像は左眼703だけで、右眼画像は右眼704だけで観察することになり、立体視を行うことができる。
【0007】
ところで、このように特別な立体視用の装置を用いなくとも、左右に隣接した画像をプリントし、左右の画像をそれぞれ別々の目で観察することで立体視することも可能である。
【0008】
【発明が解決しようとする課題】
しかしながら、上記従来のプリントサービスは、単眼の画像が最適にプリントされるようになっており、ステレオ画像をプリントする場合が考慮されていない。したがって、プリント用紙のサイズが限定されているために、ステレオ画像の形態によっては画像データの一部分しか印刷されないという問題がある。例えば、2台のカメラを用いて被写体を撮影した2つの画像が、それぞれ図10(a)に示した画像と同じサイズとなる場合、左右の画像を隣接させた画像は、図12(a)に示すように水平方向のサイズが2倍となる。この画像データを単眼の画像と同じ用紙サイズでプリントした場合、図12(b)に示すように画像の一部のみが印刷される状態となる。利用者がステレオ画像をプリントすることを意図していたとすると、意図した画像からはほど遠い結果が得られ、無駄なコストを発生させてしまう。用紙を選択したり、画像を縮小して印刷することで画像データ全体を印刷することも可能であるが、プリントサービスの提供者により対応が異なったり、画像データごとにプリントサービスの利用者が指定しなければならないため煩雑である。
【0009】
また、視点数が多い場合や、ステレオ画像の各視点画像に各視点画像単位での回転(以下、視点画像ごとの回転と呼ぶ)などの編集が施されている場合には、特別な立体視用の装置を用いなければ立体視を行うことのできない状態でプリントされてしまうため、無駄なコストが発生してしまう。
【0010】
本発明は、上記の問題点に鑑みてなされたものであり、既存のプリンタやプリントサービスにおいて、適切に立体視できる画像データをプリントできるようにし、それ以外の画像データは利用者の意図に反してプリントされることのないように画像データを記録することのできる画像記録装置および画像記録方法を提供することを目的とする。
【0011】
【課題を解決するための手段】
上記目的を達成するために、本発明は、N個(Nは自然数)の視点に対応する画像を含む画像データを符号化し、拡張子が付加された画像ファイルを記録する記録手段を備えた画像記録装置において、前記画像データの構造を示すパラメータに基づいて前記画像データが裸眼による立体視が可能な形態に印刷可能か否かを判別する形態判別手段を有し、前記記録手段は、前記形態判別手段の判別結果が、立体視可能に印刷出来ない場合には、画像ファイルと対応づけられていない拡張子を付加して画像ファイルとして記録することで、上記の目的を達成する。
【0012】
より好ましくは、前記形態判別手段の判別結果が、立体視可能に印刷出来ると判別された場合に、前記画像データについて、前記画像データの水平方向のサイズと垂直方向のサイズの比が所定の条件を満たすか否かを判別する画像サイズ判別手段を更に備え、前記記録手段は、前記画像サイズ判別手段の判別結果が、所定の条件を満たさない場合には、画像データを所定の条件を満たすよう変更し、画像ファイルとして記録することを特徴とする。
【0013】
より好ましくは、前記記録手段は、前記画像データと前記パラメータを所定の形式で多重化し、画像ファイルとして記録することを特徴とする。
【0015】
また、本発明は、N個(Nは自然数)の視点に対応する画像を含む画像データを符号化し、拡張子が付加された画像ファイルを記録する記録ステップを持つ画像記録方法において、前記画像データの構造を示すパラメータに基づいて前記画像データが裸眼による立体視が可能な形態に印刷可能か否かを判別する形態判別ステップを持ち、前記記録ステップは、前記形態判別ステップの判別結果が、立体視可能に印刷出来ない場合には、画像ファイルと対応づけられていない拡張子を付加して画像ファイルとして記録することで、上記の目的を達成する。
【0016】
より好ましくは、前記形態判別ステップの判別結果が、立体視可能に印刷出来ると判別された場合に、前記画像データについて、前記画像データの水平方向のサイズと垂直方向のサイズの比が所定の条件を満たすか否かを判別する画像サイズ判別ステップを更に持ち、前記記録ステップは、前記画像サイズ判別ステップの判別結果が、所定の条件を満たさない場合には、画像データを所定の条件を満たすよう変更し、画像ファイルとして記録することを特徴とする。
【0017】
より好ましくは、前記記録ステップは、前記画像データと前記パラメータを所定の形式で多重化し、画像ファイルとして記録することを特徴とする。
【0019】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。図1は本発明における画像記録装置の構成例を示すブロック図である。図1において、100は画像データとそれに付随するパラメータを入力として記録データを作成し、記録媒体に記録する画像記録装置である。
【0020】
ここで入力される画像データは、単眼カメラにステレオアダプタを装着した場合や、複数のカメラを使用する場合など、入力系によって形態が異なるが、いずれの場合も図10(b)、図10(c)、図12(a)で示したように各視点画像が隣接された状態の画像データが、デジタル形式で入力されるものとする。また、パラメータは画像データを3次元表示するために必要な情報であり、画像サイズ(画像データの水平方向の画素数および水平方向のライン数で表す)、水平方向および垂直方向の視点数、視点画像の縮小率、画像配置(各視点画像の配置の仕方を示し、水平方向に隣接させた水平配置と垂直方向に隣接させた垂直配置、格子状に隣接させた格子状配置がある)など画像の構造に関する情報を含むものとする。画像データとパラメータは1対1で対応しており、画像データの入力系が変更されれば、基本的にはパラメータも変更される。
【0021】
図1に示すように画像記録装置100は、画像変更部101、入力された画像データを格納する画像格納部102、画像形態判別部103、所定の方式で画像データを符号化して符号化データを出力する符号化部104、符号化データを一時的に格納する符号化データ格納部105、符号化データを記録するデータ記録部106から構成される。
【0022】
画像形態判別部103は、入力されたパラメータにより、画像データをプリントした際に以下の形態A、形態B、形態Cのいずれに当てはまるかの判別を行う。
【0023】
形態A:入力された状態で全体がプリントされ、特別な立体視用の装置を用いなくとも立体視が可能なもの
形態B:画像全体がプリントされるとは限らないが、原理的には特別な立体視用の装置を用いなくとも立体視が可能なもの
形態C:原理的に特別な立体視用の装置を用いないと立体視が不可能なもの
【0024】
符号化部104は、所定の符号化方式を用いて画像データを符号化する。ここでは、静止画像の符号化方式の国際標準であるJPEG(Joint Photographic Experts Group)方式を用いるものとする。
【0025】
記録部106は、FAT(File Allocation Table)などのファイルシステムを使用して、記録データをファイルとして記録媒体に記録するものとする。
【0026】
以上のように構成された画像記録装置100について、図2を参照しながら、その動作を説明する。
図2は、本発明の実施の形態による画像記録装置の処理の流れを示す図である。
【0027】
画像記録装置100は画像データとパラメータの入力を受け付ける(ST100)。入力された画像データは画像格納部102に格納され、パラメータは画像形態判別部103に入力される。
【0028】
画像形態判別部103は、入力されたパラメータに基づいて、次の2つの判別を行う。まず、入力された画像データをプリントした際に、立体視のためのメガネ等を使用せずに裸眼による立体視が原理的に可能であるか否かを決定する(ST101)。ここでは、画像データの構成として視点数が2で、視点画像が水平方向に隣接されており、なおかつ視点画像ごとの回転などの編集が施されていない場合、裸眼による立体視が可能であるためプリント可とし、それ以外の場合にはプリント不可とする。すなわち入力されたパラメータのうち、水平方向の視点数が2、垂直方向の視点数が1、かつ画像結合が水平配置の場合をプリント可と決定し、それ以外の場合をプリント不可(形態Cである)と決定する。なお、この判別結果は、プリント可否情報として記憶部106に対して出力される。
【0029】
プリント可の場合、次のステップST103が実行され、プリント不可の場合、ステップST106が実行される(ST102)。ステップST103では、画像形態判別部103は画像データのサイズの縦横比を算出する。ここで縦横比=1ライン当りの画素数/ライン数である。
【0030】
次いで、縦横比を所定の閾値と比較し、画像変更の要否を判定する(ST104)。ステップST104において、縦横比が所定の閾値よりも小さい場合には、従来の単眼画像のプリントの範囲でステレオ画像がプリント可能である(形態A、画像変更の要否=不要)ので、ステップST106に進む。縦横比が所定の閾値以上の場合には、図12(a)に示したように原理的には裸眼による立体視が可能であるが、従来のプリントシステム等では画像全体がプリントされるとは限らない(形態B、画像変更の要否=要)。したがって次のステップST105で画像データに変更を加える。ここでは、標準的に用いられているプリント用紙のサイズ比(横:縦)がほぼ4:3であることから、閾値に1.4を用いるものとする。ただし、この値は一般的に流通する用紙のサイズ比によって変更されるべきものであり、本発明はこの値を限定するものではない。また、画像変更の要否を決定する条件は上記以外でもよく、縦横比が所定の閾値よりも大きい場合に形態Aとなるようにしてもよく、縦横比が所定の参照値と一致する場合に形態Aとなるようにしてもよく、参照値と縦横比の差が所定の範囲内である場合に形態Aとなるようにしてもよい。
なお、画像変更の要否が画像変更部101に対して出力される。
【0031】
ステップST105では、画像変更部101は、画像形態判別部103から入力された画像変更の要否が要である場合に、画像格納部102から画像データを読み出し、上記の判定条件により形態Aと判定されるように、画像データを変更する。ここでは元の画像データに影響を与えないようにするために、画像に所定の画像データを付け加えるものとする。以下、付け加えられる画像を付加画像、そのデータを付加画像データと呼ぶ。ここで付加画像は、所定の色による塗りつぶしや特定のパターンであってもよいし、それ以外の任意の画像であって構わない。
【0032】
図3は、このときの変更を説明するための図である。301は入力された画像データであり、そのサイズが1280画素×480ライン(縦横比≒2.67)であるとする。この画像データ301の上下にそれぞれ302および303で示す画像を付け加えて、全体の画像サイズを1280画素×960ライン(縦横比≒1.33)とする。縦横比が前記閾値よりも小さくなるので、従来のプリントシステム等により画像データの全体がプリントされるようになる。変更後の画像データは、再び画像データ格納部102に格納される。なお、この例では、付加画像は画像の上下に付け加えられているが、画像の上のみでもよいし、画像の下のみであってもよい。
【0033】
なお、画像の変更方法は、上記の判定条件により形態Aと判定されるようにするならばこの他の方法でもよく、例えば画像を水平方向に縮小してもよい(例えば1280画素×480ラインを640画素×480ラインに変更する)。
【0034】
また、画像の変更方法として次のようにしてもよい。すなわち、視点画像を垂直に2等分した分割画像を並べ替えて、プリントしたい分割画像を画像の中央に配置する。このときの変更結果を図4に示す。図4(a)は変更前の画像を示しており、401は左眼画像を2等分した左半分、402は同じく右半分、403は右眼画像を2等分した左半分、403は同じく右半分である。これらの分割画像を並べ替えた画像が図4(b)および図4(c)である。図4(b)は左眼画像(401および402)が中央になるように分割画像を配置した例を示しており、プリントした際に主に左眼画像の部分が得られることを目的としている。また、図4(c)は左眼画像の右半分402と右眼画像の右半分404を中央に配置した例を示しており、プリントした際に402と404で立体視できることを目的としている。
【0035】
なお、立体視の方法には交差法と平行法があり、交差法においては向かって左側に右眼画像がプリントされ、向かって右側に左眼画像がプリントされていなければ立体視することができない。逆に平行法では交差法においては向かって左側に左眼画像がプリントされ、向かって右側に右眼画像がプリントされていなければ立体視することができない。プリントされた画像がいずれの方法により立体視可能であるかを示すために、画像データ(例えば視点画像内やその周辺の付加画像)に視点を示す情報(例えば、左眼画像にはLの文字、右眼画像にはRの文字)を付け加えてもよい。
【0036】
図2のステップST106では、符号化部104は、画像データ格納部102から画像データを読み出して、画像データを符号化し、符号化データを符号化データ格納部105に出力する。
【0037】
記録部106は、画像形態判別部103から入力されたプリント可否情報に応じて、ファイル名に付加される拡張子を決定する(ST107)。拡張子は一般にファイルの種別を示すために使用されるものであり、例えばJPEG方式で符号化された画像データを記録するファイルには“JPG”という拡張子が用いられている。既存のプリントサービス等では画像ファイルであることを示す拡張子を持つファイルを選択できるようになっているため、プリント可の場合には従来と同様“JPG”という拡張子を付ける。一方、プリント不可のファイルには従来画像ファイルとは対応付けられていない新規の拡張子を付ける。
次いで記録部106は符号化データ格納部105から符号化データを読み出して、ファイルに記録する(ST108)。
【0038】
図5はDCF(Design rule for Camera Filesystem)規格に基づく画像ファイルの管理構造の例を示す図である。500はルートディレクトリ、501はDCFイメージルートディレクトリ(DCIMディレクトリ)、502はDCFディレクトリであり、図5に示すように階層的に構成される。DCFディレクトリ502の直下に画像データを記録したファイルが存在する。拡張子が“JPG”であるファイル(503、504および507)はDCF基本ファイルとして扱われ、従来のプリントサービスにより画像ファイルとして認識される。一方、拡張子が“TDJ”のファイルは、DCF拡張ファイルとして扱われ、既存のプリントサービスでは画像ファイルとして認識されないため、プリントされることはない。
【0039】
なお、記録部106は、プリント可否情報により拡張子を決定するようにしているが、画像データを記録するディレクトリを変更するようにしてもよい。ルートディレクトリ500の下にDCIMディレクトリ501とは異なるディレクトリを作成し、そのディレクトリの下にファイルを記録することで、同様の効果が得られる。
【0040】
または、プリント可否情報がプリント不可の場合には、画像データを各視点の画像データに分割して、それぞれ別々のファイルに記録するようにしてもよい。DCF規格の場合には、1つの視点画像データの拡張子を“JPG”とし、それ以外の視点画像データは“JPG”以外の拡張子とし、ファイル名の命名規則に準じて、各視点画像データの対応関係はファイル番号で示すようにする。このときの例をに示す。図6においてファイル610とファイル611は、総視点数が2である1組のステレオ画像であり、ファイル610は拡張子が“JPG”のDCF基本ファイルであり、ファイル611は拡張子が“TDJ”のDCF拡張ファイルであり、両者を合わせてDCFオブジェクトが構成される。
【0041】
総視点数が3以上のステレオ画像の場合には、ファイル612、ファイル613、ファイル614のように、1つのファイルを拡張子が“JPG”のDCF基本ファイルとし、他のファイルを拡張子が“TDJ”のDCF拡張ファイルとし、ファイル名により視点画像間の対応関係を表すようにしてもよい。あるいは、上記の視点画像間の対応関係を表すために、拡張子を使用してもよい。例えば、3視点の場合、DCF基本ファイルの拡張子を“JPG”、残りの視点画像ファイルの拡張子を“JP2”、“JP3”などとしても構わない。
【0042】
さらに、画像形態判別部103は、画像データの総視点数が2以上の場合にプリント不可としてもよい。上記の例では、ステレオ画像の場合には拡張子“JPG”の代わりに拡張子“TDJ”が使用される。
【0043】
また、上記の実施の形態においては、図2のステップST104において所定の閾値よりも小さい場合には、画像変更は不要であると判定している。ところが、縦横比が1よりも小さい場合、プリントシステムによってはプリント時にステレオ画像全体が90°回転されてプリントされ、この場合のプリント結果も図12(b)に示した場合と同様に、画像の一部がプリントされない場合がある。
【0044】
したがって、ステップST104における画像変更の要否の判定条件を次のように変更してもよい。すなわち、縦横比が第1の閾値よりも小さく、かつ第2の閾値よりも大きい場合に、形態A(画像変更の要否=不要)としてステップST106に進み、それ以外の場合には形態B(画像変更の要否=要)として、ステップST105に進むようにする。ここでは、第1の閾値を1.4とし、第2の閾値を0.7とする。ただし、この値は一般的に流通する用紙のサイズ比によって変更されるべきものであり、本発明はこの値を限定するものではない。
【0045】
このときステップST105では、画像変更部101は、画像形態判別部103から入力された画像変更の要否が要であれば、前述のように画像格納部102から画像データを読み出し、画像データの上、または下、または上下あるいは左、または右、または左右に所定の付加画像を付け加えて、上記の判定条件により形態Aと判定されるように画像データを変更する。
【0046】
また、画像変更の要否を決定する条件は上記以外でもよく、縦横比を1つ以上の所定の参照値と比較して、値の一致するものがある場合に形態Aとなるようにしてもよく、縦横比の差が所定の範囲内である参照値が存在する場合に形態Aとなるようにしてもよい。
【0047】
または、ユーザ指定により縦横比を入力するようにして、指定された縦横比になるように入力された画像データに変更を加えるようにしてもよい。この場合、ステップST104における画像変更の要否の判定条件を次のように変更してもよい。すなわち、ST103において算出された縦横比が、ユーザ指定の縦横比と一致する場合には、形態A(画像変更の要否=不要)としてステップST106に進み、算出された縦横比が、ユーザ指定の縦横比と異なる場合には形態B(画像変更の要否=要)として、ステップST105に進むようにする。ステップST105では、画像変更部101は、画像形態判別部103から入力された画像変更の要否が要であれば、前述のように画像格納部102から画像データを読み出し、画像データの上、または下、または上下あるいは左、または右、または左右に所定の付加画像を付け加えることで、縦横比がユーザ指定の縦横比と等しくなるように画像データを変更する。また、上記のユーザ指定による縦横比は複数指定することが可能であってもよく、例えば、画像が横長のサイズである(算出された縦横比が1より大きい)場合と、画像が縦長のサイズである(算出された縦横比が1より小さい)場合と、画像が正方形のサイズ(算出された縦横比が1)である場合と、それぞれの場合で使用される縦横比を使い分けるようにしてもよい。
【0048】
また、上記の実施の形態はステレオ画像について適用しているが、通常の単眼画像に対して適用することも可能である。この場合には形態Cと判別されることはないが、パノラマ画像など画像の縦横比によっては形態Bと判別され、画像変更部101によりステレオ画像と同様に変更される。
【0049】
以上のようにして、裸眼による立体視が原理的に可能な画像データは、既存のプリントサービス等でプリントできるように記録し、それ以外の画像データは、プリントされないように記録することで、プリントサービスの利用者が画像データごとにプリント用紙の指定をする必要をなくし、またステレオ画像を立体視できない状態でプリントするという無駄なコストを発生させなくすることが可能となる。
【0050】
図7は本発明における画像記録装置のもう1つ別の構成例を示すブロック図である。図1と異なる点は、パラメータと符号化データとを所定のフォーマットに多重化する多重化部107を備える点である。
【0051】
図8に、このときのフォーマットの例を示す。図8では、記録データは図の上から下に向かう順となるように記録されるものとする。図8に示すように、パラメータは、従来のファイル形式に用意されているヘッダ部を拡張する仕組みを用いて、既存のヘッダ部の一部として記録されるものとする。ここでは、拡張されたヘッダを拡張ヘッダと呼ぶ。例えば、符号化方式がJPEGの場合、ファイルヘッダはアプリケーションデータセグメントを指し、新たなアプリケーションデータセグメントを定義してパラメータを記録する。
【0052】
画像データを3次元画像として表示する際に、拡張ヘッダに記録されたパラメータを参照することで画像データの形態に関する情報が得られ、前述のパララクスバリア方式のような特定の表示方式に適合するように画像データを処理することができるようになる。したがって、画像データを既存のファイル形式と互換性を保ったまま、記録した画像に汎用性を持たせることができる。
【0053】
図9は本発明における画像記録装置のさらに別の構成例を示すブロック図である。図1との異なる点は、パラメータと符号化データとを所定のフォーマットに多重化する多重化部108と記録部109を備える点である。
【0054】
図9において多重化部108は、画像形態判別部103から入力されたプリント可否情報がプリント不可を示す場合、既存のプリントシステムでプリントできないようにするために、符号化データを多重化する際に、符号化データに可逆的な変換を施すものである。ここで使用する変換方式は、例えばデータ圧縮方式でもよいし、データの並べ替えや置換でもよい。さらに、ファイルの拡張ヘッダにパラメータに加えてプリント可否情報(プリント不可である情報)を記録する。記録部109は図2のステップST107のような拡張子の決定処理は行わず(つまり拡張子は既存のものから変更されない)、多重化部108から出力された記録データを記録媒体に記録する。従来のプリントサービスにより画像ファイルは認識されるが、再生できないためにプリントされないため、前述の問題点を解決することができる。
【0055】
なお、この構成例においても図1に示したようにプリント可否情報を記録部109に入力し、プリント不可の場合には拡張子を変更するようにしてもよい。または、画像形態判別部103は、画像データの総視点数が2以上の場合にプリント不可としてもよい。この場合、画像データがステレオ画像の場合には、符号化データの変換が行われる。
【0056】
上記の実施の形態では、画像データが静止画像である場合について述べているが、動画像を記録する場合にも適用可能である。動画像を記録する場合には、例えば符号化方式として画像符号化方式の国際標準であるMPEG−4が使用される。この場合、図8におけるファイルヘッダはVisual Object Sequenceまたは/およびVideo Object Layerを指し、パラメータは、これらの中にユーザデータとして記録される。なお、図7には図示していないが、音声や音楽を記録する場合は、それらのデータも多重化部107にて多重化される。
【0057】
【発明の効果】
本発明によれば、画像データの形態を判別して、形態に応じた処理を施すことにより、立体視をするための特別な装置を用いなくとも立体視をすることが原理的に可能な画像データを既存のプリントサービス等でプリントできるように記録し、それ以外の画像データはプリントされないように記録することができる。このことから、プリントサービスの利用者が画像データごとにプリント用紙の指定をしなければならないといった繁雑さをなくし、またステレオ画像を立体視できない状態でプリントして無駄なコストを発生させるといったことを防ぐことができるという有利な効果が得られる。
【図面の簡単な説明】
【図1】本発明の実施の形態による画像記録装置の構成例を示すブロック図である。
【図2】本発明の実施の形態による画像記録装置の処理の流れを示す図である。
【図3】画像の変更処理の例を説明するための図である。
【図4】画像の変更処理の例を説明するための図である。
【図5】ファイルの記録例を示す図である。
【図6】ファイルの記録例を示す図である。
【図7】本発明の実施の形態による画像記録装置の構成例を示すブロック図である。
【図8】本発明における画像データのファイルへの記録形式の一例を示す図である。
【図9】本発明の実施の形態による画像記録装置の構成例を示すブロック図である。
【図10】ステレオアダプタを装着した際の撮影画面を説明するための図である。
【図11】パララクスバリア方式の原理を説明するための図である。
【図12】2眼式のカメラによる撮影画像のプリント結果を説明するための図である。
【符号の説明】
100 画像記録装置
101 画像変更部
102 画像格納部
103 画像形態判別部
104 符号化部
105 符号化データ格納部
106、109 記録部
107、108 多重化部
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image recording apparatus and an image recording method for capturing a three-dimensional image using binocular parallax and recording it on a recording medium.
[0002]
[Prior art]
In recent years, digital cameras that can easily shoot high-quality image data by providing a so-called megapixel CCD having a resolution of 1 million pixels or more have become widespread. As a result, it is possible to print image data recorded as digital data with the same quality as a silver salt film camera, and print services that provide high-quality image prints from image data are becoming widespread.
[0003]
On the other hand, it is known that a photographed subject can be viewed three-dimensionally by separately viewing images of a plurality of viewpoints having parallax with respect to the subject with the left and right eyes (hereinafter, such an image is referred to as such an image). This is called a stereo image, and the images of the viewpoints that make up the stereo image are called viewpoint images). As a means for capturing a stereo image, a method of capturing a plurality of images with parallax on one screen by attaching a stereo adapter that forms a plurality of subject images with different viewpoints to a general monocular camera, A plurality of images with parallax are photographed by photographing subjects from different viewpoints using the above cameras.
[0004]
FIG. 10 is a diagram for explaining a captured image when the stereo adapter is attached. FIG. 10A shows an image taken without a stereo adapter attached, and FIG. 10B shows an image taken with a stereo adapter of a type whose angle of view is halved. c) shows an image taken with a stereo adapter of a type in which the angle of view does not change and the shootable range becomes narrower. When a stereo adapter is attached, a left eye image is generally projected on the left side and a right eye image is projected on the right side, and the screen size is the same as before the stereo adapter is attached.
[0005]
Images shot in this way can be viewed stereoscopically by viewing the left eye image with only the left eye and the right eye image with only the right eye. A parallax barrier method has been proposed as one of the typical methods for realizing stereoscopic viewing using binocular parallax. FIG. 11 is a diagram for explaining the parallax barrier method. FIG. 11A is a diagram illustrating the principle of generating parallax. FIG. 11B is a diagram showing a display format of a screen displayed by the parallax barrier method, and the left eye image and the right eye image are arranged alternately every other pixel in the horizontal direction.
[0006]
In FIG. 11A, an image as shown in FIG. 11B is displayed on the image display panel 701, and the parallax barrier 702 having slits at intervals smaller than the interval between pixels of the same viewpoint is displayed on the image display panel 701. By placing in front, the left eye image is observed only by the left eye 703 and the right eye image is observed only by the right eye 704, and stereoscopic viewing can be performed.
[0007]
By the way, without using such a special stereoscopic device, it is also possible to perform stereoscopic viewing by printing images adjacent to the left and right and observing the left and right images with separate eyes.
[0008]
[Problems to be solved by the invention]
However, in the conventional print service, a monocular image is optimally printed, and a case of printing a stereo image is not considered. Therefore, since the size of the print paper is limited, there is a problem that only a part of the image data is printed depending on the form of the stereo image. For example, when two images obtained by photographing a subject using two cameras have the same size as the image shown in FIG. 10A, the image in which the left and right images are adjacent to each other is shown in FIG. As shown, the horizontal size is doubled. When this image data is printed with the same paper size as a monocular image, only a part of the image is printed as shown in FIG. If the user intends to print a stereo image, a result far from the intended image can be obtained, resulting in unnecessary costs. It is possible to print the entire image data by selecting the paper or printing the image at a reduced size, but the correspondence varies depending on the print service provider, or the user of the print service specifies for each image data It must be complicated.
[0009]
In addition, when the number of viewpoints is large, or when each viewpoint image of a stereo image is edited such as rotation for each viewpoint image (hereinafter referred to as rotation for each viewpoint image), special stereoscopic viewing is performed. If the apparatus for use is not used, printing is performed in a state in which stereoscopic viewing cannot be performed, resulting in unnecessary cost.
[0010]
The present invention has been made in view of the above-described problems, and enables image data that can be appropriately viewed stereoscopically in an existing printer or print service, and other image data is contrary to the user's intention. Another object of the present invention is to provide an image recording apparatus and an image recording method capable of recording image data so as not to be printed.
[0011]
[Means for Solving the Problems]
  In order to achieve the above object, the present invention provides image data including images corresponding to N (N is a natural number) viewpoints.Encode an image file with an extensionRecordWith recording meansIn an image recording apparatus, based on a parameter indicating the structure of the image data,The image dataWhether or not can be printed in a form that allows stereoscopic viewing with the naked eyeForm discriminating means for discriminatingAnd the recording means includesDiscrimination result of the form discrimination meansHowever, if it cannot be printed stereoscopically, an extension that is not associated with the image file is added and recorded as an image file.The above-mentioned purpose is achieved.
[0012]
  More preferably, when the discrimination result of the form discrimination means is determined to be capable of being printed stereoscopically, the ratio of the horizontal size and the vertical size of the image data is a predetermined condition for the image data. An image size determining unit that determines whether or not the image size is satisfied, and the recording unit sets the image data to satisfy the predetermined condition when the determination result of the image size determining unit does not satisfy the predetermined condition. It is changed and recorded as an image file.
[0013]
  More preferably, the recording means multiplexes the image data and the parameters in a predetermined format and records them as an image file.
[0015]
  The present invention also provides image data including images corresponding to N (N is a natural number) viewpoints.Encode an image file with an extensionRecordHave a recording stepIn the image recording method, based on a parameter indicating the structure of the image data,The image dataWhether or not can be printed in a form that allows stereoscopic viewing with the naked eyeThe form discrimination step to discriminateAnd the recording step comprisesDiscrimination result of the form discrimination stepHowever, if it cannot be printed stereoscopically, an extension that is not associated with the image file is added and recorded as an image file.The above-mentioned purpose is achieved.
[0016]
  More preferably, when the determination result of the form determination step is determined that printing can be performed stereoscopically, the ratio of the horizontal size of the image data to the vertical size of the image data is a predetermined condition. An image size determining step for determining whether or not the image data satisfies the condition, and the recording step sets the image data to satisfy the predetermined condition when the determination result of the image size determining step does not satisfy the predetermined condition. Change and record as an image fileIt is characterized by that.
[0017]
  More preferably, in the recording step, the image data and the parameters are multiplexed in a predetermined format and recorded as an image file.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a configuration example of an image recording apparatus according to the present invention. In FIG. 1, reference numeral 100 denotes an image recording apparatus for generating recording data by inputting image data and parameters associated therewith and recording the recording data on a recording medium.
[0020]
The image data input here differs depending on the input system, such as when a stereo adapter is attached to a monocular camera or when a plurality of cameras are used. In either case, the image data is shown in FIGS. c) As shown in FIG. 12A, it is assumed that image data in a state where the viewpoint images are adjacent to each other is input in a digital format. Parameters are information necessary for three-dimensional display of image data, and include image size (represented by the number of pixels in the horizontal direction and the number of lines in the horizontal direction), the number of viewpoints in the horizontal and vertical directions, and viewpoints. Image reduction ratio, image layout (shows how to arrange each viewpoint image, horizontal layout adjacent in the horizontal direction, vertical layout adjacent in the vertical direction, and grid layout adjacent to the grid) Information on the structure of There is a one-to-one correspondence between image data and parameters. If the input system for image data is changed, the parameters are basically changed.
[0021]
As shown in FIG. 1, an image recording apparatus 100 includes an image change unit 101, an image storage unit 102 that stores input image data, an image form determination unit 103, and encodes image data by a predetermined method. An encoding unit 104 for outputting, an encoded data storage unit 105 for temporarily storing the encoded data, and a data recording unit 106 for recording the encoded data are included.
[0022]
The image form determination unit 103 determines, based on the input parameters, whether one of the following forms A, B, or C applies when image data is printed.
[0023]
Form A: The whole is printed in the input state and can be stereoscopically viewed without using a special stereoscopic device
Form B: The entire image is not always printed, but in principle, stereoscopic viewing is possible without using a special stereoscopic device.
Form C: In principle, stereoscopic viewing is impossible unless a special stereoscopic device is used.
[0024]
The encoding unit 104 encodes image data using a predetermined encoding method. Here, it is assumed that a JPEG (Joint Photographic Experts Group) system, which is an international standard for encoding still images, is used.
[0025]
The recording unit 106 records recording data as a file on a recording medium using a file system such as FAT (File Allocation Table).
[0026]
The operation of the image recording apparatus 100 configured as described above will be described with reference to FIG.
FIG. 2 is a diagram showing a processing flow of the image recording apparatus according to the embodiment of the present invention.
[0027]
Image recording apparatus 100 accepts input of image data and parameters (ST100). The input image data is stored in the image storage unit 102, and the parameters are input to the image form determination unit 103.
[0028]
The image form determination unit 103 performs the following two determinations based on the input parameters. First, when the input image data is printed, it is determined whether or not stereoscopic vision with the naked eye is possible in principle without using glasses or the like for stereoscopic vision (ST101). Here, when the number of viewpoints is 2, the viewpoint images are adjacent in the horizontal direction, and the viewpoint data is not edited such as rotation for each viewpoint image, stereoscopic viewing with the naked eye is possible. Printing is allowed, otherwise printing is not possible. That is, among the input parameters, it is determined that printing is possible when the number of viewpoints in the horizontal direction is 2, the number of viewpoints in the vertical direction is 1, and the image combination is horizontally arranged, and printing is not possible in other cases (in the form C Determined). The determination result is output to the storage unit 106 as print permission / inhibition information.
[0029]
If printing is possible, the next step ST103 is executed. If printing is not possible, step ST106 is executed (ST102). In step ST103, the image form determination unit 103 calculates the aspect ratio of the size of the image data. Here, aspect ratio = number of pixels per line / number of lines.
[0030]
Next, the aspect ratio is compared with a predetermined threshold value to determine whether or not an image change is necessary (ST104). If the aspect ratio is smaller than the predetermined threshold value in step ST104, a stereo image can be printed within the conventional monocular print range (form A, necessity of image change = unnecessary). move on. When the aspect ratio is equal to or greater than a predetermined threshold, stereoscopic viewing with the naked eye is possible in principle as shown in FIG. 12 (a). However, with the conventional printing system, the entire image is printed. Not limited (form B, necessity of image change = required). Accordingly, the image data is changed in the next step ST105. Here, since the size ratio (horizontal: vertical) of the printing paper used as standard is approximately 4: 3, 1.4 is used as the threshold value. However, this value should be changed according to the size ratio of the paper that is generally distributed, and the present invention does not limit this value. In addition, the condition for determining whether or not to change the image may be other than the above. When the aspect ratio is larger than a predetermined threshold, the mode A may be used. When the aspect ratio matches a predetermined reference value Form A may be used, and form A may be used when the difference between the reference value and the aspect ratio is within a predetermined range.
Whether the image change is necessary is output to the image change unit 101.
[0031]
In step ST105, the image changing unit 101 reads the image data from the image storage unit 102 when it is necessary to change the image input from the image form determining unit 103, and determines the mode A based on the above determination conditions. The image data is changed. Here, in order not to affect the original image data, predetermined image data is added to the image. Hereinafter, the added image is referred to as an additional image, and the data is referred to as additional image data. Here, the additional image may be filled with a predetermined color or a specific pattern, or may be any other image.
[0032]
FIG. 3 is a diagram for explaining the change at this time. Reference numeral 301 denotes input image data whose size is 1280 pixels × 480 lines (aspect ratio≈2.67). Images indicated by 302 and 303 are added to the top and bottom of the image data 301, respectively, so that the overall image size is 1280 pixels × 960 lines (aspect ratio≈1.33). Since the aspect ratio is smaller than the threshold value, the entire image data is printed by a conventional printing system or the like. The changed image data is stored in the image data storage unit 102 again. In this example, the additional image is added to the top and bottom of the image, but it may be only above the image or only below the image.
[0033]
Note that the image changing method may be other methods as long as it is determined to be form A based on the above determination conditions. For example, the image may be reduced in the horizontal direction (for example, 1280 pixels × 480 lines). Change to 640 pixels × 480 lines).
[0034]
In addition, the image changing method may be as follows. That is, the divided images obtained by dividing the viewpoint image into two equal parts are rearranged, and the divided image to be printed is arranged at the center of the image. The change result at this time is shown in FIG. FIG. 4A shows an image before the change, 401 is a left half obtained by dividing the left eye image into two equal parts, 402 is also the right half, 403 is a left half obtained by dividing the right eye image into two equal parts, and 403 is also the same. The right half. Images obtained by rearranging these divided images are shown in FIGS. 4B and 4C. FIG. 4B shows an example in which the divided images are arranged so that the left eye images (401 and 402) are in the center, and the purpose is to mainly obtain the left eye image portion when printed. . FIG. 4C shows an example in which the right half 402 of the left-eye image and the right half 404 of the right-eye image are arranged in the center. The objective is to enable stereoscopic viewing with 402 and 404 when printed.
[0035]
Note that there are two methods of stereoscopic viewing: a crossing method and a parallel method. In the crossing method, a right eye image is printed on the left side and a left eye image is not printed on the right side. . On the other hand, in the parallel method, the left eye image is printed on the left side and the right eye image is not printed on the right side in the cross method. In order to indicate by which method the printed image can be stereoscopically viewed, information indicating the viewpoint in the image data (for example, an additional image in or around the viewpoint image) (for example, L character for the left-eye image) The letter R may be added to the right eye image.
[0036]
2, the encoding unit 104 reads out image data from the image data storage unit 102, encodes the image data, and outputs the encoded data to the encoded data storage unit 105.
[0037]
The recording unit 106 determines an extension to be added to the file name in accordance with the print availability information input from the image form determination unit 103 (ST107). The extension is generally used to indicate the type of file. For example, an extension “JPG” is used for a file that records image data encoded by the JPEG method. In an existing print service or the like, a file having an extension indicating an image file can be selected. Therefore, when printing is possible, an extension “JPG” is added as in the conventional case. On the other hand, a new extension that is not associated with a conventional image file is attached to a file that cannot be printed.
Next, recording section 106 reads the encoded data from encoded data storage section 105 and records it in a file (ST108).
[0038]
FIG. 5 is a diagram showing an example of an image file management structure based on the DCF (Design Rule for Camera Filesystem) standard. Reference numeral 500 denotes a root directory, reference numeral 501 denotes a DCF image root directory (DCIM directory), and reference numeral 502 denotes a DCF directory, which are hierarchically configured as shown in FIG. A file in which image data is recorded immediately below the DCF directory 502 exists. Files with the extension “JPG” (503, 504, and 507) are treated as DCF basic files and recognized as image files by the conventional print service. On the other hand, a file with the extension “TDJ” is handled as a DCF extension file, and is not recognized as an image file by an existing print service, and therefore is not printed.
[0039]
Note that the recording unit 106 determines the extension based on the print permission / inhibition information, but the directory for recording the image data may be changed. The same effect can be obtained by creating a directory different from the DCIM directory 501 under the root directory 500 and recording a file under the directory.
[0040]
Alternatively, if the printability information is not printable, the image data may be divided into image data for each viewpoint and recorded in separate files. In the case of the DCF standard, the extension of one viewpoint image data is “JPG”, the other viewpoint image data is an extension other than “JPG”, and each viewpoint image data is in accordance with the file name naming convention. The correspondence relationship is indicated by a file number. An example at this time is shown below. In FIG. 6, a file 610 and a file 611 are a pair of stereo images having a total number of viewpoints of 2, the file 610 is a DCF basic file with an extension “JPG”, and the file 611 has an extension “TDJ”. The DCF extension file is a DCF object.
[0041]
In the case of a stereo image having a total number of viewpoints of 3 or more, like a file 612, a file 613, and a file 614, one file is a DCF basic file with an extension “JPG”, and the other file is an extension “ It may be a DCF extension file of “TDJ”, and the correspondence between viewpoint images may be represented by the file name. Alternatively, an extension may be used to represent the correspondence between the viewpoint images. For example, in the case of three viewpoints, the extension of the DCF basic file may be “JPG”, and the extensions of the remaining viewpoint image files may be “JP2”, “JP3”, and the like.
[0042]
Further, the image form determination unit 103 may not allow printing when the total number of viewpoints of the image data is 2 or more. In the above example, in the case of a stereo image, the extension “TDJ” is used instead of the extension “JPG”.
[0043]
In the above embodiment, if it is smaller than the predetermined threshold value in step ST104 of FIG. 2, it is determined that the image change is unnecessary. However, if the aspect ratio is smaller than 1, depending on the printing system, the entire stereo image is rotated 90 ° during printing, and the print result in this case is the same as that shown in FIG. Some may not be printed.
[0044]
Therefore, the determination condition for necessity of image change in step ST104 may be changed as follows. That is, when the aspect ratio is smaller than the first threshold and larger than the second threshold, the process proceeds to step ST106 as form A (necessity of image change = unnecessary), and otherwise, form B ( As the necessity of image change = necessary), the process proceeds to step ST105. Here, the first threshold is set to 1.4, and the second threshold is set to 0.7. However, this value should be changed according to the size ratio of the paper that is generally distributed, and the present invention does not limit this value.
[0045]
At this time, in step ST105, the image change unit 101 reads the image data from the image storage unit 102 as described above if it is necessary to change the image input from the image form determination unit 103, and stores the image data. Alternatively, a predetermined additional image is added to the bottom, top, bottom, top, left, right, or left and right, and the image data is changed so that the mode A is determined based on the above determination conditions.
[0046]
Further, the condition for determining whether or not to change the image may be other than the above, and the aspect ratio may be compared with one or more predetermined reference values so that when there is an identical value, the mode A is set. In addition, when there is a reference value in which the difference in aspect ratio is within a predetermined range, the mode A may be used.
[0047]
Alternatively, the aspect ratio may be input by user specification, and the input image data may be changed so that the specified aspect ratio is obtained. In this case, the determination condition for necessity of image change in step ST104 may be changed as follows. That is, when the aspect ratio calculated in ST103 matches the aspect ratio specified by the user, the process proceeds to step ST106 as Form A (necessity of image change = unnecessary), and the calculated aspect ratio is determined by the user-specified aspect ratio. When the aspect ratio is different from the aspect ratio, the mode B (necessity of image change = necessary) is set to proceed to step ST105. In step ST105, the image change unit 101 reads the image data from the image storage unit 102 as described above if the image change input from the image form determination unit 103 is necessary. The image data is changed so that the aspect ratio becomes equal to the aspect ratio specified by the user by adding a predetermined additional image to the bottom, top, bottom, left, right, or left and right. Also, a plurality of user-specified aspect ratios may be specified. For example, when the image has a horizontally long size (the calculated aspect ratio is greater than 1), and when the image has a vertically long size. (The calculated aspect ratio is smaller than 1), the image is a square size (the calculated aspect ratio is 1), and the aspect ratio used in each case may be properly used. Good.
[0048]
Further, although the above embodiment is applied to a stereo image, it can also be applied to a normal monocular image. In this case, although it is not determined as the form C, it is determined as the form B depending on the aspect ratio of the image such as a panoramic image, and is changed by the image changing unit 101 in the same manner as the stereo image.
[0049]
As described above, image data that can be stereoscopically viewed with the naked eye is recorded so that it can be printed by an existing print service, and other image data is recorded so that it cannot be printed. It is possible to eliminate the need for a service user to designate a print sheet for each image data, and to avoid wasteful costs of printing a stereo image in a state where stereoscopic viewing is not possible.
[0050]
FIG. 7 is a block diagram showing another configuration example of the image recording apparatus according to the present invention. A difference from FIG. 1 is that a multiplexing unit 107 that multiplexes parameters and encoded data into a predetermined format is provided.
[0051]
FIG. 8 shows an example of the format at this time. In FIG. 8, it is assumed that the recording data is recorded in the order from the top to the bottom of the figure. As shown in FIG. 8, the parameters are recorded as a part of the existing header part using a mechanism for extending the header part prepared in the conventional file format. Here, the extended header is called an extension header. For example, when the encoding method is JPEG, the file header points to an application data segment, defines a new application data segment, and records parameters.
[0052]
When displaying image data as a three-dimensional image, information related to the form of the image data is obtained by referring to the parameters recorded in the extension header so that it can be adapted to a specific display method such as the above-mentioned parallax barrier method. The image data can be processed. Therefore, it is possible to give the recorded image versatility while maintaining compatibility of the image data with the existing file format.
[0053]
FIG. 9 is a block diagram showing still another configuration example of the image recording apparatus according to the present invention. The difference from FIG. 1 is that a multiplexing unit 108 and a recording unit 109 are provided for multiplexing parameters and encoded data in a predetermined format.
[0054]
In FIG. 9, the multiplexing unit 108 multiplexes encoded data to prevent printing with an existing printing system when the print availability information input from the image form determination unit 103 indicates that printing is not possible. The reversible conversion is performed on the encoded data. The conversion method used here may be, for example, a data compression method, or data rearrangement or replacement. Further, in addition to the parameters, print propriety information (information that cannot be printed) is recorded in the extension header of the file. The recording unit 109 does not perform the extension determination process as in step ST107 in FIG. 2 (that is, the extension is not changed from the existing one), and records the recording data output from the multiplexing unit 108 on the recording medium. Although the image file is recognized by the conventional print service, it cannot be reproduced and cannot be printed, so that the above-mentioned problems can be solved.
[0055]
Also in this configuration example, as shown in FIG. 1, the printability information may be input to the recording unit 109, and the extension may be changed when printing is not possible. Alternatively, the image form determination unit 103 may make printing impossible when the total number of viewpoints of the image data is 2 or more. In this case, when the image data is a stereo image, the encoded data is converted.
[0056]
In the above embodiment, the case where the image data is a still image has been described, but the present invention can also be applied to the case of recording a moving image. When recording a moving image, for example, MPEG-4, which is an international standard for image encoding, is used as an encoding method. In this case, the file header in FIG. 8 indicates Visual Object Sequence or / and Video Object Layer, and parameters are recorded as user data in these. Although not shown in FIG. 7, when recording voice or music, those data are also multiplexed by the multiplexing unit 107.
[0057]
【The invention's effect】
According to the present invention, an image that can be stereoscopically viewed without using a special device for stereoscopic viewing by discriminating the form of image data and performing processing according to the form. Data can be recorded so that it can be printed by an existing print service, and other image data can be recorded so as not to be printed. This eliminates the complication that the user of the print service has to designate print paper for each image data, and generates a wasteful cost by printing a stereo image without being stereoscopically viewed. The advantageous effect that it can be prevented is obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration example of an image recording apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram showing a flow of processing of the image recording apparatus according to the embodiment of the present invention.
FIG. 3 is a diagram for explaining an example of image change processing;
FIG. 4 is a diagram for explaining an example of image change processing;
FIG. 5 is a diagram illustrating a recording example of a file.
FIG. 6 is a diagram illustrating a file recording example.
FIG. 7 is a block diagram illustrating a configuration example of an image recording apparatus according to an embodiment of the present invention.
FIG. 8 is a diagram illustrating an example of a recording format of image data in a file according to the present invention.
FIG. 9 is a block diagram illustrating a configuration example of an image recording apparatus according to an embodiment of the present invention.
FIG. 10 is a diagram for explaining a shooting screen when a stereo adapter is attached.
FIG. 11 is a diagram for explaining the principle of a parallax barrier method;
FIG. 12 is a diagram for explaining a print result of a captured image by a twin-lens camera.
[Explanation of symbols]
100 Image recording apparatus
101 Image change part
102 Image storage unit
103 Image shape discrimination unit
104 Coding unit
105 Encoded data storage unit
106, 109 Recording unit
107, 108 Multiplexer

Claims (6)

N個(Nは自然数)の視点に対応する画像を含む画像データを符号化し、拡張子が付加された画像ファイルを記録する記録手段を備えた画像記録装置において、
前記画像データの構造を示すパラメータに基づいて前記画像データが裸眼による立体視が可能な形態に印刷可能か否かを判別する形態判別手段を有し、
前記記録手段は、前記形態判別手段の判別結果が、立体視可能に印刷出来ない場合には、画像ファイルと対応づけられていない拡張子を付加して画像ファイルとして記録することを特徴とする画像記録装置。
In an image recording apparatus comprising recording means for encoding image data including images corresponding to N (N is a natural number) viewpoints, and recording an image file with an extension .
Form determining means for determining whether the image data can be printed in a form that can be stereoscopically viewed by the naked eye , based on a parameter indicating the structure of the image data ,
The recording unit adds an extension that is not associated with an image file and records the image file as an image file when the determination result of the form determination unit cannot be printed stereoscopically. Recording device.
前記形態判別手段の判別結果が、立体視可能に印刷出来ると判別された場合に、前記画像データについて、前記画像データの水平方向のサイズと垂直方向のサイズの比が所定の条件を満たすか否かを判別する画像サイズ判別手段を更に備え、Whether or not the ratio of the size in the horizontal direction to the size in the vertical direction of the image data satisfies a predetermined condition for the image data when the discrimination result of the form discrimination means is determined to be printable in a stereoscopic manner An image size determining means for determining whether or not
前記記録手段は、前記画像サイズ判別手段の判別結果が、所定の条件を満たさない場合には、画像データを所定の条件を満たすよう変更し、画像ファイルとして記録することを特徴とする請求項1に記載された画像記録装置。2. The recording unit according to claim 1, wherein if the determination result of the image size determination unit does not satisfy a predetermined condition, the recording unit changes the image data to satisfy a predetermined condition and records the image data as an image file. The image recording apparatus described in 1.
前記記録手段は、前記画像データと前記パラメータを所定の形式で多重化し、画像ファイルとして記録することを特徴とする請求項1又は2に記載の画像記録装置。The image recording apparatus according to claim 1, wherein the recording unit multiplexes the image data and the parameters in a predetermined format and records them as an image file. N個(Nは自然数)の視点に対応する画像を含む画像データを符号化し、拡張子が付加された画像ファイルを記録する記録ステップを持つ画像記録方法において、
前記画像データの構造を示すパラメータに基づいて前記画像データが裸眼による立体視が可能な形態に印刷可能か否かを判別する形態判別ステップを持ち、
前記記録ステップは、前記形態判別ステップの判別結果が、立体視可能に印刷出来ない場合には、画像ファイルと対応づけられていない拡張子を付加して画像ファイルとして記録することを特徴とする画像記録方法。
In an image recording method having a recording step of encoding image data including images corresponding to N (N is a natural number) viewpoints and recording an image file with an extension ,
Based on the parameters of the structure of the image data has a form determining step of the image data to determine whether printable stereoscopic vision can form by the naked eye,
The recording step adds an extension that is not associated with an image file and records the image file as an image file when the determination result of the form determination step cannot be printed stereoscopically. Recording method.
前記形態判別ステップの判別結果が、立体視可能に印刷出来ると判別された場合に、前記画像データについて、前記画像データの水平方向のサイズと垂直方向のサイズの比が所定の条件を満たすか否かを判別する画像サイズ判別ステップを更に持ち、If the discrimination result of the form discrimination step determines that printing is possible in a stereoscopic manner, whether the ratio of the horizontal size to the vertical size of the image data satisfies a predetermined condition for the image data An image size determining step for determining whether or not
前記記録ステップは、前記画像サイズ判別ステップの判別結果が、所定の条件を満たさない場合には、画像データを所定の条件を満たすよう変更し、画像ファイルとして記録することを特徴とする請求項4に記載された画像記録方法。5. The recording step according to claim 4, wherein if the determination result of the image size determination step does not satisfy a predetermined condition, the image data is changed to satisfy a predetermined condition and is recorded as an image file. The image recording method described in 1.
前記記録ステップは、前記画像データと前記パラメータを所定の形式で多重化し、画像ファイルとして記録することを特徴とする請求項4又は5に記載の画像記録方法。6. The image recording method according to claim 4, wherein the recording step multiplexes the image data and the parameters in a predetermined format and records them as an image file.
JP2003139349A 2003-05-16 2003-05-16 Image recording apparatus and image recording method Expired - Fee Related JP4133573B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003139349A JP4133573B2 (en) 2003-05-16 2003-05-16 Image recording apparatus and image recording method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003139349A JP4133573B2 (en) 2003-05-16 2003-05-16 Image recording apparatus and image recording method

Publications (2)

Publication Number Publication Date
JP2004343549A JP2004343549A (en) 2004-12-02
JP4133573B2 true JP4133573B2 (en) 2008-08-13

Family

ID=33528467

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003139349A Expired - Fee Related JP4133573B2 (en) 2003-05-16 2003-05-16 Image recording apparatus and image recording method

Country Status (1)

Country Link
JP (1) JP4133573B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4687279B2 (en) 2005-06-29 2011-05-25 ソニー株式会社 Image reproduction apparatus, image reproduction method, and image reproduction program
JP4665167B2 (en) * 2005-06-29 2011-04-06 ソニー株式会社 Stereo image processing apparatus, stereo image processing method, and stereo image processing program
JP4665166B2 (en) 2005-06-29 2011-04-06 ソニー株式会社 Stereo image processing apparatus, stereo image processing method, and stereo image processing program
JP4688590B2 (en) * 2005-07-05 2011-05-25 三洋電機株式会社 Stereoscopic image processing method, stereoscopic image processing apparatus, program, and recording medium storing program
JP4698307B2 (en) * 2005-07-05 2011-06-08 三洋電機株式会社 Stereoscopic image processing method, stereoscopic image processing apparatus, program, and recording medium storing program
WO2007004633A1 (en) * 2005-07-05 2007-01-11 Sanyo Electric Co., Ltd. 3-d image processing method and 3-d image processing device and program and program-stored recording medium
JP4662071B2 (en) 2006-12-27 2011-03-30 富士フイルム株式会社 Image playback method
WO2011004861A1 (en) * 2009-07-08 2011-01-13 シャープ株式会社 Image display control device, control method performed in image display control device, and program
JP6001826B2 (en) * 2011-05-18 2016-10-05 任天堂株式会社 Information processing system, information processing apparatus, information processing program, and information processing method

Also Published As

Publication number Publication date
JP2004343549A (en) 2004-12-02

Similar Documents

Publication Publication Date Title
JP4630149B2 (en) Image processing device
JP4630150B2 (en) Stereoscopic image recording apparatus and program
JP4324435B2 (en) Stereoscopic video providing method and stereoscopic video display device
JP4259884B2 (en) Image data creating apparatus and image data reproducing apparatus for reproducing the data
JP4665166B2 (en) Stereo image processing apparatus, stereo image processing method, and stereo image processing program
JP4251864B2 (en) Image data creating apparatus and image data reproducing apparatus for reproducing the data
JP4252105B2 (en) Image data creation device and image data reproduction device
JP2003111101A (en) Method, apparatus and system for processing stereoscopic image
JP5002047B2 (en) Stereoscopic image data playback device
WO2004093469A1 (en) 3-dimensional view image processing device, 3-dimensional view image providing method, and image display method
JP4133573B2 (en) Image recording apparatus and image recording method
JP2004274091A (en) Image data creating apparatus, image data reproducing apparatus, image data recording system, and image data recording medium
JP4529556B2 (en) Electronic device for generating stereoscopic image file, electronic device for generating three-dimensional image data, image file generation method, three-dimensional image data generation method, and file structure of image file
US20110193937A1 (en) Image processing apparatus and method, and image producing apparatus, method and program
JP4255753B2 (en) Stereoscopic image management apparatus and method, and program
JP4619412B2 (en) Stereoscopic image recording / playback system
JP2004336492A (en) Image processor and image processing method
JPH081922A (en) Printing method for stereoscopic static image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080304

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080520

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080602

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110606

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120606

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120606

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130606

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees