JP2004187103A - Device and program for editing stereoscopic image - Google Patents

Device and program for editing stereoscopic image Download PDF

Info

Publication number
JP2004187103A
JP2004187103A JP2002353006A JP2002353006A JP2004187103A JP 2004187103 A JP2004187103 A JP 2004187103A JP 2002353006 A JP2002353006 A JP 2002353006A JP 2002353006 A JP2002353006 A JP 2002353006A JP 2004187103 A JP2004187103 A JP 2004187103A
Authority
JP
Japan
Prior art keywords
image
editing
stereoscopic
images
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002353006A
Other languages
Japanese (ja)
Other versions
JP4184056B2 (en
Inventor
Katsuyuki Toyoda
勝之 豊田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IO Data Device Inc
Original Assignee
IO Data Device Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IO Data Device Inc filed Critical IO Data Device Inc
Priority to JP2002353006A priority Critical patent/JP4184056B2/en
Publication of JP2004187103A publication Critical patent/JP2004187103A/en
Application granted granted Critical
Publication of JP4184056B2 publication Critical patent/JP4184056B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a stereoscopic image editing device that can easily generate stereoscopic images from planar images and, in addition, can easily and quickly edit the stereoscopic images. <P>SOLUTION: Upon receiving data about a specified coordinate position from a mouse inputting section 9, an LR image judging section 440 provided in a stereoscopic image editing section 4 forms a prescribed area on the basis of the coordinate position. In the prescribed area, only the R image existing in the area is displayed and the L image existing in the area is erased. Since only the R image including the specified position is displayed in the prescribed area when the R image is correctly specified and the L image including the specified position is not displayed in the prescribed area even when the L image is erroneously specified, the user can easily recognize its designated image, whether the R image or L image. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、編集画面上に2つ以上の平面画像を左右にずらして表示することにより立体視画像を生成し、この立体視画像を編集可能にした立体視画像編集装置、及び立体視画像編集プログラムに関する。
【0002】
【従来の技術】
インターネットを用いた商取引、いわゆるEコマースにおいては、実際に商品を手に取ってみることができないために、画面上で商品を立体視させることが非常に有効である。しかし、様々なコンテンツをパソコンの画面上で立体視画像として提供するためには、ディジタルカメラ等で取得した平面画像を迅速に且つ容易に編集できる装置が必要となってくる。
【0003】
そこで、従来は、立体視画像を生成するのに必要な左右平面画像をディジタルカメラ等で容易に得るための撮影アダプタや、得られた画像が右画像であるのか左画像であるのかを編集画面上で容易に識別できる機能を持った立体視画像編集装置について提案されている(たとえば、特許文献1参照)。
【0004】
また、1枚の平面画像から、両眼視差に対応する奥行き値(「ズレ量」や「高さ」ともいう)、及び透明感等のパラメータが付与された2つの平面画像を作成し、この2つの平面画像により立体視画像を生成する立体視画像編集装置についても提案されている(たとえば、特許文献2参照)。
【0005】
【特許文献1】
特開2002−12546号公報
【0006】
【特許文献2】
特開2002−123842号公報
【0007】
【発明が解決しようとする課題】
しかしながら、上記の先行技術に示される立体視画像編集装置は、編集機能としていずれも十分ではなく、ディジタルカメラ等で撮像された平面画像を読み込んで容易に立体視画像を作成したり、その編集作業を素早く行うには、更なる改良が要請されていた。
【0008】
本発明の目的は、上記に鑑み、平面画像から立体視画像を容易に生成し、その編集も容易且つ迅速にできる立体視画像編集装置を提供することにある。
【0009】
【課題を解決するための手段】
本発明に係る立体視画像編集装置は次の構成を備えている。
【0010】
(1)左右にずらした2つ以上の平面画像を編集画面上に表示して立体視画像を生成し、この立体視画像を編集画面上で編集可能にした立体視画像編集装置において、
前記平面画像中の特定の画像だけを画面上で移動可能な移動画像として設定する移動画像設定手段と、
編集画面上でポインティングデバイスにより任意の座標位置が指定されたとき、該位置を基準として所定エリアを形成し、この所定エリア内では、該エリアに存在している前記移動画像だけを表示する画像編集処理手段と、を設けたことを特徴とする。
【0011】
本発明に係る立体視画像は、典型的には、左画像(以下、L画像)と右画像(以下、R画像)のLR画像を左右にずらして配置することによって形成される。この時、LR画像は、相互に水平方向に対して並行であることが必要であり(平行性)、また、相互に回転していないことが必要であり(非回転性)、さらに、相互に拡大率の異なったものであってはならない。そこで、適切なLR平面画像を得るには、特開2002−125246号公報に示されるようなステレオ画像撮影アダプタ等を使用するのが好ましい。しかし、実際には、編集画面上に表示されるLR画像は上記の条件(平行性や非回転性等)が満たされていない場合がある。本発明は、このような場合に、編集画面上でLR画像の位置を簡単に調整(画像編集)できるようにしたものである。
【0012】
すなわち、編集画面上にあるLR画像の一方を固定し、他方を移動可能な移動画像として設定するとともに、ポインティングデバイス(マウスやトラックボール等)によって任意の座標位置が指定された時に、その位置を基準とした所定エリア内を注目し、この所定エリア内に存在している移動画像だけを表示するように制御する。こうすると、仮に、L画像を固定画像、R画像を移動画像とした場合、ユーザが、編集画面上のR画像を移動させようとしてR画像の座標位置をクリックした時、そのクリックした座標位置が正しくR画像の位置を示していれば、その位置を基準とした所定エリア内にあるR画像のみが表示される。したがって、この時は指定した座標位置が正しかったことになるから、その後ポインティングデバイスをドラックすればそのドラックに応じてR画像が移動する。
【0013】
これに対し、ユーザがR画像を指定しようとしてポインティングデバイスをクリックした座標位置が実際にはL画像であった場合は、その位置を基準とした所定エリア内にL画像が表示されない。したがって、この時、ユーザは指定した位置の画像が実際はR画像でなかったことを簡単に知ることができる。
【0014】
すなわち、ユーザは、移動画像であるR画像だと思ってマウス等によって指定した画像が、実際にはL画像であれば、クリックした位置の画像は表示されないため、操作が誤ったことをすぐに知ることができる。反対に、指定した位置に画像が表示されれば、正しくR画像を指定したと知ることができる。このように、指定された座標位置を基準とした所定エリア内の移動画像を表示するために、ユーザは指定した画像が誤ったL画像であるか正しいR画像であるかを容易に認識することができる。
【0015】
なお、本発明は、立体視画像を生成するのに3つ以上の平面画像を利用する場合にも適用可能である。たとえば、3つの平面画像を使用する場合は、L画像を固定画像とし、残りの2つの画像をR1画像、R2画像として、このR1画像とR2画像を移動画像とする。この時、L画像が指定された時には指定した座標位置を基準とした所定エリア内のR1画像とR2画像のみを表示するようにする。なお、この時のR1画像とR2画像の表示の仕方を変えるようにしても良い。
【0016】
(2)左右にずらした2つ以上の平面画像を編集画面上に表示して立体視画像を生成し、この立体視画像を編集画面上で編集可能にした立体視画像編集装置において、
前記立体視画像をファイル保存するときに、該立体視画像が文字画像等の輪郭が明確な画像のときには可逆圧縮形式の保存を行い、それ以外の画像のときには非可逆圧縮形式の保存を行うファイル保存手段を設けたことを特徴とする。
【0017】
また、左右にずらした2つ以上の平面画像を編集画面上に表示して立体視画像を生成し、この立体視画像を編集画面上で編集可能にした立体視画像編集プログラムにおいて、
前記立体視画像をファイル保存するときに、該立体視画像が文字画像等の輪郭が明確な画像のときには可逆圧縮形式の保存を行い、それ以外の画像のときには非可逆圧縮形式の保存を行うファイル保存機能をコンピュータに実現させることを特徴とする。
【0018】
本発明では、立体視画像の内、文字画像等の輪郭が明確な画像は、可逆圧縮形式の保存を行い、ディジタルカメラ等で撮像した輪郭が明確でない画像については非可逆圧縮形式の保存を行う。可逆圧縮形式とは、ファイル保存時に画像の劣化がない圧縮形式をいう。たとえば、Web上での画像表示を目的として使用されるPNG形式がある。これに対して、非可逆圧縮形式はファイル保存時に画像の劣化のある形式をいう。JPEG形式が代表的な非可逆圧縮形式の一例である。立体視画像編集装置では、ディジタルカメラ等で撮像した平面画像に基づく立体視画像に、キーボード等から入力した文字画像に基づく立体視画像を貼り付けて編集する場合があるが、この画像を非可逆圧縮形式で保存すると、輪郭が明確な文字画像とそうでない画像との間でが画像欠落の度合いが異なってくるために、次に編集画面上に表示した時に両者の見え方に明確な違いがでてきて全体的に不自然となることがある。具体的には、文字画像等の輪郭が明確な画像についてはベースとなる背景画像に対して不適切にボケた見え方になる。
【0019】
そこで、本発明では、立体視画像が文字画像等の輪郭が明確な画像の時には可逆圧縮形式の保存を行って画像欠落がないようにし、ベース画像となるようなそれ以外の画像の時には非可逆圧縮形式の保存を行うようにする。このようにすると、上記の不都合が解消されるとともに、全ての画像を可逆圧縮形式で保存する場合に比べてファイルサイズが大きくなるのを防ぐことができる。そして、ファイル保存手段は、これらの形式の選択を、画像の種類に応じて自動的に行うために、ユーザは各画像に対する圧縮形式を気にする必要がなく、操作性が悪くなることはない。
【0020】
(3)左右にずらした2つ以上の平面画像を編集画面上に表示して立体視画像を生成し、この立体視画像を編集画面上で編集可能にした立体視画像編集装置において、
前記編集画面上の立体視画像に他の立体視画像を貼り付けたときに、各立体視画像をレイヤ構造として表示するとともに、各レイヤ毎のサムネイル画像を表示するレイヤ画面を表示し、前記レイヤ画面上で任意のサムネイル画像を選択したときに該画像に対応する立体視画像が編集画面上で選択され、該編集画面上で該立体視画像を編集可能にする画像編集手段を設けたことを特徴とする。
【0021】
また、左右にずらした2つ以上の平面画像を編集画面上に表示して立体視画像を生成し、この立体視画像を編集画面上で編集可能にした立体視画像編集プログラムにおいて、
前記編集画面上の立体視画像に他の立体視画像を貼り付けたときに、各立体視画像をレイヤ構造として表示するとともに、各レイヤ毎のサムネイル画像を表示するレイヤ画面を表示し、前記レイヤ画面上で任意のサムネイル画像を選択したときに該画像に対応する立体視画像が編集画面上で選択され、該編集画面上で該立体視画像を編集可能にする画像編集機能をコンピュータに実現させることを特徴とする。
【0022】
本発明では、画面上に編集画像ウインドウとともにレイヤウインドウを配置し、編集画像ウインドウ(編集画面)上に表示されている各立体視画像をレイヤ構造とする。そして、レイヤウインドウにおいて各レイヤ毎のサムネイル画像を表示する。レイヤウインドウにおいて任意のサムネイル画像が選択されると、その画像に対応する立体視画像が編集画像ウインドウ上で選択される。たとえば、選択されたサムネイル画像に対応する立体視画像のみがハイライト表示され、他の立体視画像が暗くなる。この状態で、選択された立体視画像に対する高さパラメータ(左右のズレ程度を表すパラメータ)、透明度パラメータ、貼り付け位置パラメータ、各パラメータの時間軸変化度合いを示すパラメータ等の多数のパラメータが編集できるようになる。これらのパラメータの編集のためには、サムネイル画像選択時に、選択された画像のパラメータ編集のためのポップアップウインドウ(ダイアログ) を表示すれば良い。
【0023】
このように、複数の立体視画像が編集画面上に表示されている状態では、これらの立体視画像をレイヤ構造として表示することにより、レイヤ毎に編集画面上に選択表示することで各立体視画像に付随するパラメータの編集が容易になる。
【0024】
【発明の実施の形態】
図1は、本発明に係る立体視画像編集装置の機能ブロック図である。この立体視画像編集装置は、通常は、パソコンで構成される。したがって、編集処理を行うに際して必要な機能は、立体視画像編集プログラムによって提供される。
【0025】
図1において、ディジタルカメラ1と2は、それぞれL画像(左側平面画像)とR画像(右側平面画像)を撮像する。この図では、2つのディジタルカメラ1、2を示してそれぞれL画像とR画像を撮像するようにしているが、1つのディジタルカメラを使用して、時間を異にしてL画像とR画像を撮像するようにしてもよい。また、1台の多眼カメラで同時にL画像とR画像を撮像するようにしてもよい。
【0026】
L画像とR画像は画像入力部3に入力し、直接、又はファイル保存部を介して間接的に立体視画像編集部4に渡される。具体的には、立体視画像編集部4の中の立体視形式設定部42に入力される。この立体視形式設定部42は、画像入力部3からのLR画像の立体視形式を設定する部分である。立体視形式には、裸眼平行法、裸眼交差法、赤色青色2色メガネ立体法、液晶メガネ立体法等による形式があり、これらの形式に従った画像処理を行う。なお、立体視画像編集部4内のファイル入力処理部40は、画像入力部3に対する制御を行う。
【0027】
ファイル保存処理部41は、画像メモリ5に記憶されている立体視画像ファイルを画像ファイル部6に保存したり、画像ファイル部6に保存されている立体視画像ファイルを画像メモリ5に読み出す時の処理を行う。
【0028】
立体視画像編集部4のLR画像自動作成部43は、文字画像等の輪郭が明確な画像に対してLR画像を自動作成し、これを立体視画像として画像メモリ5に記憶する。このLR画像自動作成部43には、文字入力部8からの文字情報が入力する。また、文字入力部8にはキーボード7から入力された文字が入力する。設定により、このLR画像自動作成部43に、画像入力部3からの画像を入力するようにすることも可能である。なお、LR画像移動作成部43において、LR画像を自動作成する方法については、たとえば、特開2002−123842号公報に示されている。LR画像を自動作成する方法の一例として、文字入力部8から入力された文字に対して画像をもう1枚作成し、これらの2つの文字画像をL画像とR画像とし、各画像の透明度や高さ(ズレ量)のパラメータを色相、彩度、明度等の値によって自動設定する。
【0029】
画像編集処理部44は、LR画像判定部440と、パラメータ設定処理部441とを備えている。LR画像判定部440には、マウス入力部9からの指定座標位置データが入力する。マウス入力部9にはマウス10が接続されている。このLR画像判定部440は、L画像を編集画面上で移動できない固定画像とし、R画像を編集画面上で移動可能な移動画像にデフォルト設定する処理と、マウス入力部9から指定座標位置データが入力された時に、その位置を基準として所定エリアを形成する処理と、この所定エリア内において該エリアに存在しているR画像(移動画像)だけを表示する処理等を行う。
【0030】
画像編集処理部44内のパラメータ設定処理部441は、各立体視画像毎に、高さ、透明度、貼り付け位置、各パラメータの時間軸変化度合い等のパラメータ設定を行う。
【0031】
画像編集処理部44内のレイヤウインドウ処理部442は、画面上に、編集ウインドウとは別に、レイヤウインドウを表示し、各レイヤ毎のサムネイル画像を作成して設定したり、レイヤ画面上で任意のサムネイル画像が選択された時に、その画像に対応する立体視画像だけを編集ウインドウ上で表示して、他の立体視画像を暗くする。また、レイヤウインドウ上の設定ボタンが操作されたときに、パラメータ編集用のポップアップダイアログを表示する等の処理を行う。
【0032】
画像メモリ5には、JPEG形式で記憶されるLR画像からなる立体視画像とパラメータとが対になって記憶される。編集ウインドウ上に複数の立体視画像が表示される時には、この画像メモリ内には、各立体視画像に対する画像データが記憶される。具体的には、画像入力部3からLR画像に入力される毎に、同LR画像は立体視形式設定部42を通過した後、立体視画像としてパラメータとともに順次記憶されていく。また、文字入力部8から文字データが入力される毎に、LR画像自動作成部43を通過した後、立体視画像としてパラメータとともに記憶されていく。画像メモリ5上の画像データは、パラメータ情報にしたがってグラフィックメモリ10上に展開され、モニター画面に表示される。
【0033】
以下、各機能について説明する。
【0034】
(A)LR画像判定部440の機能について
図1において、2つのディジタルカメラ1、2においてL画像とR画像を撮像した場合、1つのディジタルカメラでL画像とR画像を撮像した場合、または、1台の多眼カメラでL画像とR画像を撮影した場合、これを立体視画像として編集ウインドウ上に表示するためには、各LR画像を水平線上で一致させ、また、相互に回転していない画像にし、さらに拡大率が相互に同一となっている画像にすることが必要である。すなわち、LR画像において、少なくとも3ポイント以上の画素において相互の画像が一致することが必要である。そこで、実際には、LR画像を編集ウインドウ上においてマウスを使用して操作することが必要になる場合がある。本実施形態では、LR画像判定部440において、マウス入力部9からマウスクリックによって指定された座標位置のデータ(指定座標位置データ)が入力されると、その位置を基準として所定エリアを形成する。また、デフォルトとして、L画像を編集ウインドウ上で移動しない固定画像とし、R画像を編集ウインドウ上で移動可能な移動画像として設定する。さらに、上記所定エリア内では、該エリアに存在している移動画像すなわちR画像だけを表示するようにする。したがって、このエリア内に存在している固定画像については表示しない。
【0035】
図2は、LR画像判定部440の機能について説明するための図である。今、画像入力部3から入力された画像が立体視画像にされたときのL画像を図2(A)、R画像を図2(B)に示したものとする。これを立体視画像として編集ウインドウW1上に表示する。この状態で、図2の1−▲1▼のように、仮に、左側に表示されている「L」をマウスクリックすることによって指定すると、図示の所定エリアPが形成され、1−▲2▼に示すように、この所定エリアP内において、該エリアに存在しているR画像のみが表示され、「L」については表示されない。したがって、ユーザは、マウスクリックによって指定した位置にある画像はL画像であると認識できる。
【0036】
また、2−▲1▼に示すように、「R」をマウスクリックによって指定すると、所定エリアPが形成され、このエリアPにあるR画像、すなわち「R」文字だけが表示される。マウスクリックした座標位置はこの「R」の文字に一致しているため、ユーザは、マウスクリックによって指定した位置の画像が正しくR画像であったことを知ることができる。
【0037】
こうして、編集ウインドウW1上で、L画像とR画像が重なって表示されている状態で、マウスによって指定した画像がL画像なのかR画像なのかを容易に判別することができる。なお、この実施形態では、L画像を固定画像、R画像を移動画像とデフォルト設定しているため、マウスクリックでR画像を指定した後ドラックすればそのR画像がマウスドラッグの方向に移動する。
【0038】
なお、編集ウインドウW1内の表示は、図2に示すポップアップウインドウによって「ペア表示」を選択することで、立体視合成表示フォーマットが指定され、これにより、編集ウインドウW1上には立体視画像が表示される。
【0039】
また、上述のように、デフォルト設定により、L画像を固定画像、R画像を移動画像としたが、この逆に設定することも可能である。
【0040】
図3は、上記LR画像判定部440の機能を実現するためのプログラムのフローチャートを示す。
【0041】
マウス10によって編集ウインドウW1上の画像(立体視画像)が指定されと(ST1)、編集ウインドウW1上にLR画像が立体視画像として表示される(ST2)。この時、高さ、透明度等のパラメータが参照され、そのパラメータに従った画像処理が行われて表示される。
【0042】
マウス10によって編集ウインドウW1上の画像が指定されると(ST3)、その指定座標位置周辺の所定のエリアが形成され、この所定エリア内においてR画像のみ表示する(ST4)。この時、表示するR画像は彩度や明度等を調節して周囲の画像よりも引き立つようにしてもよい。そして、その状態でマウスドラッグされれば(ST5)、そのドラッグに応じてR画像を移動し、マウスを離した時に移動したR画像とL画像とを再び合成表示する(ST6)。なおST6において、マウスを離した時に、最初に所定エリア内の合成表示を行い、続いて編集ウインドウW1内の全画像について合成表示を行う。
【0043】
以上の処理によって、ユーザは、マウスクリックした時に、そのマウスクリックによって指定した画像がR画像であるのかL画像であるのかを直ちに判断することができる。上記のケースでは、R画像のみが移動画像として設定されているから、ユーザは、マウスクリックした時にそのクリックした座標位置の画像が表示されれば、指定した画像がR画像であるからそのままマウスドラッグすることによってR画像を任意の量だけ移動させることができる。反対に、マウスクリックした位置にある画像がL画像であれば、その位置を含む周辺のL画像は表示されないから、ユーザは、マウスで指定した画像が移動可能なR画像でないことを直ちに判断することができる。この場合は、操作が誤ったことになるから、ユーザは再び別の場所をマウスクリックしてR画像の指定を試みることになる。
【0044】
以上の機能により、画像の大きさに無関係に、ユーザはLR画像を容易に判断することができ、思考を中断されることなくLR画像の調整を行うことができる。
【0045】
(B)ファイル保存処理部41の機能について
図1において、文字入力部8から入力される文字データはLR画像自動作成部43に入力されることでLR画像が自動作成されるが、この文字データについてはディジタルカメラ1、2等で撮像される画像と異なり、画像の輪郭が非常に明確である特性がある。したがって、この文字画像等の輪郭が明確な画像と、ディジタルカメラ1、2等で撮像した輪郭が明確でない画像等を共に一般的な非可逆圧縮方式で圧縮してファイル保存部6に保存すると、次にこれらを再生した時に見え方が不自然になってしまう。図4はこの様子を示している。全体画像の中の「ビューワ」の文字位置にある立体視文字画像拡大部分を見ると、2で示す非可逆圧縮方式で保存したもの(3D合成画像と左右画像(2−▲1▼,2−▲2▼)を含む)を再度読み出したものでは画像の欠落があり、1で示す可逆圧縮方式で保存したもの(3D合成画像と左右画像(1−▲1▼,1−▲2▼)に対し、不自然な見え方となる。
【0046】
そこで、本実施形態では、文字画像等の輪郭が明確な画像については、可逆圧縮方式で圧縮してファイル保存し、それ以外の画像、すなわちディジタルカメラ1、2等で撮像した画像等の輪郭が明確でない画像については非可逆圧縮方式によりファイル保存する。Web等からファイル入力処理部40を介して取得した風景画像や人物画像等のディジタルカメラ撮像画像と同じ性質の画像についても同様な扱いを行う。本実施形態では、具体的には、非可逆圧縮方式はJPEG方式を採用し、可逆圧縮方式はPNG方式を採用している。
【0047】
これらの圧縮方式については、各画像データに付属するパラメータ部に設定される。ファイル保存処理部41は、このパラメータ部の圧縮形式を見ることによって、ファイル保存部6にJPEG方式で圧縮保存するか、PNG圧縮方式で保存するかを決める。
【0048】
なお、輪郭が明確な画像としては、上述の文字画像の他、ロゴ画像や、ベクトルデータ画像等がある。
【0049】
図5は、ファイル保存処理部41の機能のうち保存機能を実現するためのプログラムのフローチャートである。
【0050】
ファイル保存が指定されると、編集ウインドウW1内にある立体視画像毎に画像圧縮方式パラメータを参照する(ST10)。そして、立体視画像毎に、輪郭保持画像かそうでないかを判定し(ST11)、輪郭保持画像の時にはPNG圧縮をして保存する一方(ST12)、輪郭保持画像以外の時には、JPEG圧縮をして保存する(ST13)。
【0051】
上記の処理により、編集を繰り返していっても、立体視画像を鑑賞する時に、立体感を損ねず、また、JPEG方式等の非可逆圧縮方式では、圧縮率が高いためにファイルの大きさを小さくでき、メモリや記憶装置の資源の有効利用と、伝送効率の向上を図ることができる。また、以上の動作は自動的に行われるために、ユーザに負担を与えることもない。
【0052】
(C)レイヤウインドウ処理及びパラメータ設定処理について
レイヤウインドウ処理部442は、画像メモリ5上に記憶されている各立体視画像を自動的にレイヤ登録する。また、図6に示すように、表示画面上に、編集ウインドウW1とは別にレイヤウインドウW2を設定する。図6は、画面内に配置される編集ウインドウW1とレイヤウインドウW2と位置関係を示している。
【0053】
このレイヤウインドウW2内に、各立体視画像のサムネイル画像が表示される。任意のサムネイル画像が選択されると、編集ウインドウW1内で、選択されたサムネイル画像に対応する立体視画像が選択される。具体的には、編集ウインドウW1上で、選択された立体視画像が編集可能にアクティブ状態にされ、他の立体視画像が暗く表示される。
【0054】
レイヤウインドウW2内では、高さ(ズレ量)パラメータの大きさ順に各サムネイル画像が自動的に並べ変えられて表示される。並べ変えは、高さがデフォルトであり、高さに代えて、貼り付け位置や透明度等のパラメータを並べ変えのためのパラメータに設定することも可能になっている。
【0055】
図6においては、レイヤウインドウW2に、通常の複数の立体視画像に加えて、文字画像やロゴ画像の立体視画像が設定されている。文字は、W3に示す文字新規作成ウインドウを開くことによって作成することができる。ロゴは、W4に示すロゴ画像新規作成ウインドウを開くことによって選択することができる。編集ウインドウW1上に、W4のロゴ画像新規作成ウインドウで選択したロゴ画像を貼り付けるには、編集メニューの「ロゴを貼り付け」(図示せず)を選択する。
【0056】
図7は、レイヤウインドウW2を使用した編集方法について説明する。レイヤウインドウW2には、各立体視画像のサムネイル画像を表示するためのレイヤ画面とともに、サムネイル画像の横の位置に各種パラメータを設定するためのボタンが配置されている。この設定ボタンを操作することにより、W5に示すように画面上にパラメータ編集のためのレイヤ設定ダイアログがポップアップ表示される。このダイアログでは、「領域外を暗く表示」のチェックボックスがある。このチェックボックスがオンされていると(デフォルトでチェック済)、全編集ウインドウ内を暗くし、選択された画像のみ明るく目立つように表示される。逆にこのチェックボックスをオフすると、画像全体を立体視鑑賞しながら、全体の調和を考えながら選択画像に対するパラメータ設定が可能となる。なお、パラメータ編集のためのレイヤ設定ダイアログでは、そのパラメータの変更がリアルタイムで画像に反映する。
【0057】
上記パラメータ編集のためのレイヤ設定ダイアログには、さらに、「編集ロック」のチェックボックスがある。このチェックボックスがオンされていると、編集ウインドウ内に貼り付けられた文字、ロゴ、画像などをロック状態(編集不可状態)に出来る。特にロゴ画像は、通常、ロックした状態で他の画像を編集する場合が多いため、このような状況に対応出来るようにするためである。
【0058】
図8は、レイヤウインドウ処理部442の機能を実現するためのプログラムのフローチャートである。
【0059】
ST20で、LR画像に基づいて生成された立体視画像(3D画像)をファイル保存部等から読み込んでベースレイヤ画像とする。この画像に対して、左右位置、傾き、変形、明るさ等の調整を行う(ST21)。この調整には、上述したLR画像判定部440の機能が用いられる。続いて、編集ウインドウW1とレイヤウインドウW2とが画面上に設定され、上記画像がベースレイヤとして表示される。また、このとき、輪郭の明確な文字画像等をベースレイヤ画像として読み込むことも可能である。
【0060】
上記ベースレイヤ画像は、デフォルトのレイヤ表示順序に従ってレイヤウインドウW2にサムネイル画像にされて表示される(ST23)。ここでは、デフォルトは、「高さ」パラメータである。先に述べたように、これに代えて、透明度、大きさ、更新日等の任意の他のパラメータを使って表示順を決めることも可能である。
【0061】
ST24で、新規文字画像の貼り付けが選択されると、入力された文字画像に対してLR画像自動作成部43にて立体視画像が自動作成され、各パラメータのデフォルト値付加が行われる。付加されるパラメータには、高さ、透明度等のパラメータと、輪郭保持画像であるとみなしてファイル保存をPNG形式で行うためのパラメータとが含まれる。
【0062】
ST25で、新規ロゴの貼り付けが選択されると、選択されたロゴ画像に対してLR画像自動作成部43にて立体視画像が自動作成され、各パラメータのデフォルト値付加が行われる。付加されるパラメータには、高さ、透明度等のパラメータと、輪郭保持画像であるとみなしてファイル保存をPNG形式で行うためのパラメータとが含まれる。なお、ここでは、ロゴの立体視画像については、予め記憶されているものとし、この中から選択するものとしている。
【0063】
ST26で、新規画像(LR画像)の貼り付けが選択されると、入力された画像の立体視画像が貼り付けられ、各パラメータのデフォルト値付加が行われる。
ST27で、上記ST24〜ST26で追加された画像を含む全画像のサムネイル画像が、そのときに設定されている表示順に従いレイヤウインドウW2内に表示される。表示順が高さ以外のパラメータに変更されたときには、その新規パラメータに従い、レイヤウインドウW2内の表示順も変える。対象となる立体視画像が増減すると、レイヤウインドウW2内でのサムネイル画像表示順序も更新される。なお、レイヤウインドウW2内に表示するサムネイル画像の表示サイズも変更可能である。
【0064】
ST29で、レイヤウインドウW2内で、いずれかのサムネイル画像(貼り付け部品)が選択されると、その画像に対応した編集ウインドウW1内の立体視画像がアクティブとなる。同時に、その横にある設定ボタンを操作すると、W5に示すダイヤログでパラメータ編集が可能になる。このとき、図7のW5に示すダイヤログで「領域外を暗く表示」が設定されていれば、アクティブとなった画像だけがハイライト表示される(他の立体視画像は暗くなる)。W5のダイヤログでパラメータが変更されると、その変更はリアルタイムで画像に反映する。
【0065】
以上の処理を繰り返して行い、全画像の貼り付け作業を終えてメニュー内の「保存」が選択されると(ST32,ST33)、輪郭保持画像についてはPNG形式による圧縮保存、背景画像等のそれ以外の画像についてはJPEG形式による圧縮保存が行われる(ST33)。このとき、同時に各種パラメータ(高さ、透明度、貼り付け位置等)も保存される。
【0066】
以上の機能により、複数の立体視画像が編集画面上に表示されている状態では、これらの立体視画像をレイヤ構造として表示することにより、レイヤ毎に編集画面上に選択表示することで各立体視画像に付随するパラメータの編集が容易になる。
【0067】
【発明の効果】
本発明の立体視画像編集装置及びプログラムでは、編集効率が非常に良くなる。具体的には、次の効果がある。
【0068】
(1)指定された座標位置を基準とした所定エリア内の移動画像を表示するために、ユーザは指定した画像が誤ったL画像であるか正しいR画像であるかを容易に認識することができる。
【0069】
(2)立体視画像を鑑賞する時に、立体感を損ねず、また、JPEG方式等の非可逆圧縮方式では、圧縮率が高いためにファイルの大きさを小さくでき、メモリや記憶装置の資源の有効利用と、伝送効率の向上を図ることができる。
【0070】
(3)複数の立体視画像が編集画面上に表示されている状態では、これらの立体視画像をレイヤ構造として表示することにより、レイヤ毎に編集画面上に選択表示することで各立体視画像に付随するパラメータの編集が容易になる。
【図面の簡単な説明】
【図1】本発明の実施形態である立体視画像編集装置の機能ブロック図である。
【図2】LR画像判定部440の機能について説明するための図である。
【図3】LR画像判定部440の機能を実現するためのプログラムのフローチャートを示す。
【図4】文字立体視画像を非可逆圧縮方式で圧縮したときの画像の欠落を示す図。
【図5】ファイル保存処理部41の機能のうち保存機能を実現するためのプログラムのフローチャートである。
【図6】画面内に配置されるウインドウ類を示している。
【図7】レイヤウインドウW2を使用した編集方法について説明する図である。
【図8】レイヤウインドウ処理部442の機能を実現するためのプログラムのフローチャートである。
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention provides a stereoscopic image editing apparatus that generates a stereoscopic image by displaying two or more planar images shifted left and right on an editing screen, enables the stereoscopic image to be edited, and a stereoscopic image editing device. About the program.
[0002]
[Prior art]
In commercial transactions using the Internet, so-called E-commerce, it is very effective to stereoscopically view a product on a screen because the product cannot be actually picked up. However, in order to provide various contents as a stereoscopic image on the screen of a personal computer, a device that can quickly and easily edit a planar image acquired by a digital camera or the like is required.
[0003]
Therefore, conventionally, a shooting adapter for easily obtaining a right and left plane image necessary for generating a stereoscopic image with a digital camera or the like, and an editing screen for determining whether the obtained image is a right image or a left image. There has been proposed a stereoscopic image editing apparatus having a function that can be easily identified above (for example, see Patent Document 1).
[0004]
In addition, two plane images to which depth values (also referred to as “amount of deviation” and “height”) corresponding to binocular parallax and parameters such as a sense of transparency are added from one plane image are created. A stereoscopic image editing apparatus that generates a stereoscopic image from two planar images has also been proposed (for example, see Patent Document 2).
[0005]
[Patent Document 1]
JP-A-2002-12546
[0006]
[Patent Document 2]
JP-A-2002-123842
[0007]
[Problems to be solved by the invention]
However, the stereoscopic image editing apparatus shown in the above prior art is not sufficient as an editing function, and a stereoscopic image can be easily created by reading a planar image captured by a digital camera or the like, and the editing work can be easily performed. In order to be able to do it quickly, further improvements were required.
[0008]
SUMMARY OF THE INVENTION In view of the above, an object of the present invention is to provide a stereoscopic image editing apparatus that can easily generate a stereoscopic image from a planar image and can easily and quickly edit the stereoscopic image.
[0009]
[Means for Solving the Problems]
The stereoscopic image editing apparatus according to the present invention has the following configuration.
[0010]
(1) In a stereoscopic image editing apparatus in which two or more plane images shifted left and right are displayed on an editing screen to generate a stereoscopic image, and the stereoscopic image can be edited on the editing screen,
Moving image setting means for setting only a specific image in the plane image as a moving image movable on the screen,
When an arbitrary coordinate position is designated by a pointing device on the editing screen, a predetermined area is formed based on the position, and within this predetermined area, an image editing that displays only the moving image existing in the area And processing means.
[0011]
The stereoscopic image according to the present invention is typically formed by displacing left and right LR images (hereinafter, L images) of a left image (hereinafter, L images) and left and right images (hereinafter, R images). At this time, the LR images need to be parallel to each other in the horizontal direction (parallelism), and need not be mutually rotated (non-rotational). The magnifications must not be different. Therefore, in order to obtain an appropriate LR plane image, it is preferable to use a stereo image capturing adapter or the like as disclosed in JP-A-2002-125246. However, in practice, the LR image displayed on the editing screen may not satisfy the above conditions (parallelism, non-rotational property, etc.). According to the present invention, in such a case, the position of the LR image can be easily adjusted (image editing) on the editing screen.
[0012]
That is, one of the LR images on the editing screen is fixed, the other is set as a movable image, and when an arbitrary coordinate position is designated by a pointing device (mouse, trackball, or the like), the position is changed. Attention is paid to a predetermined area serving as a reference, and control is performed so that only moving images existing in the predetermined area are displayed. In this case, if the L image is a fixed image and the R image is a moving image, when the user clicks the coordinate position of the R image on the edit screen to move the R image, the clicked coordinate position becomes If the position of the R image is correctly indicated, only the R image within a predetermined area based on the position is displayed. Therefore, at this time, the designated coordinate position is correct, and if the pointing device is dragged thereafter, the R image moves according to the drag.
[0013]
On the other hand, if the coordinate position where the user clicks the pointing device to specify the R image is actually an L image, the L image is not displayed in a predetermined area based on the position. Therefore, at this time, the user can easily know that the image at the designated position is not actually the R image.
[0014]
That is, if the image specified by the mouse or the like with the mouse or the like as an R image that is a moving image is actually an L image, the image at the clicked position is not displayed. You can know. Conversely, if the image is displayed at the specified position, it can be known that the R image has been correctly specified. As described above, in order to display a moving image in a predetermined area based on the specified coordinate position, the user can easily recognize whether the specified image is an incorrect L image or a correct R image. Can be.
[0015]
The present invention is also applicable to a case where three or more planar images are used to generate a stereoscopic image. For example, when three plane images are used, the L image is a fixed image, the remaining two images are an R1 image and an R2 image, and the R1 image and the R2 image are moving images. At this time, when the L image is designated, only the R1 image and the R2 image within a predetermined area based on the designated coordinate position are displayed. At this time, the manner of displaying the R1 image and the R2 image may be changed.
[0016]
(2) In a stereoscopic image editing apparatus that generates a stereoscopic image by displaying two or more planar images shifted to the left and right on an edit screen and enables the stereoscopic image to be edited on the edit screen,
When saving the stereoscopic image file, the stereoscopic image is stored in a lossless compression format when the image is a clear image such as a character image, and is stored in an irreversible compression format when the image is any other image. A storage means is provided.
[0017]
In addition, in a stereoscopic image editing program that generates two-dimensional images by displaying two or more two-dimensional images shifted to the left and right on an editing screen and enables the three-dimensional images to be edited on the editing screen,
When saving the stereoscopic image file, the stereoscopic image is stored in a lossless compression format when the image is a clear image such as a character image, and is stored in an irreversible compression format when the image is any other image. The storage function is realized by a computer.
[0018]
According to the present invention, among the stereoscopic images, an image having a clear outline such as a character image is stored in a lossless compression format, and an image captured by a digital camera or the like whose outline is not clear is stored in an irreversible compression format. . The reversible compression format is a compression format in which the image is not deteriorated when the file is stored. For example, there is a PNG format used for displaying images on the Web. On the other hand, the irreversible compression format is a format in which an image deteriorates when a file is stored. The JPEG format is an example of a typical lossy compression format. In a stereoscopic image editing apparatus, there is a case where a stereoscopic image based on a character image input from a keyboard or the like is pasted on a stereoscopic image based on a two-dimensional image captured by a digital camera or the like to edit the image. When saving in a compressed format, the degree of image loss differs between a character image with a clear outline and an image without a clear outline, so the next time it is displayed on the editing screen, there is a clear difference between the two. And may be unnatural on the whole. Specifically, an image having a clear outline such as a character image has an inappropriately blurred appearance with respect to a base background image.
[0019]
Therefore, in the present invention, when the stereoscopic image is an image having a clear outline such as a character image, the image is stored in a lossless compression format so that no image is lost, and when the image is other than the base image, the image is irreversible. Save the compressed format. By doing so, the above-mentioned disadvantages can be solved, and the file size can be prevented from becoming larger than when all images are stored in a lossless compression format. Since the file storage unit automatically selects these formats according to the type of the image, the user does not need to worry about the compression format for each image, and the operability does not deteriorate. .
[0020]
(3) In a stereoscopic image editing apparatus that generates two-dimensional images by displaying two or more two-dimensional images shifted to the left and right on an edit screen and enables the three-dimensional images to be edited on the edit screen,
When another stereoscopic image is pasted on the stereoscopic image on the edit screen, each stereoscopic image is displayed as a layer structure, and a layer screen displaying a thumbnail image for each layer is displayed. When an arbitrary thumbnail image is selected on the screen, a stereoscopic image corresponding to the selected image is selected on the editing screen, and image editing means for enabling the editing of the stereoscopic image on the editing screen is provided. Features.
[0021]
In addition, in a stereoscopic image editing program that generates two-dimensional images by displaying two or more two-dimensional images shifted to the left and right on an editing screen and enables the three-dimensional images to be edited on the editing screen,
When another stereoscopic image is pasted on the stereoscopic image on the edit screen, each stereoscopic image is displayed as a layer structure, and a layer screen displaying a thumbnail image for each layer is displayed. When an arbitrary thumbnail image is selected on the screen, a stereoscopic image corresponding to the selected image is selected on the editing screen, and the computer realizes an image editing function of enabling the stereoscopic image to be edited on the editing screen. It is characterized by the following.
[0022]
In the present invention, a layer window is arranged together with an edited image window on a screen, and each stereoscopic image displayed on the edited image window (edit screen) has a layer structure. Then, a thumbnail image for each layer is displayed in the layer window. When an arbitrary thumbnail image is selected in the layer window, a stereoscopic image corresponding to that image is selected in the edited image window. For example, only the stereoscopic image corresponding to the selected thumbnail image is highlighted and the other stereoscopic images are darkened. In this state, a large number of parameters such as a height parameter (a parameter indicating the degree of left / right deviation), a transparency parameter, a pasting position parameter, and a parameter indicating a degree of time axis change of each parameter with respect to the selected stereoscopic image can be edited. Become like To edit these parameters, a pop-up window (dialog) for editing parameters of the selected image may be displayed at the time of selecting a thumbnail image.
[0023]
As described above, when a plurality of stereoscopic images are displayed on the editing screen, these stereoscopic images are displayed as a layer structure, and each stereoscopic image is selectively displayed on the editing screen for each layer, so that each stereoscopic image is displayed. Editing of parameters associated with the image is facilitated.
[0024]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 is a functional block diagram of a stereoscopic image editing apparatus according to the present invention. This stereoscopic image editing apparatus is usually composed of a personal computer. Therefore, functions necessary for performing the editing process are provided by the stereoscopic image editing program.
[0025]
In FIG. 1, digital cameras 1 and 2 capture an L image (left plane image) and an R image (right plane image), respectively. In this figure, two digital cameras 1 and 2 are shown to capture an L image and an R image, respectively. However, one digital camera is used to capture an L image and an R image at different times. You may make it. Further, the L image and the R image may be simultaneously captured by one multi-lens camera.
[0026]
The L image and the R image are input to the image input unit 3 and passed to the stereoscopic image editing unit 4 directly or indirectly via a file storage unit. Specifically, it is input to the stereoscopic view format setting section 42 in the stereoscopic image editing section 4. The stereoscopic view format setting section 42 is a section for setting the stereoscopic view format of the LR image from the image input section 3. Stereoscopic formats include a naked-eye parallel method, a naked-eye crossing method, a red-blue two-color glasses three-dimensional method, a liquid crystal glasses three-dimensional method, and the like, and image processing is performed according to these formats. Note that the file input processing unit 40 in the stereoscopic image editing unit 4 controls the image input unit 3.
[0027]
The file storage processing unit 41 stores a stereoscopic image file stored in the image memory 5 in the image file unit 6 and reads a stereoscopic image file stored in the image file unit 6 into the image memory 5. Perform processing.
[0028]
The LR image automatic creation unit 43 of the stereoscopic image editing unit 4 automatically creates an LR image for an image having a clear contour such as a character image and stores the LR image in the image memory 5 as a stereoscopic image. The character information from the character input unit 8 is input to the LR image automatic creation unit 43. In addition, a character input from the keyboard 7 is input to the character input unit 8. It is also possible to input an image from the image input unit 3 to the LR image automatic creation unit 43 by setting. The method of automatically creating an LR image in the LR image movement creating unit 43 is disclosed in, for example, JP-A-2002-123842. As an example of a method of automatically creating an LR image, another image is created for a character input from the character input unit 8, and these two character images are defined as an L image and an R image. The parameter of the height (shift amount) is automatically set according to values such as hue, saturation, and lightness.
[0029]
The image editing processing unit 44 includes an LR image determining unit 440 and a parameter setting processing unit 441. The designated coordinate position data from the mouse input unit 9 is input to the LR image determination unit 440. A mouse 10 is connected to the mouse input unit 9. The LR image determination unit 440 sets the L image as a fixed image that cannot be moved on the editing screen, sets the R image as a moving image that can be moved on the editing screen by default, and receives the designated coordinate position data from the mouse input unit 9. When input, a process of forming a predetermined area based on the position, a process of displaying only an R image (moving image) existing in the area in the predetermined area, and the like are performed.
[0030]
The parameter setting processing unit 441 in the image editing processing unit 44 sets parameters such as height, transparency, pasting position, and time axis change degree of each parameter for each stereoscopic image.
[0031]
A layer window processing unit 442 in the image editing processing unit 44 displays a layer window separately from the editing window on the screen, creates and sets a thumbnail image for each layer, or sets an arbitrary image on the layer screen. When a thumbnail image is selected, only the stereoscopic image corresponding to that image is displayed on the editing window, and the other stereoscopic images are darkened. Further, when a setting button on the layer window is operated, processing such as displaying a popup dialog for parameter editing is performed.
[0032]
The image memory 5 stores a stereoscopic image composed of LR images stored in the JPEG format and parameters in pairs. When a plurality of stereoscopic images are displayed on the editing window, image data for each stereoscopic image is stored in the image memory. Specifically, each time the LR image is input from the image input unit 3, the LR image passes through the stereoscopic format setting unit 42, and is sequentially stored as a stereoscopic image together with parameters. Each time character data is input from the character input unit 8, the data passes through the LR image automatic creation unit 43 and is stored as a stereoscopic image together with parameters. The image data on the image memory 5 is developed on the graphic memory 10 according to the parameter information and displayed on the monitor screen.
[0033]
Hereinafter, each function will be described.
[0034]
(A) Function of LR image determination unit 440
In FIG. 1, when two digital cameras 1 and 2 capture an L image and an R image, one digital camera captures an L image and an R image, or one multiview camera captures an L image and an R image. When an image is captured, in order to display the image as a stereoscopic image on the editing window, the LR images are matched on a horizontal line, and the images are not rotated, and the magnifications are the same. It is necessary to set the image as follows. That is, in the LR image, it is necessary that the mutual images match at least three or more pixels. Therefore, actually, it may be necessary to operate the LR image on the editing window using a mouse. In the present embodiment, when the data of the coordinate position specified by the mouse click (designated coordinate position data) is input from the mouse input unit 9 to the LR image determination unit 440, a predetermined area is formed based on the position. Also, as default, the L image is set as a fixed image that does not move on the editing window, and the R image is set as a moving image that can move on the editing window. Further, within the predetermined area, only the moving image existing in the area, that is, the R image is displayed. Therefore, the fixed image existing in this area is not displayed.
[0035]
FIG. 2 is a diagram for explaining a function of the LR image determination unit 440. Now, it is assumed that the L image and the R image when the image input from the image input unit 3 is converted into a stereoscopic image are shown in FIG. 2A and FIG. 2B, respectively. This is displayed on the editing window W1 as a stereoscopic image. In this state, if the user designates “L” displayed on the left side by clicking the mouse as shown in 1- (1) in FIG. 2, a predetermined area P shown in the figure is formed, and 1- (2) As shown in the figure, within the predetermined area P, only the R image existing in the area P is displayed, and "L" is not displayed. Therefore, the user can recognize that the image at the position designated by the mouse click is the L image.
[0036]
Also, as shown in 2- (1), when "R" is designated by clicking the mouse, a predetermined area P is formed, and only the R image in this area P, that is, only the "R" character is displayed. Since the coordinate position where the mouse is clicked matches the character of "R", the user can know that the image at the position specified by the mouse click was correctly an R image.
[0037]
In this way, it is possible to easily determine whether the image specified by the mouse is an L image or an R image in a state where the L image and the R image are displayed overlapping on the editing window W1. In this embodiment, since the L image is set as the fixed image and the R image is set as the moving image by default, if the user drags after specifying the R image with a mouse click, the R image moves in the direction of the mouse drag.
[0038]
The display in the edit window W1 is performed by selecting “pair display” in the pop-up window shown in FIG. 2 to specify a stereoscopic composite display format, whereby a stereoscopic image is displayed on the edit window W1. Is done.
[0039]
Further, as described above, the L image is a fixed image and the R image is a moving image by default, but it is also possible to set the reverse.
[0040]
FIG. 3 shows a flowchart of a program for realizing the function of the LR image determination unit 440.
[0041]
When an image (stereoscopic image) on the editing window W1 is designated by the mouse 10 (ST1), the LR image is displayed as a stereoscopic image on the editing window W1 (ST2). At this time, parameters such as height and transparency are referred to, image processing is performed according to the parameters, and displayed.
[0042]
When an image on the edit window W1 is designated by the mouse 10 (ST3), a predetermined area around the designated coordinate position is formed, and only the R image is displayed in the predetermined area (ST4). At this time, the displayed R image may be made to stand out more than the surrounding images by adjusting the saturation, brightness, and the like. If the mouse is dragged in this state (ST5), the R image is moved according to the drag, and the moved R image and L image are synthesized and displayed again when the mouse is released (ST6). In ST6, when the mouse is released, first, the composite display in the predetermined area is performed, and then, the composite display is performed on all the images in the edit window W1.
[0043]
Through the above processing, when the mouse is clicked, the user can immediately determine whether the image specified by the mouse click is an R image or an L image. In the above case, since only the R image is set as the moving image, if the image at the coordinate position where the mouse is clicked is displayed when the mouse is clicked, the user simply drags the mouse because the specified image is the R image. By doing so, the R image can be moved by an arbitrary amount. On the other hand, if the image at the position where the mouse is clicked is the L image, the surrounding L images including that position are not displayed, and the user immediately determines that the image specified by the mouse is not a movable R image. be able to. In this case, the operation is erroneous, and the user again attempts to specify the R image by clicking the mouse at another place.
[0044]
With the above functions, the user can easily determine the LR image regardless of the size of the image, and can adjust the LR image without interrupting the thinking.
[0045]
(B) Function of file storage processing unit 41
In FIG. 1, LR images are automatically created by inputting character data from a character input unit 8 to an LR image automatic creation unit 43. The character data is captured by digital cameras 1, 2 and the like. Unlike an image, the outline of the image is very clear. Therefore, when both the image having a clear contour such as the character image and the image having an unclear contour captured by the digital cameras 1 and 2 are compressed by a general irreversible compression method and stored in the file storage unit 6, The next time they are reproduced, the appearance will be unnatural. FIG. 4 shows this state. Looking at the enlarged portion of the stereoscopic character image at the character position of the “viewer” in the entire image, the image saved by the irreversible compression method indicated by 2 (3D composite image and left and right images (2- ▲ 1 ▼, 2- (Including (2))), the image is missing again, and the image stored in the lossless compression method indicated by 1 (3D composite image and left and right images (1- (1), 1- (2)) On the other hand, it looks unnatural.
[0046]
Therefore, in the present embodiment, an image having a clear outline such as a character image is compressed by a lossless compression method and saved in a file, and the other images, that is, the outlines of the images captured by the digital cameras 1, 2 and the like are displayed. Unclear images are stored in a file using a lossy compression method. An image having the same property as a digital camera captured image such as a landscape image or a person image acquired from the Web or the like via the file input processing unit 40 is similarly treated. In the present embodiment, specifically, the JPEG method is adopted for the lossy compression method, and the PNG method is adopted for the lossless compression method.
[0047]
These compression methods are set in the parameter section attached to each image data. The file storage processing unit 41 determines whether to store the data in the file storage unit 6 in the JPEG format or the PNG compression format by checking the compression format of the parameter portion.
[0048]
Note that examples of the image having a clear outline include a logo image, a vector data image, and the like in addition to the character image described above.
[0049]
FIG. 5 is a flowchart of a program for realizing a storage function among the functions of the file storage processing unit 41.
[0050]
When the file saving is specified, the image compression method parameter is referred to for each stereoscopic image in the editing window W1 (ST10). Then, for each stereoscopic image, it is determined whether or not the image is a contour holding image (ST11). If the image is a contour holding image, PNG compression is performed and stored (ST12). If the image is not a contour holding image, JPEG compression is performed. And save (ST13).
[0051]
By the above processing, even if editing is repeated, the stereoscopic effect is not lost when viewing a stereoscopic image, and the irreversible compression method such as the JPEG method has a high compression rate, so that the file size is reduced. It is possible to reduce the size, to effectively use the resources of the memory and the storage device, and to improve the transmission efficiency. Further, since the above operation is automatically performed, no burden is imposed on the user.
[0052]
(C) Layer window processing and parameter setting processing
The layer window processing unit 442 automatically registers each stereoscopic image stored in the image memory 5 as a layer. As shown in FIG. 6, a layer window W2 is set on the display screen separately from the editing window W1. FIG. 6 shows a positional relationship between the editing window W1 and the layer window W2 arranged in the screen.
[0053]
In this layer window W2, thumbnail images of each stereoscopic image are displayed. When an arbitrary thumbnail image is selected, a stereoscopic image corresponding to the selected thumbnail image is selected in the editing window W1. Specifically, on the editing window W1, the selected stereoscopic image is activated to be editable, and the other stereoscopic images are displayed dark.
[0054]
In the layer window W2, the thumbnail images are automatically rearranged and displayed in the order of the height (shift amount) parameter. In the rearrangement, the height is a default. Instead of the height, parameters such as a pasting position and transparency can be set as parameters for rearrangement.
[0055]
In FIG. 6, a stereoscopic image such as a character image or a logo image is set in the layer window W2 in addition to a plurality of normal stereoscopic images. Characters can be created by opening a new character creation window shown at W3. The logo can be selected by opening a new logo image creation window shown in W4. To paste the logo image selected in the new logo image creation window of W4 on the edit window W1, select "Paste Logo" (not shown) in the edit menu.
[0056]
FIG. 7 illustrates an editing method using the layer window W2. In the layer window W2, buttons for setting various parameters are arranged at positions next to the thumbnail images together with a layer screen for displaying thumbnail images of the respective stereoscopic images. By operating this setting button, a layer setting dialog for parameter editing is displayed in a pop-up on the screen as shown in W5. In this dialog, there is a check box for "Dark outside area". When this check box is checked (checked by default), the entire edit window is darkened, and only the selected image is displayed brightly and conspicuously. Conversely, when this check box is turned off, it is possible to set parameters for the selected image while considering the entire image while stereoscopically viewing the entire image. In the layer setting dialog for parameter editing, a change in the parameter is reflected on an image in real time.
[0057]
The layer setting dialog for parameter editing further includes a check box for "edit lock". When this check box is checked, characters, logos, images, and the like pasted in the edit window can be locked (cannot be edited). In particular, a logo image is usually edited in a locked state, so that it is possible to cope with such a situation.
[0058]
FIG. 8 is a flowchart of a program for realizing the function of the layer window processing unit 442.
[0059]
In ST20, a stereoscopic image (3D image) generated based on the LR image is read from a file storage unit or the like and is set as a base layer image. The left and right positions, inclination, deformation, brightness, and the like are adjusted for this image (ST21). For this adjustment, the function of the LR image determination unit 440 described above is used. Subsequently, an edit window W1 and a layer window W2 are set on the screen, and the image is displayed as a base layer. At this time, it is also possible to read a character image or the like with a clear outline as a base layer image.
[0060]
The base layer image is displayed as a thumbnail image in the layer window W2 according to the default layer display order (ST23). Here, the default is the "height" parameter. As described above, instead of this, the display order can be determined using any other parameter such as transparency, size, and update date.
[0061]
When the paste of the new character image is selected in ST24, a stereoscopic image is automatically created for the input character image by the LR image automatic creation unit 43, and the default value of each parameter is added. The added parameters include parameters such as height and transparency, and parameters for performing file storage in the PNG format assuming that the image is an outline holding image.
[0062]
When the attachment of the new logo is selected in ST25, a stereoscopic image is automatically created by the LR image automatic creation unit 43 for the selected logo image, and a default value of each parameter is added. The added parameters include parameters such as height and transparency, and parameters for performing file storage in the PNG format assuming that the image is an outline holding image. Here, it is assumed that the stereoscopic image of the logo is stored in advance and is selected from these.
[0063]
When the pasting of the new image (LR image) is selected in ST26, the stereoscopic image of the input image is pasted, and the default value of each parameter is added.
In ST27, the thumbnail images of all the images including the images added in ST24 to ST26 are displayed in the layer window W2 in the display order set at that time. When the display order is changed to a parameter other than the height, the display order in the layer window W2 is also changed according to the new parameter. When the number of target stereoscopic images increases or decreases, the thumbnail image display order in the layer window W2 is also updated. Note that the display size of the thumbnail image displayed in the layer window W2 can also be changed.
[0064]
In ST29, when any thumbnail image (pasted part) is selected in the layer window W2, the stereoscopic image in the editing window W1 corresponding to the selected image is activated. At the same time, by operating the setting button beside it, the parameter can be edited in the dialog shown in W5. At this time, if “display outside the area is darkened” is set in the dialogue indicated by W5 in FIG. 7, only the activated image is highlighted (other stereoscopic images are darkened). When a parameter is changed in the W5 dialog, the change is reflected on the image in real time.
[0065]
The above processing is repeated, and when the "Save" in the menu is selected after the pasting operation of all the images is completed (ST32, ST33), the outline-preserving image is compressed and stored in the PNG format, and the outline-maintaining image is stored in the PNG format. The other images are compressed and stored in the JPEG format (ST33). At this time, various parameters (height, transparency, pasting position, etc.) are also stored at the same time.
[0066]
With the above functions, when a plurality of stereoscopic images are displayed on the edit screen, these stereoscopic images are displayed as a layer structure, and each stereoscopic image is selectively displayed on the edit screen for each layer, so that each stereoscopic image is displayed. Editing parameters associated with the visual image is facilitated.
[0067]
【The invention's effect】
According to the stereoscopic image editing apparatus and program of the present invention, the editing efficiency is extremely improved. Specifically, the following effects are obtained.
[0068]
(1) In order to display a moving image in a predetermined area based on a specified coordinate position, the user can easily recognize whether the specified image is an incorrect L image or a correct R image. it can.
[0069]
(2) When viewing a stereoscopic image, the stereoscopic effect is not impaired. In the irreversible compression method such as the JPEG method, the file size can be reduced due to the high compression rate, and the resources of the memory and the storage device can be reduced. Effective utilization and transmission efficiency can be improved.
[0070]
(3) When a plurality of stereoscopic images are displayed on the editing screen, these stereoscopic images are displayed as a layer structure, and each stereoscopic image is selectively displayed on the editing screen for each layer. Editing of the parameters associated with is easy.
[Brief description of the drawings]
FIG. 1 is a functional block diagram of a stereoscopic image editing apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram for describing a function of an LR image determination unit 440.
FIG. 3 shows a flowchart of a program for realizing the function of an LR image determination unit 440.
FIG. 4 is a diagram showing a missing image when a character stereoscopic image is compressed by a lossy compression method.
FIG. 5 is a flowchart of a program for realizing a storage function among functions of the file storage processing unit 41.
FIG. 6 shows windows arranged in a screen.
FIG. 7 is a diagram illustrating an editing method using a layer window W2.
FIG. 8 is a flowchart of a program for realizing the function of the layer window processing unit 442.

Claims (3)

左右にずらした2つ以上の平面画像を編集画面上に表示して立体視画像を生成し、この立体視画像を編集画面上で編集可能にした立体視画像編集装置において、
前記平面画像中の特定の画像だけを画面上で移動可能な移動画像として設定する移動画像設定手段と、
編集画面上でポインティングデバイスにより任意の座標位置が指定されたとき、該位置を基準として所定エリアを形成し、この所定エリア内では、該エリアに存在している前記移動画像だけを表示する画像編集処理手段と、を設けたことを特徴とする立体視画像編集装置。
In a stereoscopic image editing apparatus that generates two-dimensional images by displaying two or more two-dimensional images shifted to the left and right on an edit screen and enables the three-dimensional images to be edited on the edit screen,
Moving image setting means for setting only a specific image in the plane image as a moving image movable on the screen,
When an arbitrary coordinate position is designated by a pointing device on the editing screen, a predetermined area is formed based on the position, and within this predetermined area, an image editing that displays only the moving image existing in the area And a processing unit.
左右にずらした2つ以上の平面画像を編集画面上に表示して立体視画像を生成し、この立体視画像を編集画面上で編集可能にした立体視画像編集プログラムにおいて、
前記平面画像中の特定の画像だけを画面上で移動可能な移動画像として設定する移動画像設定機能と、
編集画面上でポインティングデバイスにより任意の座標位置が指定されたとき、該位置を基準として所定エリアを形成し、この所定エリア内では、該エリアに存在している前記移動画像だけを表示する画像編集処理機能と、をコンピュータに実現させることを特徴とする立体視画像編集プログラム。
In a stereoscopic image editing program that generates two-dimensional images by displaying two or more two-dimensional images shifted to the left and right on an editing screen and enables the three-dimensional images to be edited on the editing screen,
A moving image setting function of setting only a specific image in the plane image as a moving image movable on the screen,
When an arbitrary coordinate position is designated by a pointing device on the editing screen, a predetermined area is formed based on the position, and within this predetermined area, an image editing that displays only the moving image existing in the area A stereoscopic image editing program that causes a computer to realize a processing function.
前記立体視画像は、右画像と左画像の2つの画像により生成され、前記画像編集処理プログラムは、前記移動画像設定機能で移動画像として設定された右画像又は左画像だけを前記所定エリア内で表示するように制御する、請求項2記載の立体視画像プログラム。The stereoscopic image is generated by two images of a right image and a left image, and the image editing processing program stores only the right image or the left image set as the moving image by the moving image setting function in the predetermined area. The stereoscopic image program according to claim 2, wherein the stereoscopic image program is controlled to be displayed.
JP2002353006A 2002-12-04 2002-12-04 Stereoscopic image editing apparatus and stereoscopic image editing program Expired - Fee Related JP4184056B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002353006A JP4184056B2 (en) 2002-12-04 2002-12-04 Stereoscopic image editing apparatus and stereoscopic image editing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002353006A JP4184056B2 (en) 2002-12-04 2002-12-04 Stereoscopic image editing apparatus and stereoscopic image editing program

Publications (2)

Publication Number Publication Date
JP2004187103A true JP2004187103A (en) 2004-07-02
JP4184056B2 JP4184056B2 (en) 2008-11-19

Family

ID=32754439

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002353006A Expired - Fee Related JP4184056B2 (en) 2002-12-04 2002-12-04 Stereoscopic image editing apparatus and stereoscopic image editing program

Country Status (1)

Country Link
JP (1) JP4184056B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITTO20100996A1 (en) * 2010-12-14 2012-06-15 Rai Radiotelevisione Italiana IMPROVED STEREOSCOPIC RECOVERY SYSTEM AND ITS METHOD

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITTO20100996A1 (en) * 2010-12-14 2012-06-15 Rai Radiotelevisione Italiana IMPROVED STEREOSCOPIC RECOVERY SYSTEM AND ITS METHOD
WO2012080961A1 (en) * 2010-12-14 2012-06-21 Rai Radiotelevisione Italiana S.P.A. Improved stereoscopic shooting apparatus, and method thereof

Also Published As

Publication number Publication date
JP4184056B2 (en) 2008-11-19

Similar Documents

Publication Publication Date Title
US8453072B2 (en) Parameter setting superimposed upon an image
KR102187974B1 (en) Information processing apparatus, method, and program for generation of virtual viewpoint images
KR101343220B1 (en) Real-time preview for panoramic images
JP6627861B2 (en) Image processing system, image processing method, and program
US6911975B2 (en) Stereo image display apparatus and method, and storage medium
JP5734964B2 (en) Viewer-centric user interface for stereoscope cinema
EP1296289A1 (en) Animation producing method and device, and recorded medium on which program is recorded
JP2004038746A (en) Image editing method and image editing system
KR20120033246A (en) Image processing apparatus, image processing method, and computer program
US20070146392A1 (en) System and method for magnifying and editing objects
US20130076941A1 (en) Systems And Methods For Editing Digital Photos Using Surrounding Context
EP2159756B1 (en) Point-cloud clip filter
US9280847B2 (en) Image composition apparatus, image retrieval method, and storage medium storing program
CN115486091A (en) System and method for video processing using virtual reality devices
US11758112B2 (en) Information processing apparatus, control method, and storage medium
JP4184056B2 (en) Stereoscopic image editing apparatus and stereoscopic image editing program
JP4184061B2 (en) Stereoscopic image editing apparatus and stereoscopic image editing program
JP2012220840A (en) Image display device and image display method
JP2001209826A (en) Method and device for editing virtual space, computer program storage medium and virtual reality presenting device
CN117114978B (en) Picture cropping and restoring method and device based on iOS and related medium thereof
JP7378960B2 (en) Image processing device, image processing system, image generation method, and program
JP3341575B2 (en) Image synthesis device
JP2023174066A (en) Image processing apparatus, image processing method, and program
CN117768766A (en) Shooting method, video processing method and shooting device
KR20200029120A (en) Method and computer program for photographing picture without background using digital dual-camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080902

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080903

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110912

Year of fee payment: 3

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110912

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140912

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees