JP2011211488A - 画像処理装置および方法並びにプログラム - Google Patents

画像処理装置および方法並びにプログラム Download PDF

Info

Publication number
JP2011211488A
JP2011211488A JP2010077387A JP2010077387A JP2011211488A JP 2011211488 A JP2011211488 A JP 2011211488A JP 2010077387 A JP2010077387 A JP 2010077387A JP 2010077387 A JP2010077387 A JP 2010077387A JP 2011211488 A JP2011211488 A JP 2011211488A
Authority
JP
Japan
Prior art keywords
image
point
face
image processing
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010077387A
Other languages
English (en)
Other versions
JP4787369B1 (ja
Inventor
Masaya Tamaru
雅也 田丸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2010077387A priority Critical patent/JP4787369B1/ja
Priority to US13/052,734 priority patent/US8849012B2/en
Application granted granted Critical
Publication of JP4787369B1 publication Critical patent/JP4787369B1/ja
Publication of JP2011211488A publication Critical patent/JP2011211488A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/334Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spectral multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/337Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using polarisation multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Geometry (AREA)

Abstract

【課題】人物が写っている立体視用画像について適切に立体感を調整できるようにする。
【解決手段】暫定的なクロスポイント位置となる注目点を人物の目に設定するとともに、画像中に占める顔の割合が大きいほどクロスポイント位置を注目点からバックシフトさせて、クロスポイントから手前側に飛び出してくる物体の量が多くなるように立体感を調整する。バックシフト量の算出については、基準画像中に占める顔の割合(FSIZE)が大きいほどバックシフト量BSが大きくなるように設定し、さらに注目点よりも手前に位置する画素の数TSHが多いほど小さい値となる係数kbをバックシフト量BSに乗算する。
【選択図】図7

Description

本発明は、視点が異なる複数の画像に対して立体視表示のための3次元処理を行って、立体視表示用の表示手段に立体視表示される立体視用画像を生成する画像処理装置および方法並びに画像処理方法をコンピュータに実行させるためのプログラムに関するものである。
同一の被写体を異なる位置から撮影することにより取得した複数の画像を組み合わせて立体視用画像を生成し、生成した立体視用画像を立体視表示することにより、視差を利用して立体視できることが知られている。立体視表示の具体的な手法として、複数の画像を並べて配置して立体視表示を行う裸眼平衡法が知られている。また、複数の画像の色を例えば赤と青のように異ならせて重ね合わせたり、複数の画像の偏光方向を異ならせて重ね合わせることにより、複数の画像を合成して立体視用画像を生成することによっても立体視表示を行うことができる。この場合赤青メガネや偏光メガネ等の画像分離メガネを用いて、立体視表示された立体視用画像を融合視することにより、立体視を行うことができる(アナグリフ方式、偏光フィルタ方式)。
また、偏光メガネ等を使用しなくても、パララックスバリア方式およびレンチキュラー方式のように、複数の画像を立体視可能な立体視表示モニタに表示して立体視することも可能である。この場合、複数の画像を垂直方向に短冊状に切り取って交互に配置することにより立体視用画像を生成して、立体視表示が行われる。また、画像分離メガネを使用したり、光学素子を液晶に貼ることで左右の画像の光線方向を変えながら、左右の画像を交互に高速で切り替えて表示することにより、残像効果によって立体視表示を行う方式も提案されている(スキャンバックライト方式)。
このように立体視を行う場合、立体感を適切に調整する必要があるため、立体視表示された立体視用画像の視差量の調整の指示を受け付け、指示された視差量に応じて立体視用画像を生成する手法が提案されている(特許文献1参照)。また、表示された立体視用画像を立体視しながら立体感を調整して立体視用画像を生成する手法も提案されている(特許文献2参照)。また、ゲームにおいて立体感を調整する手法も提案されている(特許文献3参照)。
特開2004−129186号公報 特開平10−90814号公報 特開平9−192349号公報
上記のような立体感の調整は、具体的には視線の交差位置であるクロスポイントを被写体の注目点に合せることで行なわれる。
画像中に人物が映っている場合には、その人物の顔の位置をクロスポイントとして設定することが好ましく、また顔の中でも特に目の位置をクロスポイントとして設定することにより、人物の目が注目点として強調されて非常に好ましい感じの画像を得ることができる。
しかしながら、顔をアップで撮影した場合等、画像中に占める顔の割合が大きい場合に、目の位置にクロスポイントを合せると、例えば鼻や前髪等、目より手前に位置する極一部の被写体のみが手前に飛び出し、残りの被写体は全て奥に引っ込んで立体感の乏しい画像となってしまうという問題がある。
本発明は上記事情に鑑みなされたものであり、人物が写っている立体視用画像について適切に立体感を調整できるようにすることを目的とする。
本発明の画像処理装置は、視点が異なる複数の画像において対応する所定の点をクロスポイントとし、クロスポイント位置の視差が最も小さくなるように複数の画像に対して視差調整を行って立体視用画像を生成する画像処理装置であって、画像中の顔を検出する顔検出手段と、暫定的なクロスポイント位置となる所定の注目点を顔中から検出する注目点検出手段と、画像中に占める顔の割合が大きいほどクロスポイント位置を注目点から後方移動させるクロスポイント位置調整手段とを備えたことを特徴とするものである。
本発明の画像処理装置においては、画像の各画素毎に、複数の画像間の視差量に基づいて奥行き方向の距離を算出する距離算出手段を備え、クロスポイント位置調整手段を、注目点よりも手前に位置する画素の数が多いほど後方移動の量を少なくするように調整する後方移動量調整手段を備えたものとすることが好ましい。
この場合、後方移動量調整手段は、注目点よりも手前に位置する画素の数を判定する際に、画像の中心に近い画素ほど重み付けを高くするもの、もしくは顔の中心に近い画素ほど重み付けを高くするものとすることが好ましい。
また、注目点は、目とすることが好ましく、左右の目のうち奥側に位置する目とすればさらに好ましい。
本発明の画像処理方法は、視点が異なる複数の画像において対応する所定の点をクロスポイントとし、クロスポイント位置の視差が最も小さくなるように複数の画像に対して視差調整を行って立体視用画像を生成する画像処理方法であって、画像中の顔を検出し、暫定的なクロスポイント位置となる所定の注目点を顔中から検出し、画像中に占める顔の割合が大きいほどクロスポイント位置を注目点から後方移動させることを特徴とする方法である。
なお、本発明による画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本発明によれば、人物が写っている立体視用画像について、暫定的なクロスポイント位置となる注目点を例えば目等の顔中の被写体に設定するとともに、画像中に占める顔の割合が大きいほどクロスポイント位置を注目点から後方移動させて、クロスポイントから手前側に飛び出してくる物体の量が多くなるように立体感を調整するようにしたので、立体感に富みつつ視覚疲労や不快感を生じない適切な立体視用画像を得ることができる。
ここで、注目点よりも手前に位置する画素の数が多いほど後方移動の量を少なくするように調整するようにすれば、注目点から手前側に飛び出してくる物体の量が多くなりすぎることがなくなるため、視覚疲労や不快感を生じない適切な立体視用画像を得ることができる。
この場合、注目点よりも手前に位置する画素の数を判定する際に、画像の中心に近い画素ほど重み付けを高くする、もしくは顔の中心に近い画素ほど重み付けを高くすれば、被写体の配置を考慮したより適切な立体視用画像を得ることができる。
また、注目点を目とすれば、人物の目が注目点として強調されて非常に好ましい感じの画像を得ることができる。この場合、左右の目のうち奥側に位置する目とすれば、手前側に飛び出してくる物体がより多くなるので、より立体感に富んだ立体視用画像を得ることができる。
本発明の第1の実施の形態による画像処理装置の外観構成を示す斜視図 第1の実施の形態による画像処理装置の内部構成を示す概略ブロック図 第1の実施の形態において立体感の調整時に行われる処理を示すフローチャート 左右画像間の視差量を説明するための図(その1) 表示画像の一例を示す図(その1) 表示画像の一例を示す図(その2) 顔の大きさに基づいてバックシフト量を調整する場合の説明図 表示画像の一例を示す図(その3) 画素毎に重み付け係数を調整する場合の説明図(その1) 表示画像の一例を示す図(その4) 画素毎に重み付け係数を調整する場合の説明図(その2) 表示画像の一例を示す図(その5) 第2の実施の形態において立体感の調整時に行われる処理を示すフローチャート
以下、図面を参照して本発明の実施の形態について説明する。図1は本発明の第1の実施の形態による画像処理装置の外観構成を示す斜視図、図2は第1の実施の形態による画像処理装置の内部構成を示す概略ブロック図である。
図1に示すように第1の実施の形態による画像処理装置1は、正面に液晶ディスプレイ(LCD)2および操作ボタン3を備える。また、側面にはメモリカード等の記録メディア4を挿入するスロット5を備える。そして、第1の実施の形態による画像処理装置1は、記録メディア4に記録された、互いに異なる位置において撮影を行うことにより取得した複数の画像から生成された立体視用画像を、LCD2に立体視表示するものである。なお、本実施の形態においては、2つの画像GL、GRを用いて立体視表示を行うものとして説明する。また、画像GLは立体視表示する際の左目用の画像、画像GRは右目用の画像とする。
操作ボタン3は、上ボタン3U、下ボタン3D、左ボタン3L、右ボタン3Rおよび中央ボタン3Cを備える。
図2に示すように、画像処理装置1は、記録制御部21、圧縮/伸長処理部22、フレームメモリ23、内部メモリ24、画像処理部25、表示制御部26およびCPU27を備える。
記録制御部21は、スロット5に挿入された記録メディア4に対する情報の記録および読み出しの制御を行う。
圧縮/伸長処理部22は、記録メディア4から読み出した立体視表示を行うための2つの画像GL,GRの圧縮および解凍の処理を行う。画像GL、GRの画像ファイルには、Exifフォーマット等に基づいて、後述する立体感調整値および撮影日時等の付帯情報が格納されたタグが付与される。
フレームメモリ23は、画像GL、GRを表す画像データに対して、後述する3次元処理を含む各種処理を行う際に使用する作業用メモリである。
内部メモリ24は、画像処理装置1において設定される各種定数、およびCPU27が実行するプログラム等を記憶する。
画像処理部25は、画像GL、GRをLCD2に立体視表示させるために、画像GL、GRに3次元処理を行って立体視用画像を生成する。ここで、本実施の形態における立体視表示の方式としては、公知の任意の方式を用いることができる。例えば、画像GL、GRを並べて表示して裸眼平衡法により立体視を行う方式、またはLCD2にレンチキュラーレンズを貼り付け、LCD2の表示面の所定位置に画像GL、GRを表示することにより、左右の目に画像GL、GRをそれぞれ入射させて立体視表示を実現するレンチキュラー方式を用いることができる。また、LCD2に左右の目への光路を変更するバリアを貼り付け、LCD2の表示面の所定位置に画像GL、GRを表示することにより、左右の目に画像GL、GRをそれぞれ入射させて立体視表示を実現するパララックスバリア方式を用いることができる。
また、画像GL、GRの色を例えば赤と青のように異ならせて重ね合わせたり、画像GL、GRの偏光方向を異ならせて重ね合わせることにより、画像GL、GRを合成して立体視表示を実現する方式(アナグリフ方式、偏光フィルタ方式)を用いることができる。さらに、LCD2のバックライトの光路を光学的に左右の目に対応するように交互に分離し、LCD2の表示面に画像GL、GRをバックライトの左右への分離にあわせて交互に表示することにより、立体視表示を実現するスキャンバックライト方式を用いることができる。
なお、LCD2は画像処理部25が行う3次元処理の方式に応じた加工がなされている。例えば、立体視表示の方式がレンチキュラー方式の場合には、LCD2の表示面にレンチキュラーレンズが取り付けられており、パララックスバリア方式の場合には、LCD2の表面にバリアが取り付けられている。また、スキャンバックライト方式の場合には、左右の画像の光線方向を変えるための光学素子がLCD2の表示面に取り付けられている。
また、画像処理部25は、複数の画像間の視差量に基づいて各画素毎に奥行き方向の距離を算出する距離算出手段、画像中の顔を検出する顔検出手段、暫定的なクロスポイント位置となる所定の注目点を顔中から検出する注目点検出手段、画像中に占める顔の割合が大きいほどクロスポイント位置を注目点から後方移動させるクロスポイント位置調整手段、およびクロスポイント位置の視差が最も小さくなるように複数の画像に対して3次元処理を行って立体視用画像を生成する3次元処理手段としての機能を有する他、必要に応じて画像GL、GRに対してホワイトバランスを調整する処理、階調補正、シャープネス補正、および色補正等の画像処理を施すことも可能である。
表示制御部26は、3次元処理により取得される立体視用画像を立体視表示したり、画像GL、GRを2次元表示したりする。
CPU27は、操作ボタン3からの指示に応じて画像処理装置1の各部を制御する。
データバス28は、画像処理装置1を構成する各部およびCPU27に接続されており、画像処理装置1における各種データおよび各種情報のやり取りを行う。
次に、第1の実施の形態において行われる処理について説明する。図3は第1の実施の形態において立体感の調整時に行われる処理を示すフローチャート、図4は左右画像間の視差量を説明するための図(その1)、図5は表示画像の一例を示す図(その1)、図6は表示画像の一例を示す図(その2)、図7は顔の大きさに基づいてバックシフト量を調整する場合の説明図である。
第1の実施の形態による画像処理装置1は、人物が写っている立体視用画像について、人物の目を注目点として、この目の位置を基準にクロスポイントの位置を調整するようにしたものである。なお、ここでは立体視表示の方式としてレンチキュラー方式を採用した場合について説明する。
立体視用画像を生成するための2つの画像GL、GRは、同一の被写体を異なる位置において撮影することにより取得されたものであるため、画像GL、GRを重ねた場合、画像GL、GRに含まれる被写体はあらかじめ定められた視差量を持っており、まず、図4に示すように、画像GL、GRに基づいて視差マップPMの作成を行なう(ステップS1)。この視差マップPMは、画像GL、GRのうちの一方を基準として、各画素毎の視差量を輝度で示したものである。本実施の形態では、左画像GLを基準画像とし、視差量が大きいほど高輝度で表示しているが、この態様に限定されるものではない。
次いで、図5に示すように、基準画像とした左画像GL中において顔の位置および大きさの検出を行ない(ステップS2)、検出した顔中において暫定的なクロスポイント位置となる目(注目点)の検出を行なう(ステップS3)。なお、画像中の顔や目の検出方法についてはどのような方法を用いてもよい。
次いで、視差マップPMに基づいて画像中の目の視差の算出を行なう(ステップS4)。なお、目の視差を判定する位置については、両目のうちのいずれか一方の目の中心、両目の中心同士を結ぶ線の中心位置等、どの位置を基準としてもよい。
次いで、視差マップPMに基づいて画像中の注目点よりも手前に位置する画素の数TSHの算出を行なう(ステップS5)。これは、人物の顔がアップで撮影された画像等、顔の割合が大きい画像の場合であっても、図6(a)に示すように、画像中の注目点(本実施の形態では人物の目)よりも手前に主要な被写体が無い場合に比べ、図6(b)に示すように、画像中の注目点(本実施の形態では人物の目)よりも手前に主要な被写体(図中のピース表示の手首)が有る場合、すなわちクロスポイントとなる注目点よりも手前に位置する画素の数TSHが多い場合には、人物の目(注目点)をクロスポイントの位置としても十分な立体感を得ることができるため、クロスポイントの位置を目(注目点)からあまり後方に移動させないようにするためである。
ここで、注目点よりも手前に位置する画素の数TSHを判定する際に、画素の位置毎に重み付けを変化させるようにしてもよい。以下、そのような態様について説明する。
例えば、画像の中心に近い画素ほど重み付けを高くするようにしてもよい。図8は表示画像の一例を示す図(その3)、図9は画素毎に重み付け係数を調整する場合の説明図(その1)である。
注目点よりも手前に位置する被写体は、図8(a)に示すように画像中心付近に写っている場合(図中のピース表示の手首)や、図8(b)に示すように画像端部付近に写っている場合(図中の葉)が考えられるが、図9に示すように画像の中心に近い画素ほど重み付け係数kcが高くなるように設定し、各画素毎に係数kcを乗算して画素数を累積することによりTSHを算出するようにすれば、被写体の配置を考慮したより適切な立体視用画像を得ることができる。
また、顔の中心に近い画素ほど重み付けを高くするようにしてもよい。図10は表示画像の一例を示す図(その4)、図11は画素毎に重み付け係数を調整する場合の説明図(その2)である。
注目点よりも手前に位置する被写体は、図10(a)に示すように顔中心付近に写っている場合(図中のピース表示の手首)や、図10(b)に示すように顔中心から離れた位置に写っている場合(図中の葉)が考えられるが、図11に示すように顔の中心に近い画素ほど重み付け係数kc´が高くなるように設定し、各画素毎に係数kc´を乗算して画素数を累積することによりTSHを算出するようにすれば、人物の顔が画像端部にあるような場合でも、被写体の配置を考慮したより適切な立体視用画像を得ることができる。
次いで、図5に示すように、基準画像とした左画像GL中に占める顔の割合に基づいて、クロスポイント位置を目(注目点)から後方に移動させる量(バックシフト量)の算出を行なう(ステップS6)。
このバックシフト量の算出については、図7(a)に示すように、基準画像とした左画像GL中に占める顔の割合(FSIZE)が大きいほどバックシフト量BSが大きくなるように設定すればよい。さらに、図7(b)に示すように、注目点よりも手前に位置する画素の数TSHが多いほど小さい値となる係数kbをバックシフト量BSに乗算する。
次いで、上記で決定したバックシフト量BSの分だけ、クロスポイント位置を目(注目点)から後方に移動させて3次元処理を行う(ステップS7)。
本実施の形態では立体視表示の方式としてレンチキュラー方式を採用しているため、3次元処理として2つの画像GL、GRの視差調整を行なう。
この処理の具体的な内容としては、目の位置の視差量をEP、バックシフト量をBS、バックシフト量に乗算する係数をkbとすると、最終的な画像移動量CPPは下記(1)式により求められ、ここで求められたCPP分だけ、LCD2上での右画像GRの表示位置を左方向に移動させればよい。
CPP=EP+BS×kb (1)
なお、立体視表示の方式としてレンチキュラー方式以外の方式を採用した場合には、主要被写体がクロスポイントとなるように、各方式に合せて適宜処理を変更すればよい。
最後に、上記の様にして生成した立体視用画像をLCD2上に表示して処理を終了する。
上記の構成とすることにより、人物の顔がアップで撮影された画像等、顔の割合が大きい画像の場合でも、立体感に富みつつ視覚疲労や不快感を生じない適切な立体視用画像を得ることができる。
次いで、本発明の第2の実施の形態について説明する。なお、第2の実施の形態による画像処理装置は、第1の実施の形態による画像処理装置と同一の構成を有し、行われる処理のみが異なるため、ここでは構成についての詳細な説明は省略する。図12は表示画像の一例を示す図(その5)、図13は第2の実施の形態において立体感の調整時に行われる処理を示すフローチャートである。
第2の実施の形態による画像処理装置1は、図12に示すように、人物の顔が傾いて写っている立体視用画像について、人物の左右の目のうち奥側に位置する目を注目点として、この目の位置を基準にクロスポイントの位置を調整するようにしたものである。なお、ここでは立体視表示の方式としてレンチキュラー方式を採用した場合について説明する。
立体視用画像を生成するための2つの画像GL、GRは、同一の被写体を異なる位置において撮影することにより取得されたものであるため、画像GL、GRを重ねた場合、画像GL、GRに含まれる被写体はあらかじめ定められた視差量を持っており、まず、図4に示すように、画像GL、GRに基づいて視差マップPMの作成を行なう(ステップS11)。この視差マップPMは、画像GL、GRのうちの一方を基準として、各画素毎の視差量を輝度で示したものである。本実施の形態では、左画像GLを基準画像とし、視差量が大きいほど高輝度で表示しているが、この態様に限定されるものではない。
次いで、基準画像とした左画像GL中において顔の位置および大きさの検出を行ない(ステップS12)、検出した顔中において暫定的なクロスポイント位置となる目(注目点)の検出を行なう(ステップS13)。なお、画像中の顔や目の検出方法についてはどのような方法を用いてもよい。
次いで、視差マップPMに基づいて画像中の目の視差の算出を行なって(ステップS14)、奥側に位置する目の特定を行ない、特定した方の目を注目点として設定する(ステップS15)。
次いで、視差マップPMに基づいて画像中の注目点よりも手前に位置する画素の数TSHの算出を行なう(ステップS16)。ここでは、第1の実施の形態と同様に、注目点よりも手前に位置する画素の数TSHを判定する際に、画素の位置毎に重み付けを変化させるようにしてもよい。
次いで、基準画像とした左画像GL中に占める顔の割合に基づいて、クロスポイント位置を目(注目点)から後方に移動させる量(バックシフト量)の算出を行なう(ステップS16)。
このバックシフト量の算出については、図7(a)に示すように、基準画像とした左画像GL中に占める顔の割合(FSIZE)が大きいほどバックシフト量BSが大きくなるように設定すればよい。さらに、図7(b)に示すように、注目点よりも手前に位置する画素の数TSHが多いほど小さい値となる係数kbをバックシフト量BSに乗算する。
次いで、上記で決定したバックシフト量BSの分だけ、クロスポイント位置を目(注目点)から後方に移動させて3次元処理を行う(ステップS18)。
本実施の形態では立体視表示の方式としてレンチキュラー方式を採用しているため、3次元処理の具体的な内容としては、目の位置の視差量をEP、バックシフト量をBS、バックシフト量に乗算する係数をkbとすると、最終的な画像移動量CPPは下記(1)式により求められ、ここで求められたCPP分だけ、LCD2上での右画像GRの表示位置を左方向に移動させればよい。
CPP=EP+BS×kb (1)
なお、立体視表示の方式としてレンチキュラー方式以外の方式を採用した場合には、主要被写体がクロスポイントとなるように、各方式に合せて適宜処理を変更すればよい。
最後に、上記の様にして生成した立体視用画像をLCD2上に表示して処理を終了する。
このように、左右の目のうち奥側に位置する目を注目点とするようにすれば、手前側に飛び出してくる物体がより多くなるので、より立体感に富んだ立体視用画像を得ることができる。
なお、上記第1および第2の実施の形態による画像処理装置1を、複数の撮影部を備えた複眼撮影装置に適用してもよい。この場合、撮影により取得した複数の画像を直ちに表示して、立体感の調整を行って記録メディア4に記録することが可能となる。
以上、本発明の実施の形態に係る装置10について説明したが、コンピュータを、画像処理部25、記録制御部21および表示制御部26に対応する手段として機能させ、図3および図13に示すような処理を行わせるプログラムも、本発明の実施の形態の1つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施の形態の1つである。
1 画像処理装置
2 LCD
3 操作ボタン
4 記録メディア
5 スロット
21 記録制御部
25 画像処理部
26 表示制御部

Claims (8)

  1. 視点が異なる複数の画像において対応する所定の点をクロスポイントとし、該クロスポイント位置の視差が最も小さくなるように前記複数の画像に対して視差調整を行って立体視用画像を生成する画像処理装置であって、
    前記画像中の顔を検出する顔検出手段と、
    暫定的なクロスポイント位置となる所定の注目点を前記顔中から検出する注目点検出手段と、
    前記画像中に占める前記顔の割合が大きいほどクロスポイント位置を前記注目点から後方移動させるクロスポイント位置調整手段とを備えたことを特徴とする画像処理装置。
  2. 前記画像の各画素毎に、前記複数の画像間の視差量に基づいて奥行き方向の距離を算出する距離算出手段を備え、
    前記クロスポイント位置調整手段が、前記注目点よりも手前に位置する画素の数が多いほど前記後方移動の量を少なくするように調整する後方移動量調整手段を備えたものであることを特徴とする請求項1記載の画像処理装置。
  3. 前記後方移動量調整手段が、前記注目点よりも手前に位置する画素の数を判定する際に、前記画像の中心に近い画素ほど重み付けを高くするものであることを特徴とする請求項2記載の画像処理装置。
  4. 前記後方移動量調整手段が、前記注目点よりも手前に位置する画素の数を判定する際に、前記顔の中心に近い画素ほど重み付けを高くするものであることを特徴とする請求項2記載の画像処理装置。
  5. 前記注目点が、目であることを特徴とする請求項1から4のいずれか1項記載の画像処理装置。
  6. 前記注目点が、左右の目のうち奥側に位置する目であることを特徴とする請求項5記載の画像処理装置。
  7. 視点が異なる複数の画像において対応する所定の点をクロスポイントとし、該クロスポイント位置の視差が最も小さくなるように前記複数の画像に対して視差調整を行って立体視用画像を生成する画像処理方法であって、
    前記画像中の顔を検出し、
    暫定的なクロスポイント位置となる所定の注目点を前記顔中から検出し、
    前記画像中に占める前記顔の割合が大きいほどクロスポイント位置を前記注目点から後方移動させることを特徴とする画像処理方法。
  8. 請求項7に記載の画像処理方法をコンピュータに実行させるためのプログラム。
JP2010077387A 2010-03-30 2010-03-30 画像処理装置および方法並びにプログラム Expired - Fee Related JP4787369B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010077387A JP4787369B1 (ja) 2010-03-30 2010-03-30 画像処理装置および方法並びにプログラム
US13/052,734 US8849012B2 (en) 2010-03-30 2011-03-21 Image processing apparatus and method and computer readable medium having a program for processing stereoscopic image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010077387A JP4787369B1 (ja) 2010-03-30 2010-03-30 画像処理装置および方法並びにプログラム

Publications (2)

Publication Number Publication Date
JP4787369B1 JP4787369B1 (ja) 2011-10-05
JP2011211488A true JP2011211488A (ja) 2011-10-20

Family

ID=44709722

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010077387A Expired - Fee Related JP4787369B1 (ja) 2010-03-30 2010-03-30 画像処理装置および方法並びにプログラム

Country Status (2)

Country Link
US (1) US8849012B2 (ja)
JP (1) JP4787369B1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9786253B2 (en) * 2012-01-25 2017-10-10 Lumenco, Llc Conversion of a digital stereo image into multiple views with parallax for 3D viewing without glasses
KR20140016735A (ko) * 2012-07-31 2014-02-10 삼성전자주식회사 3d 영상 변환 방법 및 이를 적용한 디스플레이 장치
KR101538659B1 (ko) * 2012-11-20 2015-07-22 삼성메디슨 주식회사 영상 출력 장치, 방법 이를 이용하는 영상 제공 시스템, 영상 제공 방법 및 기록 매체
US9746376B2 (en) * 2013-11-12 2017-08-29 EO Vista, LLC Apparatus and methods for hyperspectral imaging with parallax measurement
US10078228B2 (en) 2016-09-29 2018-09-18 Jeremy Paul Willden Three-dimensional imaging system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09192349A (ja) * 1996-01-19 1997-07-29 Taito Corp 立体視を体験できるゲーム機の視差調節装置
JPH1090814A (ja) * 1996-09-11 1998-04-10 Canon Inc 複眼カメラ及び画像処理方法
JP2004129186A (ja) * 2002-07-31 2004-04-22 Sharp Corp 立体画像データ処理装置ならびに立体画像データ処理用プログラムおよび記録媒体
JP2009129420A (ja) * 2007-11-28 2009-06-11 Fujifilm Corp 画像処理装置および方法並びにプログラム

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19606694C2 (de) * 1995-02-22 2002-12-12 Asahi Optical Co Ltd Entfernungsmeßvorrichtung
EP0817123B1 (en) * 1996-06-27 2001-09-12 Kabushiki Kaisha Toshiba Stereoscopic display system and method
EP0830034B1 (en) * 1996-09-11 2005-05-11 Canon Kabushiki Kaisha Image processing for three dimensional display of image data on the display of an image sensing apparatus
US5937212A (en) * 1996-11-15 1999-08-10 Canon Kabushiki Kaisha Image pickup apparatus
JP3261115B2 (ja) * 1999-09-22 2002-02-25 富士重工業株式会社 ステレオ画像処理装置
US8369607B2 (en) * 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
WO2004084560A1 (ja) * 2003-03-20 2004-09-30 Seijiro Tomita 立体映像撮影表示システム
US20120182403A1 (en) * 2004-09-30 2012-07-19 Eric Belk Lange Stereoscopic imaging
US7469074B2 (en) * 2004-11-17 2008-12-23 Lexmark International, Inc. Method for producing a composite image by processing source images to align reference points
CN101479765B (zh) * 2006-06-23 2012-05-23 图象公司 对2d电影进行转换用于立体3d显示的方法和系统
JP4444936B2 (ja) * 2006-09-19 2010-03-31 富士フイルム株式会社 撮影装置および方法並びにプログラム
JP4518131B2 (ja) * 2007-10-05 2010-08-04 富士フイルム株式会社 撮像方法及び装置
JP4625067B2 (ja) * 2007-11-20 2011-02-02 富士フイルム株式会社 撮像装置および方法並びにプログラム
JP4625515B2 (ja) * 2008-09-24 2011-02-02 富士フイルム株式会社 3次元撮影装置および方法並びにプログラム
WO2010058546A1 (ja) * 2008-11-18 2010-05-27 パナソニック株式会社 立体視再生を行う再生装置、再生方法、プログラム
JP5266126B2 (ja) * 2009-03-31 2013-08-21 富士フイルム株式会社 画像表示装置および方法並びにプログラム
JP5652391B2 (ja) * 2009-05-07 2015-01-14 コニカミノルタ株式会社 ステレオ画像取得装置
JP5430266B2 (ja) * 2009-07-21 2014-02-26 富士フイルム株式会社 画像表示装置および方法並びにプログラム
JP5425554B2 (ja) * 2009-07-27 2014-02-26 富士フイルム株式会社 立体撮像装置及び立体撮像方法
JP2011060216A (ja) * 2009-09-14 2011-03-24 Fujifilm Corp 画像処理装置および画像処理方法
JP2011064894A (ja) * 2009-09-16 2011-03-31 Fujifilm Corp 立体画像表示装置
JP5346266B2 (ja) * 2009-09-30 2013-11-20 富士フイルム株式会社 画像処理装置、カメラ及び画像処理方法
JP2013057697A (ja) * 2010-01-13 2013-03-28 Panasonic Corp 立体映像表示装置
US20110228051A1 (en) * 2010-03-17 2011-09-22 Goksel Dedeoglu Stereoscopic Viewing Comfort Through Gaze Estimation
US9256116B2 (en) * 2010-03-29 2016-02-09 Fujifilm Corporation Stereoscopic imaging device, image reproducing device, and editing software
JP5467993B2 (ja) * 2010-03-30 2014-04-09 富士フイルム株式会社 画像処理装置、複眼デジタルカメラ、及びプログラム
JP4875762B2 (ja) * 2010-05-26 2012-02-15 シャープ株式会社 画像処理装置、画像表示装置および画像撮像装置
WO2011152167A1 (ja) * 2010-05-31 2011-12-08 富士フイルム株式会社 立体画像制御装置ならびにその動作制御方法およびその動作制御プログラム
CN102656892B (zh) * 2010-06-17 2015-03-25 富士胶片株式会社 立体图像显示控制设备及其操作控制方法
JP5494283B2 (ja) * 2010-06-24 2014-05-14 ソニー株式会社 立体表示装置及び立体表示装置の制御方法
US8692870B2 (en) * 2010-06-28 2014-04-08 Microsoft Corporation Adaptive adjustment of depth cues in a stereo telepresence system
CN102972031A (zh) * 2010-06-30 2013-03-13 富士胶片株式会社 图像处理设备、图像处理方法和图像处理程序
CN102972032A (zh) * 2010-06-30 2013-03-13 富士胶片株式会社 三维图像显示装置、三维图像显示方法、三维图像显示程序及记录介质
US20120008856A1 (en) * 2010-07-08 2012-01-12 Gregory Robert Hewes Automatic Convergence Based on Face Detection for Stereoscopic Imaging
JP5059922B2 (ja) * 2010-09-15 2012-10-31 シャープ株式会社 立体画像生成装置、立体画像表示装置、立体画像調整方法、立体画像調整方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体
JP4956658B2 (ja) * 2010-10-12 2012-06-20 シャープ株式会社 立体映像変換装置及び立体映像表示装置
JP5678643B2 (ja) * 2010-12-21 2015-03-04 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
EP2574065B1 (en) * 2011-01-26 2016-09-07 FUJIFILM Corporation Image processing device, image-capturing device, reproduction device, and image processing method
TWI496452B (zh) * 2011-07-29 2015-08-11 Wistron Corp 立體影像系統、立體影像產生方法、立體影像調整裝置及其方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09192349A (ja) * 1996-01-19 1997-07-29 Taito Corp 立体視を体験できるゲーム機の視差調節装置
JPH1090814A (ja) * 1996-09-11 1998-04-10 Canon Inc 複眼カメラ及び画像処理方法
JP2004129186A (ja) * 2002-07-31 2004-04-22 Sharp Corp 立体画像データ処理装置ならびに立体画像データ処理用プログラムおよび記録媒体
JP2009129420A (ja) * 2007-11-28 2009-06-11 Fujifilm Corp 画像処理装置および方法並びにプログラム

Also Published As

Publication number Publication date
US20110243384A1 (en) 2011-10-06
JP4787369B1 (ja) 2011-10-05
US8849012B2 (en) 2014-09-30

Similar Documents

Publication Publication Date Title
JP4787905B1 (ja) 画像処理装置および方法並びにプログラム
US8208008B2 (en) Apparatus, method, and program for displaying stereoscopic images
US7440004B2 (en) 3-D imaging arrangements
JP5679978B2 (ja) 立体視用画像位置合わせ装置、立体視用画像位置合わせ方法、及びそのプログラム
JP5266126B2 (ja) 画像表示装置および方法並びにプログラム
WO2010084724A1 (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
WO2010084716A1 (ja) 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
JP2011024151A (ja) 画像表示装置および方法並びにプログラム
TWI357987B (en) A three-dimension image display device and a displ
JP5420075B2 (ja) 立体画像再生装置、その視差調整方法、視差調整プログラム、及び撮影装置
US9495795B2 (en) Image recording device, three-dimensional image reproducing device, image recording method, and three-dimensional image reproducing method
US8648953B2 (en) Image display apparatus and method, as well as program
JP2011176800A (ja) 画像処理装置、立体表示装置及び画像処理方法
JP4787369B1 (ja) 画像処理装置および方法並びにプログラム
JP5396877B2 (ja) 画像処理装置、プログラム、画像処理方法、および記録方法
US8400493B2 (en) Virtual stereoscopic camera
JP2011211754A (ja) 画像処理装置および方法並びにプログラム
JP2006267767A (ja) 画像表示装置
JP2011176822A (ja) 画像処理装置、立体表示装置及び画像処理方法
WO2012001958A1 (ja) 画像処理装置および方法並びにプログラム
JP4819195B2 (ja) 画像表示装置および方法並びにプログラム
JP5894249B2 (ja) 表示制御装置および方法並びにプログラム
JP4819196B2 (ja) 複眼撮影装置および方法並びにプログラム
JP4819194B2 (ja) 複眼撮影装置および方法並びにプログラム
JP5659285B2 (ja) 表示制御装置および方法並びにプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110621

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110714

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140722

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees