JP2014225797A - 情報処理装置、電子機器、サーバ、情報処理プログラム、および情報処理方法 - Google Patents

情報処理装置、電子機器、サーバ、情報処理プログラム、および情報処理方法 Download PDF

Info

Publication number
JP2014225797A
JP2014225797A JP2013104384A JP2013104384A JP2014225797A JP 2014225797 A JP2014225797 A JP 2014225797A JP 2013104384 A JP2013104384 A JP 2013104384A JP 2013104384 A JP2013104384 A JP 2013104384A JP 2014225797 A JP2014225797 A JP 2014225797A
Authority
JP
Japan
Prior art keywords
image
depth
subject
information processing
display screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013104384A
Other languages
English (en)
Other versions
JP6244655B2 (ja
Inventor
功久 井藤
Norihisa Ito
功久 井藤
宮本　敦史
Atsushi Miyamoto
敦史 宮本
健吾 早坂
Kengo Hayasaka
健吾 早坂
浩典 森
Hironori Mori
浩典 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2013104384A priority Critical patent/JP6244655B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to PCT/JP2014/002404 priority patent/WO2014185028A1/en
Priority to US14/889,283 priority patent/US9749519B2/en
Priority to CN201910864341.6A priority patent/CN110519519A/zh
Priority to CN201910344694.3A priority patent/CN110099214A/zh
Priority to CN201480026280.1A priority patent/CN105210018A/zh
Publication of JP2014225797A publication Critical patent/JP2014225797A/ja
Priority to US15/633,928 priority patent/US10070045B2/en
Application granted granted Critical
Publication of JP6244655B2 publication Critical patent/JP6244655B2/ja
Priority to US16/052,911 priority patent/US10686981B2/en
Priority to US16/863,358 priority patent/US10924658B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Television Signal Processing For Recording (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

【課題】使いやすいＵＩを備えた情報処理装置、電子機器や、それらを用いるためのサーバ、情報処理プログラム、および情報処理方法を提供する。【解決手段】撮像装置により撮像された被写体の第１の像を表示画面に表示させ、前記表示画面に表示された第１の像においてユーザにより選択された第１の位置と、この第１の位置と異なる第２の位置を各々受け付け、前記第１の位置および前記第２の位置の少なくとも一方を基に焦点を合わせるべき被写体の位置を算出し、前記第１の位置と前記第２の位置との距離に対応した被写界深度を算出し、前記算出された被写体の位置に焦点を合わせ、かつ前記算出された被写界深度を有する第２の像を前記表示画面に表示させる制御部を具備する。【選択図】図６

Description

本技術は、ユーザ・インタフェース（ＵＩ）を用いて画像をリフォーカスする際のパラメータを指定できる情報処理装置、電子機器や、それらを用いるためのサーバ、情報処理プログラム、および情報処理方法に関する。
撮像装置において、対物レンズと撮像素子の間のライト・フィールドを記録することにより、画像を撮像した後で、自由に合焦位置を変えて画像を現像し直す（リフォーカスする）ことが出来る撮像技術が公開されている。（例えば、特許文献１参照。）
また、リフォーカスする際に必要なパラメータである、合焦位置と被写界深度を指定するためのＵＩとして、合焦させたい被写体に画面上でタッチして合焦位置を指定し、タッチ時間の長さで被写界深度を指定するものがある。（例えば、特許文献２参照。）
特許４９００７２３号公報 特開２０１２−９５１８６号公報（第３実施例）
しかし、被写界深度を指定するために、タッチ時間の長さを用いると、時間は経過するに従って増加するのみの量であるため、被写界深度を初期値から増加させる方向のみ、または減少させる方向のみの指定しか行えなかった。
また、従来のＵＩは、その他様々な問題点を持っており、使いやすいとは言えなかった。
以上のような事情に鑑み、本技術の目的は、使いやすいＵＩを備えた情報処理装置、電子機器や、それらを用いるためのサーバ、情報処理プログラム、および情報処理方法を提供することにある。
上記目的を達成するため、本技術の一形態に係る情報処理装置は、撮像装置により撮像された被写体の第１の像を表示画面に表示させ、前記表示画面に表示された第１の像においてユーザにより選択された第１の位置と、この第１の位置と異なる第２の位置を各々受け付け、前記第１の位置および前記第２の位置の少なくとも一方を基に焦点を合わせるべき被写体の位置を算出し、前記第１の位置と前記第２の位置との距離に対応した被写界深度を算出し、前記算出された被写体の位置に焦点を合わせ、かつ前記算出された被写界深度を有する第２の像を前記表示画面に表示させる制御部を具備する。
本技術では、第１の位置と第２の位置との距離により、被写界深度を指定できるので、使いやすいＵＩとすることが出来る。
上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記制御部は、前記算出された被写界深度に対応するサイズを有する図形を前記表示画面に表示させる構成でもよい。
上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記制御部は、前記図形として、前記第１の位置を中心とし、前記第１の位置と前記第２の位置との前記距離を半径とした円を表示する構成でもよい。
上記目的を達成するため、本技術の一形態に係る情報処理装置は、前記第１の像および前記第２の像を、撮像レンズと受光光線に基づいて撮像データを取得する撮像素子との間に、前記撮像素子の複数画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイを有する撮像光学系により光線の進行方向を保持した状態で取得された撮像データに基づいて生成する画像処理部を更に具備する構成でもよい。
上記目的を達成するため、本技術の一形態に係る情報処理装置は、前記画像処理部は、前記制御部により受け付けられた前記第１の位置に応じて、前記撮像レンズからリフォーカス面までの距離情報を算出する距離情報算出部と、前記被写界深度と前記距離情報算出部により算出された距離情報に基づいてリフォーカス係数を設定するリフォーカス係数設定部と、前記リフォーカス係数設定部により設定されたリフォーカス係数に基づいて前記撮像データの並べ替えを行うことにより任意の焦点における画像を生成する並べ替え処理部とを有する構成でもよい。
上記目的を達成するため、本技術の一形態に係る情報処理装置では、前記制御部は、前記図形として、前記第１の位置と前記第２の位置を結ぶ線分を直径とした円を表示する構成でもよい。
上記目的を達成するため、本技術の一形態に係る電子機器は、撮像装置により撮像された被写体の第１の像を表示画面に表示させ、前記表示画面に表示された第１の像においてユーザにより選択された第１の位置と、この第１の位置と異なる第２の位置を各々受け付け、前記第１の位置および前記第２の位置の少なくとも一方を基に焦点を合わせるべき被写体の位置を算出し、前記第１の位置と前記第２の位置との距離に対応した被写界深度を算出し、前記算出された被写体の位置に焦点を合わせ、かつ前記算出された被写界深度を有する第２の像を前記表示画面に表示させる制御部と、前記表示画面を有する表示部と、前記第１の位置と前記第２の位置を検知可能な位置検知部とを具備する。
上記目的を達成するため、本技術の一形態に係るサーバは、撮像装置により撮像された被写体の第１の像を端末装置に送信し、前記第１の像が表示された前記端末装置においてユーザにより選択された第１の位置と、この第１の位置と異なる第２の位置を前記端末装置から受信し、前記第１の位置および前記第２の位置の少なくとも一方を基に焦点を合わせるべき被写体の位置を算出し、前記第１の位置と前記第２の位置との距離に対応した被写界深度を算出し、前記算出された被写体の位置に焦点を合わせ、かつ前記算出された被写界深度を有する第２の像を前記端末装置に送信する制御部を具備する。
上記目的を達成するため、本技術の一形態に係る情報処理プログラムは、撮像装置により撮像された被写体の第１の像を表示画面に表示させ、前記表示画面に表示された第１の像においてユーザにより選択された第１の位置と、この第１の位置と異なる第２の位置を各々受け付け、前記第１の位置および前記第２の位置の少なくとも一方を基に焦点を合わせるべき被写体の位置を算出し、前記第１の位置と前記第２の位置との距離に対応した被写界深度を算出し、前記算出された被写体の位置に焦点を合わせ、かつ前記算出された被写界深度を有する第２の像を前記表示画面に表示させる制御部としてコンピュータを機能させる。
上記目的を達成するため、本技術の一形態に係る情報処理方法では、撮像装置により撮像された被写体の第１の像を表示画面に表示させ、前記表示画面に表示された第１の像においてユーザにより選択された第１の位置と、この第１の位置と異なる第２の位置を制御部にて各々受け付け、前記第１の位置および前記第２の位置の少なくとも一方を基に焦点を合わせるべき被写体の位置を制御部により算出し、前記第１の位置と前記第２の位置との距離に対応した被写界深度を制御部により算出し、前記算出された被写体の位置に焦点を合わせ、かつ前記算出された被写界深度を有する第２の像を前記表示画面に表示させる。
以上のように、本技術によれば、使いやすいＵＩを備えることが出来る。
本技術に係る撮像装置の構成を示す図である。 画像処理部１４の全体構成を表す機能ブロック図である。 撮像装置１を搭載したタッチパネル式の表示装置２の全体構成を表す機能ブロック図である。 ユーザが、画像ＩＭＧ０の表示されているタッチパネル１５０上で、被写体ＳＵＢ１にタッチし、画像ＩＭＧ１が表示された様子を示す図である。 タッチパネル１５０上でユーザがタッチした座標位置に基づき、距離ｄを求めるためのデプスマップＤＭの例を示す図である。 ユーザが、被写体ＳＵＢ２上を人差し指によりタッチして表示されているサークルＣＩＲ０を、次に親指によりタッチしたままドラッグし、より半径の大きいサークルＣＩＲ１まで広げた様子を示す図である。 ユーザが、被写体ＳＵＢ２上を人差し指によりタッチして表示されたサークルＣＩＲ０を、親指によるドラッグにより、更に半径の大きいサークルＣＩＲ２まで広げた様子を示す図である。 リフォーカス用ＵＩの処理の流れについて説明するフローチャートである。 ユーザが被写体ＳＵＢ１をタッチした際、サークルＣＩＲ０が描画されると共に、撮像装置１から被写体ＳＵＢ１までの距離が文字列ＳＴＲによりタッチ位置Ｐ０の近傍に表示されている例を示す図である。 ユーザが、画像ＩＭＧ０の表示されたタッチパネル１５０上の２点Ｐ０およびＰ１をタッチし、タッチした２点を直径とするサークルが描かれている例を示す図である。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
［装置の構成について］
本技術に係る表示装置の構成を説明する。表示装置にはリフォーカス画像を撮像する撮像装置が含まれていてもよい。最初に、撮像装置の構成について説明する。
［撮像装置の構成について］
図１は、本技術の一実施の形態に係る撮像装置１の全体構成を表すものである。撮像装置１は、撮像対象物２を撮像して画像処理を施すことにより画像データＤoutを出力するものである。撮像装置１は、開口絞り１０を有する撮像レンズ１１と、マイクロレンズアレイ１２と、撮像素子１３と、画像処理部１４と、撮像素子駆動部１５と、制御部１６とから構成されている。
開口絞り１０は、撮像レンズ１１の光学的な開口絞りである。この開口絞り１０の開口の形状（例えば円形状）に相似形となる撮像対象物２の像が撮像素子１３上にマイクロレンズごとに形成されるようになっている。
撮像レンズ１１は、撮像対象物２を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成されている。
マイクロレンズアレイ１２は、複数のマイクロレンズが２次元配列したものであり、撮像レンズ１１の焦点面（結像面）に配置されている。各マイクロレンズは、例えば円形の平面形状を有しており、例えば固体レンズや液晶レンズ、回折レンズなどにより構成されている。
撮像素子１３は、マイクロレンズアレイ１２からの光線を受光して複数の画素データを含む撮像データＤ０（多視点画像）を取得するものであり、マイクロレンズアレイ１２の焦点面（結像面）に配置されている。この撮像素子１３は、マトリクス状に配列された複数のＣＣＤ（Charge Coupled Device；電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの２次元固体撮像素子により構成されている。
画像処理部１４は、撮像素子１３で得られた撮像データＤ０に対して、所定の画像処理を施すことにより、任意の焦点に設定した画像（再構築画像、リフォーカス画像）データＤoutを生成できるようになっている。この際、画像処理部１４では、撮像データＤ０から所定の距離情報（ディスパリティマップまたはデプスマップ）が抽出され、この距離情報に基づいて撮像データの並べ替えが行われるようになっている。この画像処理部１４の詳細な構成については後述する。画像処理部１４の処理は、プログラムをコンピュータに実行させることにより実現されてもよい。
撮像素子駆動部１５は、撮像素子１３を駆動してその受光動作の制御を行うものである。
制御部１６は、画像処理部１４、撮像素子駆動部１５の動作を制御するものであり、例えばマイクロコンピュータなどにより構成される。
ここで、図２を参照して、画像処理部１４の詳細な構成について説明する。図２は、画像処理部１４の全体構成を表す機能ブロック図である。画像処理部１４は、欠陥補正部１４１、クランプ処理部１４２、距離情報抽出部１４３、リフォーカス係数設定部１４９、並べ替え処理部１４４、ノイズ低減部１４５、輪郭強調部１４６、ホワイトバランス調整部１４７、およびガンマ補正部１４８から構成されている。
欠陥補正部１４１は、撮像データＤ０に含まれる黒とび等の欠陥（撮像素子１３の素子自体の異常に起因した欠陥）を補正するものである。クランプ処理部１４２は、欠陥補正部１４１による欠陥補正後の撮像データにおいて、各画素データの黒レベルの設定処理（クランプ処理）を行うものである。また、クランプ処理がなされた撮像データに対して、デモザイク処理などのカラー補間処理を施すようにしてもよい。
距離情報抽出部１４３は、撮像データＤ０に基づいて所定の距離情報を抽出するものであり、例えば、以下のような位相差検出部および距離情報算出部（いずれも図示せず）を含んで構成されている。
位相差検出部は、クランプ処理部１４２により供給される撮像データＤ１に基づいて、互いに視差の異なる複数の視差画像（異なる視点による任意視点画像）を生成し、これら複数の視差画像のうち少なくとも２枚の視差画像間の位相差を検出するものである。なお、位相差を検出するための視差画像は、撮像素子１３上で受光したユニット像同士の間で、同一の位置に配置された画素Ｐで取得された画素データを抽出して合成することにより生成することができる。このため、生成される視差画像の数は、１つのマイクロレンズに割り当てられた画素と同数となる。
距離情報算出部は、位相差検出部によって検出された位相差に基づいて、撮像レンズと合焦させたい（合焦位置を定める）リフォーカス面との間の距離情報（後述の距離ｄ）、すなわち、リフォーカス時の撮像レンズの物体側の焦点距離を算出するものである。
リフォーカス係数設定部１４９は、距離情報抽出部１４３により抽出された（距離情報算出部により算出された）距離情報および既定の被写界深度情報に基づいて、並べ替え処理部１４４における積分処理（リフォーカス演算処理）に用いられるリフォーカス係数αを設定するものである。なお、撮像データＤ１は、リフォーカス係数αと共に並べ替え処理部１４４に入力されるようになっている。
並べ替え処理部１４４は、リフォーカス係数設定部１４９により設定されたリフォーカス係数αを用いて、撮像データＤ１に対して、所定の並べ替え処理、例えば「ライト・フィールド・フォトグラフィー」と呼ばれる手法を用いたリフォーカス演算処理を施すことにより、撮像データＤ２（リフォーカス画像）を生成するものである。
なお、リフォーカス画像においては、指定された合焦位置を間に挟んで、その手前方向および奥側方向に所定量だけ被写界深度の深さが設けられるが、合焦位置から手前方向の被写界深度と合焦位置から奥側方向の被写界深度は、等量でもよい。または、両方の被写界深度は、一定の比率で配分されてもよいし、任意の深さに設定されてもよい。
ノイズ低減部１４５は、並べ替え処理部１４４により供給される撮像データＤ２に含まれるノイズ（例えば、暗い場所や感度の足りない場所で撮像したときに発生するノイズ）を低減する処理を行うものである。輪郭強調部１４６は、ノイズ低減部１４５により供給される撮像データに対し、映像の輪郭を強調する輪郭強調処理を行うものである。
ホワイトバランス調整部１４７は、輪郭強調部１４６により供給される撮像データに対し、カラーフィルタの通過特性や撮像素子１３の分光感度などのデバイスの個体差や照明条件などの影響に起因した色バランスの調整処理（ホワイトバランス調整処理）を行うものである。
ガンマ補正部１４８は、ホワイトバランス調整部１４７により供給される撮像データに対して所定のガンマ補正（明暗やコントラストの補正）を行うことにより、撮像データＤoutを生成するものである。
［表示装置の構成について］
次に、表示装置の全体構成を説明する。図３は、撮像装置１を搭載したタッチパネル式の表示装置２の全体構成を表す機能ブロック図である。
表示装置２は、表示画像面内の任意の位置でフォーカス調整を行うことができるものであり、表示した画像（撮像データＤout）から、これとは異なる焦点面に設定された画像（撮像データＤRout）への切り替えができるようになっている。この表示装置２は、画像処理部１４を含む撮像装置１、タッチパネル１５０、距離情報算出部１５１、リフォーカス係数設定部１４９、並べ替え処理部１４４、ノイズ低減部１４５、輪郭強調部１４６、ホワイトバランス調整部１４７、ガンマ補正部１４８、およびこれらの機能ブロックを統合的に制御する制御部（図示せず）を含んで構成されている。なお、上記撮像装置１と同様の画像処理については同一の符号を付し、適宜説明を省略する。
タッチパネル１５０は、撮像装置１から出力された撮像データＤoutに基づく再構築画像を表示パネル（表示部）に表示する表示制御部と、表示された画像の任意の位置が指定されたときに、その位置を検知する位置検知部とから構成されている。例えば、表示パネルに指やペンなどが接触することにより、その接触した位置が、例えば感圧式や静電式によって検知されるようになっている。表示パネルとしては、液晶パネルや有機ＥＬ（Electro Luminescence）パネルなどが用いられる。
距離情報算出部１５１は、上述した画像処理部１４の距離情報抽出部１４３（位相差検出部）で検出した各視差画像同士の位相差ディスパリティマップまたはデプスマップDMから、タッチパネル１５０により検知された位置（Pixel）に応じて位相差（ディスパリティ）を選択し、このディスパリティに基づいて、距離ｄを算出するものである。
例えば、表示されている画像（以下、画像ＩＭＧ０という）の指定された位置においてフォーカス（合焦）した画像（以下、画像ＩＭＧ１という）を生成したい場合には、距離ｄを、撮像レンズと、タッチパネル１５０により検知された位置で合焦となるようなリフォーカス面との間の距離として、検知された位置におけるディスパリティを用いて算出するようにする。
このような表示装置２では、タッチパネル１５０において、表示制御部により、撮像データＤoutに基づく画像ＩＭＧ０が表示され、画像ＩＭＧ０の任意の位置が指定されると、指定された位置が検知されて、位置についての情報（位置情報）および被写界深度についての情報（被写界深度情報）が距離情報算出部１５１に入力される。
一方、距離情報算出部１５１には、撮像装置１の画像処理部１４における距離情報抽出部１４３（位相差検出部）から各視差画像同士のディスパリティマップまたはデプスマップＤＭが入力される。
距離情報算出部１５１では、例えば指定された位置に対応するディスパリティが選択されたのち、この選択されたディスパリティに基づいて距離ｄが算出され、撮像データＤoutと共にリフォーカス係数設定部１４９に入力される。
リフォーカス係数設定部１４９では、上述したように距離ｄおよび被写界深度情報に基づいてリフォーカス係数αが設定され、撮像データＤoutと共に並べ替え処理部１４４に入力される。
並べ替え処理部１４４では、リフォーカス係数αに基づいて撮像データＤoutの並べ替え処理がなされ、例えば画像ＩＭＧ０の指定された位置において合焦した画像（撮像データＤ３）が再構築される。このようにして再構築された撮像データＤ３は、ノイズ低減部１４５、輪郭強調部１４６、ホワイトバランス調整部１４７、およびガンマ補正部１４８による所定の画像処理を施され、撮像データＤRoutとして、タッチパネル１５０の表示制御部に入力される。このようにして、表示制御部により、表示パネルには画像ＩＭＧ０において指定された位置で合焦した画像ＩＭＧ１が表示される。
以上のように、画像ＩＭＧ０の指定された位置に応じてディスパリティを検出し、所定の距離情報を算出してリフォーカス係数αを設定し、撮像データの並べ替えを行うようにしたので、画像ＩＭＧ０から任意の位置でフォーカス調整がなされた画像ＩＭＧ１に瞬時に切り替えて表示することが可能となる。
＜変形例１（撮像装置と表示装置の分離）＞
なお、上記の説明では、表示装置２に撮像装置１が含まれる構成としたが、撮像装置１と表示装置２Ｂとが分かれている構成でもよい。その場合、表示装置２Ｂには、外部にある撮像装置１や、クラウド上にあるサーバなどから、撮像データＤoutおよびＤＭが供給される。
＜変形例２（表示装置の簡易化とクラウドの利用）＞
また、変形例１の表示装置２Ｂから、距離情報算出部１５１、リフォーカス係数設定部１４９、並び替え処理部１４４、ノイズ低減部１４５、輪郭強調部１４６、ホワイトバランス調整部１４７、およびガンマ補正部１４８を除いた表示装置２Ｃを用いる構成でもよい。その場合、表示装置２Ｃには、最初、クラウド上のサーバから撮像データＤoutが供給され、タッチパネル１５０の表示パネルに画像ＩＭＧ０が表示される。
ユーザが、合焦させたい被写体の位置にタッチして位置情報を指定し、さらに、後述する方法により被写界深度情報を指定すると、表示装置２Ｃは、位置情報および被写界深度情報をサーバに送信する。
サーバは、距離情報算出部１５１、リフォーカス係数設定部１４９、並び替え処理部１４４、ノイズ低減部１４５、輪郭強調部１４６、ホワイトバランス調整部１４７、およびガンマ補正部１４８を含んで構成されている。サーバは、これらの機能ブロックにより、撮像データＤRoutを生成し、表示装置２Ｃに送信する。
表示装置２Ｃは、サーバから供給された撮像データＤRoutを、タッチパネル１５０の表示パネルに画像ＩＭＧ１として表示する。
［リフォーカス用のＵＩについて］
次に、リフォーカス時の合焦位置および被写界深度を指定するＵＩについて、詳細を説明する。
（合焦位置の指定）
最初に、本技術のＵＩにおける、合焦位置の指定方法について説明する。ユーザが所望する位置でリフォーカスするための合焦位置の指定は、ユーザがタッチパネル１５０上に表示されている画像ＩＭＧ０上で、合焦させたい被写体にタッチすることにより指定する。
図４は、ユーザが、画像ＩＭＧ０の表示されているタッチパネル１５０上で、被写体ＳＵＢ１にタッチし、画像ＩＭＧ１が表示された様子を示す図である。この図から分かるように、ユーザが被写体ＳＵＢ１をタッチすることにより、合焦位置として被写体ＳＵＢ１までの距離ｄが指定され、リフォーカスが行われ、被写体ＳＵＢ１に合焦し、被写体ＳＵＢ１より後方にある被写体ＳＵＢ２などがぼけた画像ＩＭＧ１が表示されている。
そして、タッチ位置Ｐ０の周辺には、画像ＩＭＧ１の被写界深度の深さを相対的に表すサークルＣＩＲ０が表示されている。
なお、このサークルＣＩＲ０は、ユーザがタッチパネル１５０にタッチした位置Ｐ０を中心として、規定値または前回指定した被写界深度の相対的な大きさを半径として描画される。
（デプスマップの例）
ＵＩとして表示パネル上に表示されるものでは無いが、タッチパネル１５０上でユーザがタッチした座標位置に基づき、距離ｄを求めるためのデプスマップＤＭの例を図５に示す。
この図では、各被写体の撮像装置からの距離ｄが、色の濃淡で示されている。１つの被写体では、距離ｄがほぼ等しいので、色の濃さとしてほぼ等しい濃さに表現されている。なお、実際のデプスマップＤＭでは、各画素がそれぞれ距離ｄの値を保有する構成となる。
ユーザがタッチパネル１５０上をタッチすると、位置検出部がタッチした位置のＸＹ座標を検出し、このデプスマップＤＭと照らし合わせることにより、タッチ位置の距離ｄを求めることが出来る。
このデプスマップＤＭは、上述したディスパリティマップに基づき算出された距離ｄを画素ごとの値として持たせることにより生成することが出来る。
（被写界深度の指定）
次に、本技術のＵＩにおける、被写界深度の指定方法について説明する。ユーザが所望する被写界深度でリフォーカスするための被写界深度の指定は、ユーザが合焦位置を指定するために最初にタッチした位置Ｐ０の周囲に描画されるサークルＣＩＲ０の大きさを変更することにより行われる。大きさの変更は、次にタッチした位置Ｐ１をドラッグして位置Ｐ０とＰ１の間の距離を変更することにより行われる。
図６は、ユーザが、被写体ＳＵＢ２上を人差し指によりタッチして表示されているサークルＣＩＲ０を、次に親指によりタッチしたままドラッグし、より半径の大きいサークルＣＩＲ１まで広げた様子を示す図である。
この図では、まだ被写界深度が浅いので、被写体ＳＵＢ２には合焦しているが、被写体ＳＵＢ２よりも手前にある被写体ＳＵＢ１はぼけている。また、被写体ＳＵＢ２よりも後方にある被写体ＳＵＢ３などもぼけている。
次に、被写界深度をさらに変更した場合の様子を示す。図７は、ユーザが、被写体ＳＵＢ２上を人差し指によりタッチして表示されたサークルＣＩＲ０を、親指によるドラッグにより、更に半径の大きいサークルＣＩＲ２まで広げた様子を示す図である。
この図では、被写界深度の深さがさらに広げられたので、前図とは異なり、被写体ＳＵＢ２に加えて、その前後にある被写体ＳＵＢ１およびＳＵＢ３にも合焦している。
以上、リフォーカス用のＵＩについて説明した。
［ＵＩの処理の流れについて］
次に、本技術のリフォーカス用ＵＩの処理の流れについて説明する。図８は、リフォーカス用ＵＩの処理の流れについて説明するフローチャートである。
（２点をタッチする場合の処理）
最初に、１点目、次いで２点目をタッチする場合の処理について説明する。
まず、画像処理部１４が、合焦位置および被写界深度のパラメータを初期値に設定し、これらの初期値を用いて撮像データＤoutを生成する。（ステップＳ１）
次に、タッチパネル１５０の表示制御部が、表示パネル上に、撮像データＤoutに基づいた画像ＩＭＧ０を表示する。（ステップＳ２）
次に、タッチパネル１５０の位置検知部が、タッチパネル１５０に１点目の接触があったか否かを判断する。（ステップＳ３）
１点目の接触があった場合（ステップＳ３のＹｅｓ）、距離情報算出部１５１は、接触があった位置Ｐ０の座標を位置検知部から取得し、画像処理部１４から取得したデプスマップＤＭに基づき、その位置Ｐ０の距離ｄを求める。（ステップＳ４）
次に、リフォーカス係数設定部１４９が、求められた距離ｄから、合焦位置のパラメータを変更し、リフォーカス係数αを再設定する。（ステップＳ５）
次に、並べ替え処理部１４４により、再設定されたリフォーカス係数αを用いて、リフォーカス画像の再構築が行われ、画像ＩＭＧ１が生成される。生成された画像ＩＭＧ１は、タッチパネル１５０の表示制御部により表示パネル上に表示される。（ステップＳ６）
次に、タッチパネル１５０の表示制御部が、設定された被写界深度に対応した大きさのサークルを表示パネル上に描画する。（ステップＳ７）
次に、タッチパネル１５０の位置検知部が、タッチパネル１５０に２点目の接触があったか否かを判断する。（ステップＳ８）
２点目の接触があった場合（ステップＳ８のＹｅｓ）、距離情報算出部１５１は、接触があった位置Ｐ１の座標を位置検知部から取得し、位置Ｐ０および位置Ｐ１の座標から、これら２点間の距離を算出する。（ステップＳ９）
次に、リフォーカス係数設定部１４９が、算出された距離から被写界深度のパラメータを再設定する。（ステップＳ１０）
ステップ１０の後、表示装置２は、制御をステップ４に戻して、処理を継続する。
以上、２点をタッチする場合の処理について説明した。
（１点目の接触が無い場合の処理）
ステップＳ３において、１点目の接触が無い場合（ステップＳ３のＮｏ）、次に、タッチパネル１５０の位置検知部は、１点目の接触が無いまま一定時間が経過したか否かを判断する。（ステップＳ１１）
まだ、一定時間が経過していない場合（ステップＳ１１のＮｏ）、表示装置２は、制御をステップＳ３に戻す。
一定時間が経過した場合（ステップＳ１１のＹｅｓ）、次に、リフォーカス係数設定部１４９が、被写界深度のパラメータを初期値に戻して再設定する。（ステップＳ１２）
ステップＳ１２の後、表示装置２は、制御をステップＳ３に戻す。
以上、１点目の接触が無い場合の処理について説明した。
（１点目の接触はあったが、２点目の接触が無い場合の処理）
ステップＳ８において、２点目の接触が無い場合（ステップＳ８のＮｏ）、次に、タッチパネル１５０の位置検知部は、１点目の接触が保持されているか否かを判断する。（ステップＳ１３）
１点目の接触が保持されている場合（ステップＳ１３のＹｅｓ）、表示装置２は、制御をステップ４に戻し、処理を継続する。
１点目の接触が保持されていない場合（ステップＳ１３のＮｏ）、表示装置２は、制御をステップ３に戻し、処理を継続する。
以上、１点目の接触はあったが、２点目の接触が無い場合の処理について説明した。
＜変形例３（距離の表示）＞
上記の説明では、１点目のタッチを行った際に、サークルが表示されるとしたが、サークルを描画する際、同時に、タッチした被写体までの距離を表示させる構成でもよい。
図９は、ユーザが被写体ＳＵＢ１をタッチした際、サークルＣＩＲ０が描画されると共に、撮像装置１から被写体ＳＵＢ１までの距離が文字列ＳＴＲによりタッチ位置Ｐ０の近傍に表示されている例を示す図である。
＜変形例４（タッチした２点を直径とするサークル）＞
上記の説明では、タッチした１点目を中心とし、タッチした２点目と１点目との距離を半径とするサークルを描いたが、タッチした２点の距離を直径とするサークルを描いてもよい。この構成では、タッチした２点を結ぶ線分の中点の位置が、合焦させる位置として指定される。なお、２点のタッチは、同時であってもよいし、１点ずつ順次タッチされてもよい。
図１０は、ユーザが、画像ＩＭＧ０の表示されたタッチパネル１５０上の２点Ｐ０およびＰ１をタッチし、タッチした２点を直径とするサークルが描かれている例を示す図である。この図に示すように、タッチした２点を直径とするサークルを描く場合、サークルの中心点の部分に指を置く必要がないので、合焦位置となる部分が指で隠れず、見やすくなるという利点がある。
＜変形例５（図形による被写界深度の表現）＞
上記の説明では、被写界深度の相対的な深さを表すために、サークルを描画したが、これに限らず、例えば線分の長さや、他の図形の大きさにより被写界深度の相対的な深さを表してもよい。
他の図形として、三角形、四角形、ハートマーク、カメラの絞り羽根を模したものなどが挙げられる。
＜変形例６（サークルによる絞り値の指定）＞
上記の説明では、サークルの大きさが、相対的な被写界深度の深さを表すとしたが、サークルの大きさは、被写界深度ではなく、カメラのレンズの絞り値を表現するものであってもよい。この場合、サークルが小さくなると絞りが絞られたとし被写界深度が深くなり、サークルが大きくなると絞りが開かれたとし被写界深度が浅くなる。
＜変形例７（絞り値の表示）＞
上記の変形例３では、１点目のタッチ位置近傍に距離を表示するとしたが、設定されている被写界深度に対応した絞り値を表示してもよい。
＜変形例８（既定のサークルの大きさ）＞
初期値の被写界深度に対応して表示されるサークルの大きさは、タッチパネル１５０の表示パネルの大きさや解像度により、適切な大きさが選択される構成でもよい。
例えば、表示装置２が、画面サイズが５０インチのテレビジョン受像器である場合と、５インチのスマートフォンである場合とでは、表示される画像ＩＭＧ０の大きさは大幅に異なる。しかし、両者を操作するユーザの手の大きさは同じなので、規定値として表示されるサークルの大きさは、ユーザが指でタッチしやすい距離になるように調整されると使いやすい。
９インチの表示パネルを持つ表示装置２であれば、例えば半径２センチメートルのサークルを描くことが考えられる。
もちろん、既定のサークルの大きさは、ユーザが設定できる構成でもよい。
＜変形例９（既定のぼけ方）＞
上記の説明では、最初、１点目にタッチした際の被写界深度は初期値として設定されたものが使用されリフォーカス画像が再構築されるとしたが、この初期値は、ユーザが設定により変更出来るものであってもよい。この構成によると、１点目にユーザがタッチした際の既定のぼけ方をユーザは好みのぼけ方に変更することが出来る。
＜変形例１０（リセット領域）＞
本技術のＵＩには、ユーザが任意の合焦位置および被写界深度によりリフォーカス画像を表示パネル上に表示させた後、ユーザが明示的に合焦位置および被写界深度を初期値にリセットするための指示を受け付けるリセット領域を設けてもよい。
ユーザがリセット領域にタッチすることにより、簡単に合焦位置や被写界深度を初期値にリセットすることが出来る。
＜変形例１１（手を離した後の被写界深度の保持）＞
本技術のＵＩでは、ユーザが合焦位置および被写界深度を指定するためにタッチパネル１５０をタッチして操作を行った後、タッチパネル１５０から手を離しても、指定された被写界深度の画像を一定時間表示する構成でもよい。
この構成により、ユーザはタッチパネル１５０から指を離し、表示パネル上に遮蔽物が無い状態でリフォーカス画像を鑑賞することが出来る。
＜変形例１２（一定時間無操作によるリセット）＞
本技術のＵＩでは、ユーザが一定時間タッチパネル１５０に触れなかった場合、リフォーカス画像の合焦位置と被写界深度を初期値にリセットする構成でもよい。
＜変形例１３（被写界深度の指定が既定値を超えた場合の全焦点画像）＞
本技術のＵＩでは、ユーザが指定する被写界深度の深さが所定の値を超えた場合、表示装置２は、リフォーカス画像として、全焦点画像を生成する構成でもよい。
＜変形例１４（予めリフォーカス画像を生成する）＞
上記の説明では、ユーザがタッチパネル１５０上をタッチする度に、リフォーカス画像の再構築を行ったが、この構成に限らず、多視点画像から、予めユーザが指定する可能性がある合焦位置および被写界深度に対応した画像を複数枚構築し、表示装置またはサーバに設けた記憶部に保存しておく構成でもよい。
この構成では、ユーザがタッチした後にリフォーカス画像を再構築する時間が省けるので、高速にリフォーカス画像を表示することが出来る。
＜変形例１５（典型的なカメラによる画像の準備）＞
変形例１４では、多視点画像から、予めユーザが指定する可能性がある合焦位置および被写界深度に対応した画像を複数枚構築する構成としたが、これに限らず、通常のカメラを用いて、ユーザが指定する可能性がある合焦位置および被写界深度に対応した画像を複数枚撮像し、表示装置またはサーバに設けた記憶部に保存しておく構成でもよい。
この構成では、撮像装置１のようなライト・フィールド・カメラを用いなくとも、ユーザは表示装置において、リフォーカス画像を鑑賞することが出来る。
＜変形例１６（タッチによらない位置の指定）＞
上記の説明では、ユーザがタッチパネル１５０にタッチすることにより、合焦位置および被写界深度の指定を行ったが、これに限らず、合焦位置および被写界深度の指定は、非接触式の位置検出装置により行われてもよいし、マウスを用いて行われてもよい。
＜変形例１７（サークル上をタッチしない被写界深度の指定）＞
上記の説明では、被写界深度を指定するために、ユーザがタッチパネル１５０上で、１点目のタッチにより表示されたサークルの円周上をタッチし、タッチしたまま指をスライドさせることにより被写界深度の変更を行った。しかし、この構成に限らず、ユーザがサークルの円周上をタッチしなくても、タッチパネル１５０上でいずれかタッチした位置を２点目のタッチ位置として受け付けてもよい。
この場合でも、２点目としてタッチした位置から、ユーザが指をスライドさせると、表示されているサークルの大きさが１点目と２点目のタッチ位置の距離に応じて、拡大縮小する。
［補足事項］
その他、本技術は、上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
１ …撮像装置
２〜２Ｃ…表示装置
１０…開口絞り
１１…撮像レンズ
１２…マイクロレンズアレイ
１３…撮像素子
１４…画像処理部
１５…撮像素子駆動部
１６…制御部
１４１…欠陥補正部
１４２…クランプ処理部
１４３…距離情報抽出部
１４４…並べ替え処理部
１４５…ノイズ低減部
１４６…輪郭強調部
１４７…ホワイトバランス調整部
１４８…ガンマ補正部１４８
１４９…リフォーカス係数設定部
１５０…タッチパネル
１５１…距離情報算出部

Claims (10)

  1. 撮像装置により撮像された被写体の第１の像を表示画面に表示させ、
    前記表示画面に表示された第１の像においてユーザにより選択された第１の位置と、この第１の位置と異なる第２の位置を各々受け付け、
    前記第１の位置および前記第２の位置の少なくとも一方を基に焦点を合わせるべき被写体の位置を算出し、
    前記第１の位置と前記第２の位置との距離に対応した被写界深度を算出し、
    前記算出された被写体の位置に焦点を合わせ、かつ前記算出された被写界深度を有する第２の像を前記表示画面に表示させる制御部を
    具備する情報処理装置。
  2. 請求項１に記載の情報処理装置であって、
    前記制御部は、
    前記算出された被写界深度に対応するサイズを有する図形を前記表示画面に表示させる
    情報処理装置。
  3. 請求項２に記載の情報処理装置であって、
    前記制御部は、
    前記図形として、前記第１の位置を中心とし、前記第１の位置と前記第２の位置との前記距離を半径とした円を表示する
    情報処理装置。
  4. 請求項３に記載の情報処理装置であって、
    前記第１の像および前記第２の像を、撮像レンズと受光光線に基づいて撮像データを取得する撮像素子との間に、前記撮像素子の複数画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイを有する撮像光学系により光線の進行方向を保持した状態で取得された撮像データに基づいて生成する画像処理部を
    更に具備する情報処理装置。
  5. 請求項４に記載の情報処理装置であって、
    前記画像処理部は、
    前記制御部により受け付けられた前記第１の位置に応じて、前記撮像レンズからリフォーカス面までの距離情報を算出する距離情報算出部と、
    前記被写界深度と前記距離情報算出部により算出された距離情報に基づいてリフォーカス係数を設定するリフォーカス係数設定部と、
    前記リフォーカス係数設定部により設定されたリフォーカス係数に基づいて前記撮像データの並べ替えを行うことにより任意の焦点における画像を生成する並べ替え処理部と
    を有する情報処理装置。
  6. 請求項２に記載の情報処理装置であって、
    前記制御部は、
    前記図形として、前記第１の位置と前記第２の位置を結ぶ線分を直径とした円を表示する
    情報処理装置。
  7. 撮像装置により撮像された被写体の第１の像を表示画面に表示させ、
    前記表示画面に表示された第１の像においてユーザにより選択された第１の位置と、この第１の位置と異なる第２の位置を各々受け付け、
    前記第１の位置および前記第２の位置の少なくとも一方を基に焦点を合わせるべき被写体の位置を算出し、
    前記第１の位置と前記第２の位置との距離に対応した被写界深度を算出し、
    前記算出された被写体の位置に焦点を合わせ、かつ前記算出された被写界深度を有する第２の像を前記表示画面に表示させる制御部と、
    前記表示画面を有する表示部と、
    前記第１の位置と前記第２の位置を検知可能な位置検知部と
    を具備する電子機器。
  8. 撮像装置により撮像された被写体の第１の像を端末装置に送信し、
    前記第１の像が表示された前記端末装置においてユーザにより選択された第１の位置と、この第１の位置と異なる第２の位置を前記端末装置から受信し、
    前記第１の位置および前記第２の位置の少なくとも一方を基に焦点を合わせるべき被写体の位置を算出し、
    前記第１の位置と前記第２の位置との距離に対応した被写界深度を算出し、
    前記算出された被写体の位置に焦点を合わせ、かつ前記算出された被写界深度を有する第２の像を前記端末装置に送信する制御部を
    具備するサーバ。
  9. 撮像装置により撮像された被写体の第１の像を表示画面に表示させ、
    前記表示画面に表示された第１の像においてユーザにより選択された第１の位置と、この第１の位置と異なる第２の位置を各々受け付け、
    前記第１の位置および前記第２の位置の少なくとも一方を基に焦点を合わせるべき被写体の位置を算出し、
    前記第１の位置と前記第２の位置との距離に対応した被写界深度を算出し、
    前記算出された被写体の位置に焦点を合わせ、かつ前記算出された被写界深度を有する第２の像を前記表示画面に表示させる制御部としてコンピュータを機能させるための
    情報処理プログラム。
  10. 撮像装置により撮像された被写体の第１の像を表示画面に表示させ、
    前記表示画面に表示された第１の像においてユーザにより選択された第１の位置と、この第１の位置と異なる第２の位置を制御部にて各々受け付け、
    前記第１の位置および前記第２の位置の少なくとも一方を基に焦点を合わせるべき被写体の位置を制御部により算出し、
    前記第１の位置と前記第２の位置との距離に対応した被写界深度を制御部により算出し、
    前記算出された被写体の位置に焦点を合わせ、かつ前記算出された被写界深度を有する第２の像を前記表示画面に表示させる
    情報処理方法。
JP2013104384A 2013-05-16 2013-05-16 画像処理装置および画像処理方法 Active JP6244655B2 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP2013104384A JP6244655B2 (ja) 2013-05-16 2013-05-16 画像処理装置および画像処理方法
US14/889,283 US9749519B2 (en) 2013-05-16 2014-05-02 Information processing apparatus, electronic apparatus, server, information processing program, and information processing method
CN201910864341.6A CN110519519A (zh) 2013-05-16 2014-05-02 用于在图像重新对焦期间选择参数的用户界面
CN201910344694.3A CN110099214A (zh) 2013-05-16 2014-05-02 用于在图像重新对焦期间选择参数的用户界面
PCT/JP2014/002404 WO2014185028A1 (en) 2013-05-16 2014-05-02 User interface for selecting a parameter during image refocusing
CN201480026280.1A CN105210018A (zh) 2013-05-16 2014-05-02 用于在图像重新对焦期间选择参数的用户界面
US15/633,928 US10070045B2 (en) 2013-05-16 2017-06-27 Information processing apparatus, electronic apparatus, server, information processing program, and information processing method
US16/052,911 US10686981B2 (en) 2013-05-16 2018-08-02 Information processing apparatus, electronic apparatus, server, information processing program, and information processing method
US16/863,358 US10924658B2 (en) 2013-05-16 2020-04-30 Information processing apparatus, electronic apparatus, server, information processing program, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013104384A JP6244655B2 (ja) 2013-05-16 2013-05-16 画像処理装置および画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017212526A Division JP6515978B2 (ja) 2017-11-02 2017-11-02 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JP2014225797A true JP2014225797A (ja) 2014-12-04
JP6244655B2 JP6244655B2 (ja) 2017-12-13

Family

ID=50771539

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013104384A Active JP6244655B2 (ja) 2013-05-16 2013-05-16 画像処理装置および画像処理方法

Country Status (4)

Country Link
US (4) US9749519B2 (ja)
JP (1) JP6244655B2 (ja)
CN (3) CN110519519A (ja)
WO (1) WO2014185028A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015139020A (ja) * 2014-01-21 2015-07-30 株式会社ニコン 電子機器及び制御プログラム
JP2015142366A (ja) * 2014-01-30 2015-08-03 キヤノン株式会社 画像処理装置、その制御方法およびプログラム
JP2017224141A (ja) * 2016-06-15 2017-12-21 株式会社Ｎｔｔドコモ 情報表示装置
JP2018125887A (ja) * 2018-04-12 2018-08-09 株式会社ニコン 電子機器

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6244655B2 (ja) * 2013-05-16 2017-12-13 ソニー株式会社 画像処理装置および画像処理方法
KR102326275B1 (ko) * 2014-02-25 2021-11-16 삼성전자주식회사 이미지 표시 방법 및 장치
KR102283423B1 (ko) * 2014-12-18 2021-07-30 엘지이노텍 주식회사 영상 획득 장치 및 이를 포함하는 휴대용 단말기와 그 장치의 영상 획득 방법
JP6478654B2 (ja) * 2015-01-23 2019-03-06 キヤノン株式会社 撮像装置及びその制御方法
JP6626257B2 (ja) * 2015-03-03 2019-12-25 キヤノン株式会社 画像表示装置、撮像装置、画像表示方法、プログラム、記憶媒体
US9979890B2 (en) 2015-04-23 2018-05-22 Apple Inc. Digital viewfinder user interface for multiple cameras
WO2017166076A1 (zh) * 2016-03-29 2017-10-05 华为技术有限公司 一种确定对焦窗的方法、装置及设备
US9716825B1 (en) 2016-06-12 2017-07-25 Apple Inc. User interface for camera effects
US10034132B2 (en) 2016-06-16 2018-07-24 International Business Machines Corporation System and method for defining zones for location-based services
JP6720037B2 (ja) * 2016-09-21 2020-07-08 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
CN110249298B (zh) * 2017-02-06 2022-09-27 京瓷办公信息系统株式会社 显示装置
KR102379898B1 (ko) 2017-03-24 2022-03-31 삼성전자주식회사 포커스에 대한 그래픽 인디케이터를 제공하는 전자 장치와 이의 동작 방법
KR102390184B1 (ko) * 2017-04-26 2022-04-25 삼성전자주식회사 전자 장치 및 전자 장치의 영상 표시 방법
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US10372298B2 (en) 2017-09-29 2019-08-06 Apple Inc. User interface for multi-user communication session
CN108024065B (zh) * 2017-12-28 2020-07-10 珠海大横琴科技发展有限公司 一种终端拍摄的方法、终端及计算机可读存储介质
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
DK201870364A1 (en) 2018-05-07 2019-12-03 Apple Inc. MULTI-PARTICIPANT LIVE COMMUNICATION USER INTERFACE
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
JP7173841B2 (ja) * 2018-11-14 2022-11-16 キヤノン株式会社 画像処理装置およびその制御方法ならびにプログラム
JP7198055B2 (ja) 2018-11-16 2022-12-28 キヤノン株式会社 画像処理装置およびその制御方法ならびにプログラム
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
US11647277B2 (en) * 2019-05-31 2023-05-09 Samsung Electronics Co., Ltd. Method of dynamic image adjustment in an electronic device including image sensor
JP7337562B2 (ja) * 2019-06-25 2023-09-04 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法、及びプログラム
CN110365906A (zh) * 2019-07-29 2019-10-22 维沃移动通信有限公司 拍摄方法及移动终端
TWI776217B (zh) * 2019-11-25 2022-09-01 仁寶電腦工業股份有限公司 電子裝置及其模式切換方法
US11297244B2 (en) * 2020-02-11 2022-04-05 Samsung Electronics Co., Ltd. Click-and-lock zoom camera user interface
US20210271380A1 (en) * 2020-02-28 2021-09-02 Sharp Kabushiki Kaisha Display device
US11079913B1 (en) 2020-05-11 2021-08-03 Apple Inc. User interface for status indicators
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
WO2022034938A1 (ko) * 2020-08-11 2022-02-17 엘지전자 주식회사 이미지 촬영 장치 및 그 제어 방법
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11431891B2 (en) 2021-01-31 2022-08-30 Apple Inc. User interfaces for wide angle video conference
TWI799828B (zh) * 2021-03-31 2023-04-21 中強光電股份有限公司 影像處理裝置、影像處理方法以及3d影像產生系統
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
EP4109884A1 (en) * 2021-04-30 2022-12-28 Apple Inc. User interfaces for altering visual media
CN115474002A (zh) * 2021-04-30 2022-12-13 苹果公司 用于更改视觉媒体的用户界面
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11893214B2 (en) 2021-05-15 2024-02-06 Apple Inc. Real-time communication user interface
US11822761B2 (en) 2021-05-15 2023-11-21 Apple Inc. Shared-content session user interfaces
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US11770600B2 (en) 2021-09-24 2023-09-26 Apple Inc. Wide angle video conference

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010093422A (ja) * 2008-10-06 2010-04-22 Canon Inc 撮像装置
JP2010177741A (ja) * 2009-01-27 2010-08-12 Olympus Corp 撮像装置
JP2012095186A (ja) * 2010-10-28 2012-05-17 Sanyo Electric Co Ltd 電子機器

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006253998A (ja) 2005-03-10 2006-09-21 Casio Comput Co Ltd 撮像装置および撮像方法
WO2007147081A1 (en) 2006-06-14 2007-12-21 Nik Software, Inc. Graphical user interface and related method
US8570426B2 (en) * 2008-11-25 2013-10-29 Lytro, Inc. System of and method for video refocusing
JP4900723B2 (ja) 2008-03-14 2012-03-21 ソニー株式会社 画像処理装置、画像処理プログラムおよび表示装置
KR101505681B1 (ko) * 2008-09-05 2015-03-30 엘지전자 주식회사 터치 스크린을 구비한 이동 단말기 및 이를 이용한 이미지 촬상 방법
KR101563728B1 (ko) * 2009-01-30 2015-10-27 삼성전자 주식회사 가변 모듈레이터를 이용한 다중시야 광필드 데이터 획득장치 및 그 방법
JP2011028345A (ja) * 2009-07-22 2011-02-10 Olympus Imaging Corp 条件変更装置、カメラ、携帯機器、およびプログラム
US9596453B2 (en) * 2010-06-14 2017-03-14 Lg Electronics Inc. Electronic device and control method thereof
JP2012010162A (ja) 2010-06-25 2012-01-12 Kyocera Corp カメラ装置
EP2667231B1 (en) 2011-01-18 2017-09-06 FUJIFILM Corporation Auto focus system
JP2013012820A (ja) 2011-06-28 2013-01-17 Sony Corp 画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるプログラム
US9094606B2 (en) * 2011-07-04 2015-07-28 Waikatolink Limited Motion compensation in range imaging
JP5968107B2 (ja) 2011-09-01 2016-08-10 キヤノン株式会社 画像処理方法、画像処理装置およびプログラム
JP2013088579A (ja) 2011-10-17 2013-05-13 Olympus Imaging Corp 撮像装置
CN102833487B (zh) * 2012-08-08 2015-01-28 中国科学院自动化研究所 面向视觉计算的光场成像装置和方法
JP6029380B2 (ja) * 2012-08-14 2016-11-24 キヤノン株式会社 画像処理装置、画像処理装置を具備する撮像装置、画像処理方法、及びプログラム
KR102063952B1 (ko) * 2012-10-10 2020-01-08 삼성전자주식회사 멀티 디스플레이 장치 및 멀티 디스플레이 방법
WO2014165244A1 (en) * 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
JP6244655B2 (ja) * 2013-05-16 2017-12-13 ソニー株式会社 画像処理装置および画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010093422A (ja) * 2008-10-06 2010-04-22 Canon Inc 撮像装置
JP2010177741A (ja) * 2009-01-27 2010-08-12 Olympus Corp 撮像装置
JP2012095186A (ja) * 2010-10-28 2012-05-17 Sanyo Electric Co Ltd 電子機器

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015139020A (ja) * 2014-01-21 2015-07-30 株式会社ニコン 電子機器及び制御プログラム
JP2015142366A (ja) * 2014-01-30 2015-08-03 キヤノン株式会社 画像処理装置、その制御方法およびプログラム
JP2017224141A (ja) * 2016-06-15 2017-12-21 株式会社Ｎｔｔドコモ 情報表示装置
JP2018125887A (ja) * 2018-04-12 2018-08-09 株式会社ニコン 電子機器

Also Published As

Publication number Publication date
CN105210018A (zh) 2015-12-30
US9749519B2 (en) 2017-08-29
US20200259995A1 (en) 2020-08-13
US20160127636A1 (en) 2016-05-05
US10070045B2 (en) 2018-09-04
US20180343383A1 (en) 2018-11-29
JP6244655B2 (ja) 2017-12-13
US10686981B2 (en) 2020-06-16
CN110519519A (zh) 2019-11-29
WO2014185028A1 (en) 2014-11-20
US10924658B2 (en) 2021-02-16
CN110099214A (zh) 2019-08-06
US20170295316A1 (en) 2017-10-12

Similar Documents

Publication Publication Date Title
JP6244655B2 (ja) 画像処理装置および画像処理方法
JP7003238B2 (ja) 画像処理方法、装置、及び、デバイス
CN111052727B (zh) 电子装置及其控制方法
CN107409166B (zh) 摇摄镜头的自动生成
US10015469B2 (en) Image blur based on 3D depth information
JP6620394B2 (ja) 制御装置、制御方法及びプログラム
JP6548367B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2015035658A (ja) 画像処理装置、画像処理方法、および撮像装置
JP5370542B1 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5766077B2 (ja) ノイズ低減のための画像処理装置及び画像処理方法
US20190102056A1 (en) User interface for manipulating light-field images
CN105530421B (zh) 一种基于双摄像头的对焦方法、装置和终端
JP6611531B2 (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
JP2016039613A (ja) 画像処理装置及びその制御方法、プログラム、記憶媒体
JP6711428B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6515978B2 (ja) 画像処理装置および画像処理方法
KR101219859B1 (ko) 3ｄ촬영장치에서의 반자동 주시각 제어장치 및 반자동 주시각 제어방법
JP6362433B2 (ja) 画像処理装置およびその制御方法、プログラム
JP6679430B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP2017220726A (ja) 画像処理装置およびその制御方法、撮像装置、プログラム
JP2024005590A (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171030

R151 Written notification of patent or utility model registration

Ref document number: 6244655

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250