JP2021086586A - 表示制御装置及びその制御方法 - Google Patents

表示制御装置及びその制御方法 Download PDF

Info

Publication number
JP2021086586A
JP2021086586A JP2019217579A JP2019217579A JP2021086586A JP 2021086586 A JP2021086586 A JP 2021086586A JP 2019217579 A JP2019217579 A JP 2019217579A JP 2019217579 A JP2019217579 A JP 2019217579A JP 2021086586 A JP2021086586 A JP 2021086586A
Authority
JP
Japan
Prior art keywords
touch
item
display
subject
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019217579A
Other languages
English (en)
Inventor
修一郎 松島
Shuichiro Matsushima
修一郎 松島
拓郎 宮嶋
Takuro Miyajima
拓郎 宮嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019217579A priority Critical patent/JP2021086586A/ja
Priority to US17/103,795 priority patent/US20210165562A1/en
Publication of JP2021086586A publication Critical patent/JP2021086586A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Image Generation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

【課題】 本発明の目的は、被写体に対する効果のかかり具合をタッチ操作で変更する際のユーザの操作性を向上させることである。【解決手段】 表示面へのタッチ操作を検出可能なタッチ検出手段と、前記表示面に表示されている被写体に対する所定の画像処理を行うための仮想的な位置を変更する変更手段と、前記被写体に対する前記仮想的な位置の位置関係を示す第1のアイテムを表示する制御手段であって、前記タッチ検出手段が前記表示面へのタッチ操作を検出した際に、当該タッチ操作の開始に応じては前記第1のアイテムの示す前記位置関係を変更せず、当該タッチ操作が開始されたときの前記第1のアイテムの示す前記位置関係から、当該タッチ操作のタッチ位置の移動に応じて前記第1のアイテムの示す前記位置関係を変更するように前記変更手段を制御する制御手段とを有することを特徴とする。【選択図】 図6

Description

本発明は、表示制御装置及びその制御方法に関し、特に画像に効果をかける際の技術に関する。
撮影後の画像中の被写体に対して、仮想的な光源(以降、「仮想光源」と呼ぶ)からの光で照明した効果を与える画像処理、いわゆる仮想光源処理が知られている。特許文献1では、画面上へのタッチ操作で仮想光源の照射方向を変更可能であることが開示されている。
特開2018−10496号公報
特許文献1では、タッチをしている位置に対応した位置に仮想光源が配置されるので、ユーザが被写体の前付近から照射をしたい場合に、タッチ操作をする指と被写体とが重なってしまう。よって、ユーザは、タッチ操作を行いながらの仮想光源の効果の確認がしにくくなる。
本発明は、上記の課題に鑑み、被写体に対する効果のかかり具合をタッチ操作で変更する際のユーザの操作性を向上する表示制御装置の提供を目的とする。
表示面へのタッチ操作を検出可能なタッチ検出手段と、前記表示面に表示されている被写体に対する所定の画像処理を行うための仮想的な位置を変更する変更手段と、前記被写体に対する前記仮想的な位置の位置関係を示す第1のアイテムを表示する制御手段であって、前記タッチ検出手段が前記表示面へのタッチ操作を検出した際に、当該タッチ操作の開始に応じては前記第1のアイテムの示す前記位置関係を変更せず、当該タッチ操作が開始されたときの前記第1のアイテムの示す前記位置関係から、当該タッチ操作のタッチ位置の移動に応じて前記第1のアイテムの示す前記位置関係を変更するように前記変更手段を制御する制御手段とを有することを特徴とする。
本発明によれば、被写体に対する効果のかかり具合をタッチ操作で変更する際のユーザの操作性を向上することができる。
(a)本発明の実施形態を適用可能な装置の一例としてのデジタルカメラのブロック図、(b)本発明の実施形態を適用可能な装置の一例としてのデジタルカメラの外観図 本実施形態におけるRAW現像編集処理を示すフローチャート 本実施形態における仮想光源編集処理を示すフローチャート 本実施形態における顔選択処理を示すフローチャート 本実施形態におけるムーブ処理を示すフローチャート 本実施形態における表示画面の例を示す図 本実施形態における仮想光源の方向を説明するための図 本実施形態におけるタッチ操作について説明をするための図 本実施形態における回転部材操作処理を示すフローチャート 本実施形態における十字ボタン操作の処理を示すフローチャート 本実施形態における仮想光源の方向を示す表示について説明するための図 設定画面を表示する際の変形例を示すフローチャート 設定画面の変形例を示す図
以下、図面を参照して本発明の好適な実施形態を説明する。
図1(a)は本発明の実施形態を適用可能な装置の一例としてのデジタルカメラ100のシステム構成例を示すブロック図である。また、図1(b)はデジタルカメラ100の外観図である。
図1において、撮影レンズ104はズームレンズ、フォーカスレンズを含むレンズ群である。シャッター105は絞り機能を備えるシャッターである。撮像部106は光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子である。A/D変換器107は、アナログ信号をデジタル信号に変換する。A/D変換器107は、撮像部106から出力されるアナログ信号をデジタル信号に変換するために用いられる。バリア103は、デジタルカメラ100の撮影レンズ104を含む撮像系を覆うことにより、撮影レンズ104、シャッター105、撮像部106を含む撮像系の汚れや破損を防止する。
画像処理部102は、A/D変換器107からのデータ、又は、メモリ制御部108からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部102では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部101が露光制御、測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理が行われる。画像処理部102では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行っている。
A/D変換器107からの出力データは、画像処理部102及びメモリ制御部108を介して、或いは、メモリ制御部108を介してメモリ109に直接書き込まれる。メモリ109は、撮像部106によって得られA/D変換器107によりデジタルデータに変換された画像データや、表示部111に表示するための画像データを格納する。メモリ109は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
また、メモリ109は画像表示用のメモリ(ビデオメモリ)を兼ねている。D/A変換器110は、メモリ109に格納されている画像表示用のデータをアナログ信号に変換して表示部111に供給する。こうして、メモリ109に書き込まれた表示用の画像データはD/A変換器110を介して表示部111により表示される。
表示部111は、LCD等の表示器上に、D/A変換器110からのアナログ信号に応じた表示を行う。A/D変換器107によって一度A/D変換されメモリ109に蓄積されたデジタル信号をD/A変換器110においてアナログ変換し、表示部111に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示を行える。以後、ライブビュー画像と呼ぶ。
不揮発性メモリ114は、電気的に消去・記録可能なメモリであり、例えばEEPROM等が用いられる。不揮発性メモリ114には、システム制御部101の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
システム制御部101は、デジタルカメラ100全体を制御する。前述した不揮発性メモリ114に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ112はシステムメモリであり、RAMが用いられる。システムメモリ112には、システム制御部101の動作用の定数、変数、不揮発性メモリ114から読み出したプログラム等を展開する。また、システム制御部はメモリ109、D/A変換器110、表示部111等を制御することにより表示制御も行う。システムタイマー113は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
シャッターボタン115、モード切り換えダイヤル118、電源ボタン119、操作部200はシステム制御部101に各種の動作指示を入力するための操作手段である(システム制御部101は操作部200への操作がされたことを検知可能)。
モード切り換えダイヤル118は、システム制御部101の動作モードを静止画記録モード、動画記録モード、再生モード、および各動作モードに含まれる詳細モードに切り換える。
第1シャッタースイッチ116は、デジタルカメラ100に設けられたシャッターボタン115の操作途中、いわゆる半押し(撮影準備指示)でONとなり第1シャッタースイッチ信号SW1を発生する。第1シャッタースイッチ信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の動作を開始する。
第2シャッタースイッチ117は、シャッターボタン115の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生する。システム制御部101は、第2シャッタースイッチ信号SW2により、撮像部106からの信号読み出しから記録媒体124に画像データを書き込むまでの一連の撮影処理の動作を開始する。
電源制御部121は、電池検出回路、DC−DCコンバータ、通電するブロックを切り換えるスイッチ回路等により構成され、電源ボタン119の状態、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部121は、その検出結果及びシステム制御部101の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体124を含む各部へ供給する。
電源部122は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。本実施例では電源部(以下電池と呼ぶ)に二次電池を用いた場合の説明を行う。
記録媒体I/F123は、メモリカードやハードディスク等の記録媒体124とのインターフェースである。記録媒体124は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
操作部200の各操作部材は、表示部111に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。操作部200には、タッチパネル200a、メニューボタン201、マルチコントローラー208、十字ボタン202、SETボタン203が含まれる。さらに操作部200には、コントローラーホイール204、電子ダイヤル205、INFOボタン206等が含まれる。十字ボタン202には、上方向の上キー202a、下方向の下キー202b、左方向の左キー202c、右方向の右キー202dからなり、選択中のアイテムの移動や、選択する項目の変更等に用いることができる。例えば、図1(b)に示すメニューボタン201が押されると各種の設定可能なメニュー画面が表示部111に表示される。ユーザは、表示部111に表示されたメニュー画面と、上下左右の4方向にボタンを備えた十字ボタン202やSETボタン203とを用いて直感的に各種設定を行うことができる。コントローラーホイール204、電子ダイヤル205、マルチコントローラー208は、操作部200に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。コントローラーホイール204や電子ダイヤル205を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部101はデジタルカメラ100の各部を制御する。このパルス信号によって、コントローラーホイール204や電子ダイヤル205が回転操作された角度や、何回転したかなどを判定することができる。なお、コントローラーホイール204や電子ダイヤル205は回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラーホイール204や電子ダイヤル205自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラーホイール204自体は回転せず、コントローラーホイール204上でのユーザの指の回転動作などを検出するものであってもよい(いわゆる、タッチホイール)。マルチコントローラー208は、十字キー202と同様に、右方向、左方向、上方向、下方向への指示が可能なコントローラであり、レバーを各方向に倒すことによって方向の指示が可能となる。INFOボタン206は表示部111に表示された情報表示の情報量を切り換えるボタンである。INFOボタン206を押すたびに情報量が標準、詳細、非表示の順に切り換えることができる。
デジタルカメラ底面からは電池122と記録媒体124をデジタルカメラ100に挿入でき、開閉可能なカバー207で蓋をすることができる。
操作部200の一つとして、表示部111に対する接触を検知可能なタッチパネル200aを有する。タッチパネル200aと表示部111とは一体的に構成することができる。例えば、タッチパネル200aを光の透過率が表示部111の表示を妨げないように構成し、表示部111の表示面の上層に取り付ける。そして、タッチパネル200aにおける入力座標と、表示部111上(表示面上)の表示座標とを対応付ける。これにより、恰もユーザが表示部111上に表示された画面を直接的に操作可能であるかのようなGUIを構成することができる。システム制御部101はタッチパネルへの以下の操作を検出(タッチ検出可能)できる。
・タッチパネルにタッチしていなかった指やペンが新たにタッチパネルにタッチしたこと。すなわち、タッチの開始(以下、タッチダウン(Touch−Down)と称する)。
・タッチパネルを指やペンでタッチしている状態であること(以下、タッチオン(Touch−On)と称する)。
・タッチパネルを指やペンでタッチしたまま移動していること(以下、タッチムーブ(Touch−Move)と称する)。
・タッチパネルへタッチしていた指やペンを離したこと。すなわち、タッチの終了(以下、タッチアップ(Touch−Up)と称する)。
・タッチパネルに何もタッチしていない状態(以下、タッチオフ(Touch−Off)と称する)。
・タッチパネルにタッチダウンした後、短時間の間にタッチアップが行われること。タッチパネルをはじくようなタッチ操作(以下、Tapと称する)。
これらの操作や、タッチパネル上に指やペンが触れている位置座標は内部バスを通じてシステム制御部101に通知され、システム制御部101は通知された情報に基づいてタッチパネル上にどのような操作が行なわれたかを判定する。タッチムーブについては、タッチパネル上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル上の垂直成分・水平成分毎に判定できる。また、タッチパネル上をタッチダウンから一定のタッチムーブを経てタッチアップをしたとき、ストロークを描いたこととする。素早くストロークを描く操作をフリックと呼ぶ。フリックは、タッチパネル上に指を触れたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる。また、所定距離以上を、所定速度未満でムーブしたことが検出された場合はドラッグが行なわれたと判定するものとする。また、タッチパネルを指やペンでムーブしながら特定領域に入る操作(以下、ムーブインと称する)、ムーブしながら特定領域から外に出る操作(以下、ムーブアウトと称する)を検知することもできる。さらに、2本のタッチ点の距離を縮めるようなタッチ操作、すなわち、表示されている画像をつまむような操作はピンチインとし、画像の縮小や表示画像の枚数を増やす操作として使用される。2本のタッチ点の距離を広げるようなタッチ操作、すなわち、表示されている画像を広げるような操作はピンチアウトとし、画像の拡大や表示画像の枚数を減らす操作として使用される。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。
次に、図2を用いて、本実施形態におけるRAW現像編集処理について説明をする。この処理は、不揮発性メモリ114に記録されたプログラムをシステムメモリ112に展開してシステム制御部101が実行することで実現する。仮想光源図2の処理はデジタルカメラ100に電源が入り、メニュー画面において再生のメニューが表示され、さらに、RAW現像編集処理の項目が選択されると開始する。RAW現像編集処理が選択されると、図6(a)に示すように仮想光源方向の変更処理を行うための項目と、背景ぼかし処理を行うための項目とを含むRAW現像メニュー画面が表示部111に表示される。仮想光源方向の変更処理も背景ぼかし処理も画像の深度情報を用いて処理を行う。なお、RAW現像編集処理は、マニュアルモードやAv(絞り優先モード),Tv(シャッター速度優先モード)などの撮影モードに切り替えているときに選択可能な項目である。RAW現像編集処理は、オート撮影モードなどのカメラ側で自動的に撮影項目の設定をして撮影を行うようなモードでは選択できない。
S201では、システム制御部101は、仮想光源処理が選択されたか否かを判定する。図6(a)のアイテム601は仮想光源処理に進むためのアイテム、アイテム602は背景ぼかし処理に進むためのアイテムである。アイテム601が選択されるとS201はYesとなる。仮想光源処理が選択されたと判定した場合は、S205へ進み、そうでない場合はS202に進む。
S202では、システム制御部101は、背景ぼかし処理が選択されたか否かを判定する。背景ぼかし処理は、人物の背景部分の明瞭度を変更可能な処理である。図6(a)におけるアイテム602が選択されるとS202はYesとなる。背景ぼかし処理が選択されたと判定した場合は、S203へ進み、そうでない場合は204へ進む。
S203では、システム制御部101は、背景ぼかし処理を実行する。
S204では、システム制御部101は、RAW現像編集処理を終了するか否かを判定する。RAW現像編集処理は、メニューボタン201の選択によって、メニュー画面へ戻ったり、シャッターボタン115を押下して撮影画面へと移行したり、デジタルカメラ100の電源をOFFにするとS204はYesとなる。RAW現像編集処理を終了すると判定した場合は、図2の処理を終了し、そうでない場合は、S201へ進む。
S205では、システム制御部101は、記録媒体124に記録されている画像の中に距離情報すなわち画像の深度に関する情報が付加されている画像があるか否かを判定する。距離情報は画像のExifデータとして記録されている。距離情報が付加されている画像があると判定した場合は、S208へ進み、そうでない場合は、206へ進む。
S206では、システム制御部101は、エラーメッセージを表示部111に表示する。図6(c)のガイド605はエラーメッセージの一例を示している。距離情報のある画像がない場合には、仮想光源処理を行えないのでS207へ進み、RAW現像編集処理を終了する。図6(c)では、ユーザがガイド605の内容を読んだことを確認するためOKを示すアイテム606が表示される。
S207では、システム制御部101は、ユーザがOKを示すアイテム606を選択したか否かを判定する。アイテム606が選択されるとRAW現像編集処理が終了する。
S208では、システム制御部101は、画像選択画面を表示部111に表示する。図6(b)には画像選択画面の一例を示す。画像選択画面では、記録媒体124に表示されている画像と共に、画像を選択することを示すガイド603や、後述する選択した画像に対して仮想光源の方向を変更する編集を行うための詳細設定を示すアイテム604が表示される。
S209では、システム制御部101は、画像の選択をするか否かを判定する。表示部111に表示されている画像が1枚の場合には、表示中の画像をユーザが選択しているものとして、S209の判定はYesとする。S215で後述するように画像が1枚表示(シングル再生)されている場合には、十字キー202の左右キー203c、dを用いて表示する画像を切り替えること(画像送り)が可能である。
画像選択画面では図6(b)に示すように画像が1枚表示されていてもいいし、複数枚が同時に表示(マルチ再生)されていてもよい。なお、S208に遷移して最初は図6(b)に示すように最新の画像1枚とガイド603やアイテム604が表示されるが、操作部200に含まれる不図示の縮小ボタンや、タッチ操作でピンチインをすると、表示される画像の枚数を増やすことができる。複数枚の画像が表示されている場合には、いずれかの画像を選択する操作がされるとS209がYesとなる。S209において画像が選択されたと判定した場合は、S210へ進む。
S210では、システム制御部101は、表示部111に画像を表示する。
S211では、システム制御部101は、表示中の画像の距離情報(深度情報)と、画像内に顔が検出されているか否かを示す顔情報を取得する。
S212では、システム制御部101は、S211で取得した情報より、選択中の画像の顔情報より、顔があったか否かを判定する。顔情報により顔があるとされた場合は、S215へ進み、そうでない場合は、S213へ進む。
S213では、システム制御部101は、エラーメッセージを表示部111に表示する。図6(d)にはエラーメッセージの一例を示しており、ガイド608に示すように顔を検出できなかったことを示すガイドを表示する。さらに、ユーザがガイド608の内容を読んだことを確認するためOKを示すアイテム607が表示される。
S214では、システム制御部101は、ユーザがOKを示すアイテム607を選択したか否かを判定する。アイテム607が選択されるとS215へ進む。
S215では、システム制御部101は、画像送りがされたか否かを判定する。画像送りは、十字キー202の左右キー202c、dや、タッチ操作での横方向へのタッチムーブにより行うことができる。画像送り(表示する画像の切り替え)がされたと判定した場合は、S216へ進み、そうでない場合は、S218へ進む。
S216では、システム制御部101は、仮想光源編集処理を実行するか否かを判定する。仮想光源編集処理とは、人物の顔への仮想光源の状態を仮想的な光源を用いてその方向や強さ等を変更することであり、図6(b)に示すアイテム604の詳細設定を選択することにより実行可能である。仮想光源編集処理を実行すると判定された場合は、S217に進み、そうでない場合は、S218へ進む。
S217では、システム制御部101は、仮想光源編集処理を実行する。仮想光源編集処理の詳細は、図3を用いて説明する。
S218では、システム制御部101は、画像の再編集を行うか否かを判定する。後述するように、各画像に対して仮想光源編集処理を行うと、編集した内容が保存され、保存された内容に対してさらに編集処理を継続することができる。つまり、以前の編集では仮想光源の方向を設定した状態で内容を保存すると、保存された仮想光源の方向はそのままで、今回は仮想光源の光の強さの調整を行うことができる。画像の再編集を行うと判定した場合は、S219に進み、そうでない場合はS221へ進む。なお、再編集のほかにも、前回編集した内容をリセットすることもできる。
S219では、システム制御部101は、編集データを取得する。編集データは選択した画像の距離情報や顔情報と共にExifに記録されていてもいいし、別途記録媒体124に記録されていてもよい。S218がYesと判定されて仮想光源編集処理に進んだ場合には、S219で取得した編集データをもとに図3の処理が行われる。
S220では、システム制御部101は、仮想光源編集処理を実行する。仮想光源編集処理の詳細は、図3を用いて説明する。
S221では、システム制御部101は、RAW現像メニュー画面に戻るか否かを判定する。RAW現像メニュー画面に戻るには、メニューボタン201を押下することにより戻ることができる。RAW現像メニュー画面に戻ると判定した場合は、S201へ進み、そうでない場合は、S216へ進む。
次に、図3を用いて本実施形態における仮想光源編集処理について説明をする。この処理は、不揮発性メモリ114に記録されたプログラムをシステムメモリ112に展開してシステム制御部101が実行することで実現する。図3の処理は図2のS217またはS220に進むと開始する。
S301では、システム制御部101は、表示部111に設定画面を表示する。図6(e)には設定画面の一例を示している。設定画面では、S209において選択された画像(撮像画像)と共に、各編集を行うためのアイテムが複数表示される。ここで、仮想光源編集処理において編集可能な仮想光源の状態を変更する処理について、設定画面に表示されるアイテムと共に説明をする。
アイテム609は、仮想光源照射範囲を3段階で変更する処理を行うためのアイテムである。仮想光源照射範囲は狭い、標準、広いから選択可能である。
アイテム610は、仮想光源の明るさを3段階で変更する処理を行うためのアイテムである。仮想光源の明るさは弱、中、強から選択可能である。
アイテム611は、選択する顔を変更するためのアイテムである。本実施形態においては複数の顔が検出されている場合に、仮想光源を照射する中心となる顔を選択することができる。ユーザが仮想光源の方向を右方向と設定すると、選択した顔の(編集を行っているユーザから見て)右方向から仮想光源が当たるように画像処理が行われる。このとき、他の顔が選択中の顔の(編集を行っているユーザから見て)右側にいる場合には、その他の顔の真ん中あたりに光が当たっていたり、左方向から光が当たっているようになる。つまり、ある顔に右側から仮想光源をあてたい場合には、その顔を選択したほうがユーザの所望の画像処理がされる。アイテム611を選択することにより、ユーザは仮想光源を当てる中心となる被写体を切り替えることができる。
アイテム612は、編集をリセットするためのアイテムであり、アイテム613は編集を保存するためのアイテムである。
アイテム614は、画像選択画面に戻るためのアイテムであり、アイテム615は、仮想光源の照射方向を示すアイテムである。さらにアイテム616は選択中の顔を示す(選択されていない顔を識別可能に示す)ためのアイテムである。
S302では、システム制御部101は、INFOボタン206が押下されたか否かを判定する。INFOボタン206が押下されたと判定した場合は、S303へ進み、そうでない場合はS304へ進む。
S303では、システム制御部101は、表示アイテムの変更設定を行う。図6(e)では設定画面においてはアイテム609からアイテム616が表示されることを説明した。仮想光源を用いて画像の編集を行う場合には、ユーザは被写体への光のかかり具合や雰囲気などを確認しながら編集作業を行う。よって、アイテムの表示のONとOFFを可能としている。INFOボタン206が押下されると、図6(g)に示すようにアイテム609からアイテム614、616が非表示になる。アイテム615は仮想光源の照射方向を示すアイテムであるので、表示したままにする。
S304では、システム制御部101は、顔選択をする指示がされたか否かを判定する。つまり、アイテム611が選択されたか否かを判定する。顔選択をする指示がされたと判定した場合は、S305へ進み、そうでない場合は、S306へ進む。
S305では、システム制御部101は、顔選択処理を実行する。顔選択処理は、図4を用いて後述する。
S306では、システム制御部101は、仮想光源の明るさ設定を変更する指示がされたか否かを判定する。つまり、アイテム610が選択されたか否かを判定する。明るさ設定を変更する指示がされたと判定した場合は、S307へ進み、そうでない場合は、S308へ進む。
S307では、システム制御部101は、仮想光源の明るさをユーザの指示に応じて変更する。アイテム610が選択されると、強、中、小の3段階を示すアイテムを表示し、ユーザが明るさの強さを選択可能にする。
S308では、システム制御部101は、仮想光源の範囲を変更する指示がされたか否かを判定する。つまり、アイテム609が選択されたか否かを判定する。範囲を変更する指示がされたと判定した場合は、S309へ進み、そうでない場合は、S310へ進む。
S309では、システム制御部101は、仮想光源照射範囲をユーザ指示に応じて変更する。アイテム3段階で変更する処理を行うためのアイテムである。アイテム609が選択されると、仮想光源照射範囲が狭い、標準、広いの3段階を示すアイテムを表示し、ユーザが範囲を選択可能にする。
S310では、システム制御部101は、画像上(アイテムを含まない)でのタップ操作がされたか否かを判定する。画像内であってもアイテム609−614の表示されている範囲がタップされたら、S310はNoとする。タップ操作がされたと判定した場合は、S311へ進み、そうでない場合は、S313へ進む。
S311では、システム制御部101は、エラーメッセージを表示部111に表示する。図6(f)のガイド617はS311で表示するエラーメッセージの一例であり、タッチムーブで仮想光源の向きを変更可能であることを示している。本実施形態においては、設定画面に表示されるアイテムの選択する操作と、仮想光源の方向を変更する操作とを区別するためにタッチムーブ操作によって仮想光源の方向を変更可能にしている。よって、アイテム609−614の表示されていない画像上の領域がタップされたと判定した場合は、エラーメッセージを表示する。タップ操作での仮想光源の方向の変更を受け付けないようにすることで、アイテムを選択しようとしたユーザのタッチ位置がアイテムの位置からずれてしまい、仮想光源の方向が意図せず変更されることを防ぐことができる。
S312では、システム制御部101は、ガイド617と共に表示されるOKを示すアイテム618が選択されたか否かを判定する。ユーザがアイテム618を選択すると、ユーザがガイド617を確認したとして、S313へ進む。
S313では、システム制御部101は、タッチムーブが検出されたか否かを判定する。タッチムーブを受け付ける領域は、本実施形態においては設定画面の全範囲である。タッチムーブが検出されたと判定した場合は、S314へ進み、そうえない場合はS315へ進む。
S314では、システム制御部101は、タッチムーブ処理を実行する。タッチムーブ処理については図5を用いて説明をする。
S315では、システム制御部101は、回転部材操作が検出されたか否かを判定する。回転部材操作とは、電子ダイヤル205またはコントローラホイール204への回転操作である。回転部材への操作が検出された場合には、S316へ進み、そうでない場合は、317へ進む。
S316では、システム制御部101は、回転部材操作処理を実行する。回転部材操作処理については図9を用いて説明をする。
S317では、システム制御部101は、十字ボタン操作を検出したか否かを判定する。十字ボタン202のいずれかのキーが操作された場合には、S317の判定はYesとなり、S318へ進み、そうでない場合は、S319へ進む。
S318では、システム制御部101は、十字ボタン処理を実行する。十字ボタン処理については図10を用いて説明をする。
S319では、システム制御部101は、仮想光源の編集のリセットを指示する操作がされたか否かを判定する。つまり、アイテム612が選択されたか否かを判定する。リセットが指示されたと判定した場合は、S320へ進み、そうでない場合は、S322へ進む。
S320では、システム制御部101は、アイテム615の示す仮想光源の方向を中央に戻す。アイテム615は仮想光源の方向を示している。仮想光源の方向を変更すると図6(h)のアイテム615に示すように、アイテム615aが中央から移動するが、S320において再び中央の位置に戻る。
S321では、システム制御部101は、仮想光源の編集を初期設定に戻す。つまり、仮想光源の強さや範囲などが変更されても初期設定に戻す。
S322では、システム制御部101は、編集を保存する指示がされたか否かを判定する。つまり、OKを示すアイテム613が選択されたか否かを判定する。S322において編集を保存する指示がされたと判定した場合は、S323へ進み、そうでない場合は、S324へ進む。
S323では、システム制御部101は、仮想光源の編集情報を保存し、記録媒体124に記録する。
S324では、システム制御部101は、編集画面の表示を終了する指示がされたか否かを判定する。つまり、アイテム614が選択されたか否かを判定する。編集画面の表示を終了する指示がされたと判定した場合は、図2のS221へ戻り、そうでない場合は、S302に戻る。
次に、図4を用いて本実施形態における顔選択処理について説明をする。この処理は、不揮発性メモリ114に記録されたプログラムをシステムメモリ112に展開してシステム制御部101が実行することで実現する。図4の処理は図3のS305に進むと開始する。
S401では、システム制御部101は、図2のS211で取得した顔情報に基づき、顔が複数検出されているか否かを判定する。顔が複数検出されていると判定した場合は、S402へ進み、そうでない場合は、図4の処理を終了する。
S402では、システム制御部101は、表示部111に顔選択画面を表示する。顔選択画面においては、ユーザが仮想光源の照射方向を変更する中心となる被写体(顔)を切り替えることができる。なお、画像と共に記録されている顔に関する情報に基づき、切替可能な顔が決まる。例えば、顔が小さすぎたり、ぼけていたりする場合には、画像内に被写体がいたとしても顔として検出されない可能性が高く、顔選択画面においてその顔が選択できない可能性が高い。図6(i)には、顔選択画面の一例を示す。アイテム616は現在選択中の顔を示すアイテム(顔枠)である。アイテム616の横には矢印を示すマーク620が表示されており、アイテム616を移動可能であることを示している。また、アイテム619は選択可能な顔を示すアイテム(顔枠)である。
本実施形態においては、顔を選択する操作を受け付ける画面と、照射方向を変える画面(効果のかかり具合を変える画面)とを切り替えており、一方の操作を受付可能なときには他方の操作は受け付けないようにしている。これにより、照射方向を変えるときに選択可能な顔を示すアイテム619が表示されないので、ユーザは効果のかかり具合を確認しやすくなりつつも、選択画面において選択中の顔と選択可能な顔とを確認することができる。
また、ユーザがタッチ操作で顔を選択しようとしたときに、タッチ位置が動き、意図しない照射方向に変更されてしまう可能性を低減することができる。また、ユーザが照射方向をタッチ操作で変更しようとしているときに、意図せず顔をタッチしてしまい選択する顔が意図せず変更されてしまう可能性を低減することができる。ただし、タッチ操作ではなく、操作部材への操作で顔の選択や照射方向の変更を行っている場合には、顔の選択を受け付ける画面と照射方向を変える画面とが同じでもよい。
S403では、システム制御部101は、選択する顔を変更可能な操作部材への操作がされたか否かを判定する。選択する顔は、マルチコントローラー208を左右へ移動させる操作、または選択可能な顔の位置が現在選択中の顔の上下にある場合には、上下へマルチコントローラー208を移動させることにより選択可能である。さらに、コントローラーホイール204の回転によっても選択する顔を変更可能である。選択する顔を変更可能な操作部材への操作がされたと判定した場合は、S404へ進み、そうでない場合は、S406へ進む。
S404では、システム制御部101は、選択する顔を変更する処理を行い、選択中の顔を示すアイテム616の表示を更新する処理を行う。図6(j)は、図6(i)から選択する顔が変更された場合の表示例を示している。図6(i)では、アイテム616の表示されている顔が右側にいる被写体から左側にいる被写体に映っている。
S405では、システム制御部101は、S404において選択された顔を中心として仮想光源を照射する画像処理を行う。選択する顔が変更されるときは、直前に選択していた顔において設定されていた照射方向や明るさのパラメータをそのまま引き継いでS405においても画像処理を行う。ただし、顔が切り替わる度に初期方向から仮想光源を照射する画像処理をするようにしてもよい。直前に選択していた顔において設定されていた照射方向をそのまま引き継ぐ場合、例えば、画像全体として右側が暗いような場合で、ユーザが右方向から光を当てたいが、どのユーザを中心として仮想光源を照射するのが最も適切かを比較したい場合に有効である。ユーザは元の仮想光源の照射方向を変更する画面に戻って照射方向を変更する操作をしなくても、顔選択画面において顔を切り替えるだけで、選択する顔による効果のかかり具体を比較することができる。この時、選択された顔に対して仮想光源の効果を反映するタイミングは、変更後即でも良いし、一定時間経過後でも良い。
S406では、システム制御部101は、選択可能な顔に対してタッチ操作がされたか否かを判定する。選択可能な顔、すなわち、アイテム619が選択された顔に対してタッチ操作がされたと判定した場合は、S407へ進み、そうでない場合は、S409へ進む。
S407とS408の処理は、S404とS405の処理と同様の処理である。
S409では、システム制御部101は、顔選択画面から設定画面に戻る操作がされたか否かを判定する。顔選択画面から設定画面にはアイテム620の選択により行うことができる。S409でYesと判定された場合は、図4の処理を終了し、そうでない場合は、S403に戻る。
次に、図5を用いて本実施形態におけるタッチムーブ処理について説明をする。この処理は、不揮発性メモリ114に記録されたプログラムをシステムメモリ112に展開してシステム制御部101が実行することで実現する。図5の処理は図3のS314に進むと開始する。
S501では、システム制御部101は、選択中の顔を示すアイテム616を非表示にする。図6(h)は、タッチムーブ処理が行われた際の設定画面の一例を示しており、図6(e)に示す設定画面の状態からタッチムーブが開始されたことが検知されるとアイテム616が非表示になる図6(h)の状態になる。アイテム616を表示することにより選択中の顔がどの顔であるか分かるとユーザは現在仮想光源が照射されている中心の顔がわかりやすい。一方で、顔の周りにアイテムが表示されたままだと照射の効果がどのように変わったのか、分かりにくくなる。よって、タッチムーブが開始し、ユーザが照射方向を変えた(効果のかかり具合を変更し始めた)ことに応じてアイテム616を非表示にする。これにより、ユーザは仮想光源の効果が把握しやすくなるとともに、選択中の被写体を(仮想光源の効果を変更する直前までアイテム616が表示されているので)認識できる。なお、アイテム616を非表示にしなくても、選択中の顔の周りとアイテムが重なる領域を小さくしたり、アイテム616の表示を薄くするなどしてもよい。
S502では、システム制御部101は、S313において検出されたタッチムーブの方向と長さを検出(ベクトル)する。
ここで、仮想光源の照射方向と照射方向を示すアイテムの表示について図7を用いて説明をする。
仮想光源は選択中の顔を中心に顔前面を覆う半球の表面領域701を移動させることができる。仮想光源は常時、顔の中心を向いているため半球の表面領域を移動させることによって光源の方向を自由に変えることができる。画面に表示されるアイテム615は半球の表面領域701を平面に投影した状態を表しており、仮想光源の可動範囲707、仮想光源のカレント位置を表す指標708(図6においてはアイテム615a)、半球の表面領域の頂点を示す中心指標709で構成される。仮想光源の代表的な位置を702〜706(順番に位置AからEとする)で示す。これらの位置は照射方向を示すアイテム上でそれぞれ710〜714に示すようにあらわされる。照射方向以外の明るさや照射範囲のパラメータが一定であれば、アイテム615aの位置がどこであっても選択中の顔にかかる仮想光源の強さは同じである。つまり、中心指標709の近くに指標708が近づいたからと言って、仮想光源が選択中の顔に近づいたり、光が強くなるような効果がかかるわけではない。あくまでも、仮想光源が移動可能な半球を2次元で表現したものがアイテム615(可能範囲707)である。仮想光源の照射方向、すなわち仮想光源の半球の表面領域上の位置はタッチパネル200aや操作部材120を使用して変更できる。さらに、仮想光源の方向の変更に応じて照射方向を示すアイテム上の指標も移動するため、操作者は設定画面上でアイテム615aを移動させる感覚で仮想光源の照射方向を変更することができる。
設定画面においてアイテム615の線上にアイテム615aが移動した場合には、さらに外側にはアイテム615aは移動できない。よって、例えば、アイテム615aがアイテム615の右端に移動している場合に、ユーザが右斜め上方向のタッチムーブをした場合には、アイテム615aは上方向にだけ(上方向のタッチムーブのベクトル分)、円周上を沿うように移動する。
以上が、図7に関する説明である。
S503では、システム制御部101は、S502で検出したタッチムーブのベクトルに基づき、仮想光源の移動量、すなわち、半球状においてどの角度分移動するのかを算出する。
S504では、システム制御部101は、現在の仮想光源の位置からS503において算出した移動量、移動させた位置を算出する。
S505では、システム制御部101は、S504で算出された位置に基づいてアイテム615の表示を更新する。
S506では、システム制御部101は、S514で算出された位置に基づいて仮想光源を照射する方向を変更した画像処理を行う。以上のように、仮想光源の照射方向は、ユーザのタッチ開始位置に関わらず、タッチムーブの量、方向に応じて、タッチムーブの開始時の設定から変更される。すなわち、右方向からの仮想光源を照射している場合には、設定画面の左側をタッチムーブすることにより照射方向を変更することができるので、タッチ操作を行うユーザの指が選択中の顔にかからず、視認性が低下しない。また、設定画面上で仮想光源を示すアイテムを画像に重畳して表示せず、選択中の被写体に対する仮想光源の方向が分かるアイテム615を表示するので、相対的にタッチ操作を行っていても現在の照射方向が分かる。設定画面上で仮想光源を示すアイテムを画像に重畳して表示すると、仮想光源の照射範囲が狭く設定された場合に選択中の顔に重畳して、もしくは非常に近い位置にアイテムが表示される可能性がある。よって、本実施形態で説明したようなアイテム615を表示することによりユーザの設定に関わらず、視認性良くユーザは照射方向の変更操作をタッチ操作で行うことができる。また、図4で説明をした顔の選択では、画像上のタッチ位置にある被写体を選択するが(絶対位置指定)、照射方向を変更するときには相対的な位置指定をする。効果をかける被写体の選択では直接画面上で選択する対象をタッチしたほうがユーザは分かりやすいが、画像の効果は相対的に変更ができたほうが被写体に対する効果が分かりやすい。
S507では、システム制御部101は、タッチムーブが停止したか否かを判定する。タッチムーブが停止したと判定した場合は、S508へ進み、そうでない場合は、S502へ進む。
S508では、システム制御部101は、表示カウントTの計測を開始する。表示カウントTは、S501において非表示にした選択中の顔を示すアイテム615を再び表示するまでの時間をカウントするための時間である。タッチムーブが停止されてから本実施例においては、タッチムーブが開始されないまま2秒間経過するとアイテム615が再び表示される。
S509では、システム制御部101は、表示カウントTが2秒経過したか否かを判定する。表示カウントTが2秒経過したと判定した場合は、S510に進み、アイテム615を再び表示する。表示カウントTが2秒経過していないと判定した場合はS511に進む。
S511では、システム制御部101は、タッチムーブが再び開始されたか否かを判定し、再びタッチムーブが開始したと判定した場合は、S502へ進み、そうでない場合は、S509へ進む。
ここで、本実施形態におけるタッチムーブ操作による仮想光源の照射方向の変更操作について図8を用いて説明する。
前述の通りタッチ操作による照射方向の変更はタッチムーブの方向と長さに応じて相対的に行われる。操作者が目的の位置(すなわち照射方向を示す位置)まで仮想光源を移動させるには、図8(a)に示すように、同じ向きに数回タッチムーブ(ドラッグ)を繰り返しアイテム615aの位置が目的の位置に到達するようにする。また、アイテム615aが図7で説明をした半球領域の外周に到達した状態でさらに半球を超える領域に向けてタッチムーブを継続すると、図8(b)に示すようにタッチムーブ方向に応じて指標は外周に沿うように移動する。つまり、図8(a)では、ユーザのタッチムーブのベクトルがX0とすると、アイテム615aはX0に対応するX‘0移動する。図8(a)における移動の結果、アイテム615の円周上にアイテム615aが位置した状態から、ユーザが右上方向にさらにタッチムーブをすると以下のようになる。図8(b)におけるタッチムーブのベクトルをX1とし、x軸、y軸それぞれの移動量をx1、y1とする。このとき、アイテム615aはx1に応じたx2の移動量、x軸方向に移動するように、アイテム615の円周に沿って移動する。
また、アイテム615aの位置がタッチムーブ操作と相対的な関係で移動するため、設定画面のどの位置でタッチムーブ操作しても任意の方向に指標を移動させることができる。特にデジタルカメラ100やスマートフォンなどの画面が小さい機器では操作性が向上する。
一方で、画面上の位置を絶対位置で指定する方法は直感的に位置を認識しやすい利点がある。本実施形態では選択可能な顔は画面の端であってもよいので、相対的に仮想光源の照射方向を変更可能であれば、図8(c)のように選択中の顔が画面の右端にいても操作がしやすい。
次に、図9を用いて本実施形態における回転部材操作処理について説明をする。この処理は、不揮発性メモリ114に記録されたプログラムをシステムメモリ112に展開してシステム制御部101が実行することで実現する。図9の処理は図3のS316に進むと開始する。
S901では、システム制御部101は、図5のS501と同様に選択中の顔を示すアイテム616を非表示にする。
S902では、システム制御部101は、コントローラーホイール204の右回転操作を受けたかどうかを判定する。右回転操作を受け付けた場合はS903へ進み、そうでない場合はS907へ進む。
S903では、システム制御部101は、照射方向を示すアイテム(すなわちアイテム615a)が可動範囲の曲線上(アイテム615の円周上)にあるかを判定する。例えば図7のB、C、D、Eに示す位置は曲線上にあるということを示している。曲線上にある場合はS904へ進み、そうでない場合はS905へ進む。なお、アイテム615aの位置で判定するのではなく、現在設定されている照射方向が、照射可能範囲の端であるか(境界の位置)否かを判定してもよい。
S904では、システム制御部101は、アイテム615aが可動範囲全体の下半分の領域内にあるかを判定する。ここでいう、可動範囲全体の下半分の領域とは、図11(a)の領域1111で示す領域を指している。下半分の領域にある場合はS918へ進み、そうでない場合はS905へ進む。
本実施形態では回転部材が操作された場合に、可動範囲の移動指示方向の曲線上にある場合には、アイテム615aを移動しないようにする。例えば、図11−2のFの位置にアイテム615aがあった場合に、コントローラーホイール204を右回転されたことに応じて図11−2のGの位置に移動するようにしたとする。コントローラーホイール204の右回転は下方向への移動指示である。この場合、コントローラーホイール204を右回転させたはずが、下方向に移動するために曲線上(つまり円周上)ではアイテム615aが左回転方向への移動(1123)がおこる。1122から1124の移動は円周上の移動としては左回転方向の移動となるため、ユーザの操作部材の回転方向とはアイテム615aの移動方向が逆向きになってしまうが、アイテム615aを移動しないようにすることでユーザに違和感を与えない。つまり、ユーザの操作性が直感的になる。
S905では、システム制御部101は、アイテム615aを1メモリ下へ移動させる処理を行う。例えばこの移動は、図7のBの位置から図11(b)のB’の位置移動のように下方向にアイテム615aが移動することを表している。つまり、コントローラーホイール204を右回転すると、アイテム615aは下方向(つまり図11(e)のY成分のプラス方向)に移動することがわかる。
S906では、システム制御部101は、ユーザ操作に応じて仮想光源を照射する方向を変更した画像処理を行う。コントローラーホイール204を右回転した場合は、下方向にアイテム615aが移動し、照射方向が下方向に移動する。
S907では、システム制御部101は、コントローラーホイール204の左回転操作を受けたかどうかを判定する。左回転操作を受け付けた場合はS908へ進み、そうでない場合はS921へ進む。
S908では、システム制御部101は、アイテム615aが可動範囲の曲線上(アイテム615の円周上)にあるかを判定する。曲線上にある場合はS909へ進み、そうでない場合はS910へ進む。
S909では、システム制御部101は、アイテム615aが可動範囲全体の上半分の領域内にあるかを判定する。ここでいう、可動範囲全体の上半分の領域とは、図11(a)の領域1112で示す領域を指している。上半分の領域にある場合はS918へ進み、そうでない場合はS910へ進む。
S910では、システム制御部101は、アイテム615aを1メモリ上へ移動させる処理を行う。
S911では、システム制御部101は、電子ダイヤル205の右回転操作を受けたかどうかを判定する。右回転操作を受け付けた場合はS912へ進み、そうでない場合はS915へ進む。
S912では、システム制御部101は、アイテム615aが可動範囲の曲線上(アイテム615の円周上)にあるかを判定する。曲線上にある場合はS913へ進み、そうでない場合はS914へ進む。
S913では、システム制御部101は、アイテム615aが可動範囲全体の右半分の領域内にあるかを判定する。ここでいう、可動範囲全体の右半分の領域とは、図11(a)の領域1113で示す領域を指している。右半分の領域にある場合はS918へ進み、そうでない場合はS914へ進む。
S914では、システム制御部101は、アイテム615aを1メモリ右へ移動させる処理を行う。
S915では、システム制御部101は、アイテム615aが可動範囲の曲線上(アイテム615の円周上)にあるかを判定する。曲線上にある場合はS916へ進み、そうでない場合はS917へ進む。S911においてNoと判定されたのでS915〜S917の処理は、電子ダイヤル205が左回転された際の処理である。
S916では、システム制御部101は、アイテム615aが可動範囲全体の左半分の領域内にあるかを判定する。ここでいう、可動範囲全体の左半分の領域とは、図11(a)の領域1114で示す領域を指している。左半分の領域にある場合はS918へ進み、そうでない場合はS917へ進む。
S917では、システム制御部101は、アイテム615aを1メモリ左へ移動させる処理を行う。なお、本実施形態では、回転部材の所定量の回転(1パルス分)において1メモリ分アイテム615aを移動するとしているが、この1メモリとは照射方向においては例えば5度や10度といった角度分に相当する移動量を示している。
S918では、システム制御部101は、図5のS508と同様に表示カウントTの計測を開始する。
S919では、システム制御部101は、図5のS509と同様に表示カウントTが2秒経過したか否かを判定する。表示カウントTが2秒経過したと判定した場合は、S920に進み、アイテム615を再び表示する。表示カウントTが2秒経過していないと判定した場合はS921に進む。
S921では、システム制御部101は、回転部材操作が再び検出されたか否かを判定し、検出された場合は、S902へ進み、そうでない場合は、S919へ進む。
次に、図10を用いて本実施形態における十字ボタン操作処理について説明をする。この処理は、不揮発性メモリ114に記録されたプログラムをシステムメモリ112に展開してシステム制御部101が実行することで実現する。図10の処理は図3のS318に進むと開始する。
S1000では、システム制御部101は、図5のS501と同様に、選択中の顔を示すアイテム616を非表示にする。図5で説明をしたタッチ操作であっても、十字ボタンや回転部材を用いた操作部材であっても、仮想光源の照射方向を変更する指示がされたことに応じて選択中の顔を示すアイテムが非表示になり、照射の効果が分かりやすくなるようにする。
S1001では、システム制御部101は、十字ボタン202の下キー202bが押下されたか否かを判定する。下キー202bが押下されたと判定した場合は、S1002へ進み、そうでない場合は、S1007に進む。
S1002では、システム制御部101は、図9のS903と同様に、照射方向を示すアイテム(すなわちアイテム615a)が可動範囲の曲線上(アイテム615の円周上)にあるかを判定する。曲線上にある場合はS1003へ進み、そうでない場合はS1005へ進む。
S1003では、システム制御部101は、図9のS904と同様に、アイテム615aが可動範囲全体の下半分の領域内にあるかを判定する。下半分の領域にある場合はS1004へ進み、そうでない場合はS1005へ進む。
S1004では、システム制御部101は、アイテム615aが可動範囲(曲線上)の最下部にあるか否かを判定する。すなわち、これ以上アイテム615aが下方向に移動できない位置にあるのかを判定する。これは、図7のDの状態である。アイテム615aが可動範囲の最下部にあると判定した場合は、S1025に進み、そうでない場合は、S1005へ進む。
S1005では、システム制御部101は、アイテム615aを1メモリ下方向になるように、可動範囲の曲線に沿って移動する。つまりアイテム615aの移動距離は1メモリよりも大きくなるが、図11(e)のy軸プラス方向に1メモリ分座標が変わるように、曲線上を移動する。
S1006では、システム制御部101は、図9のS905と同様に、アイテム615aを1メモリ下へ移動させる処理を行う。
S1007では、システム制御部101は、図9のS906と同様に、ユーザ操作に応じて仮想光源を照射する方向を変更した画像処理を行う。
S1008では、システム制御部101は、十字ボタン202の上キー202aが押下されたか否かを判定する。上キー202aが押下されたと判定した場合は、S1009へ進み、そうでない場合は、S1014に進む。
S1009では、システム制御部101は、図9のS903と同様に、照射方向を示すアイテム(すなわちアイテム615a)が可動範囲の曲線上(アイテム615の円周上)にあるかを判定する。曲線上にある場合はS1010へ進み、そうでない場合はS1013へ進む。
S1010では、システム制御部101は、図9のS909と同様に、アイテム615aが可動範囲全体の上半分の領域内にあるかを判定する。上半分の領域にある場合はS1011へ進み、そうでない場合はS1013へ進む。
S1011では、システム制御部101は、アイテム615aが可動範囲(曲線上)の最上部にあるか否かを判定する。すなわち、これ以上アイテム615aが上方向に移動できない位置にあるのかを判定する。これは図7のBの状態である。アイテム615aが可動範囲の最上部にあると判定した場合は、S1025に進み、そうでない場合は、S1012へ進む。
S1012では、システム制御部101は、アイテム615aを1メモリ上方向になるように、可動範囲の曲線に沿って移動する。つまりアイテム615aの移動距離は1メモリよりも大きくなるが、図11(e)のy軸マイナス方向に1メモリ分座標が変わるように、曲線上を移動する。
S1013では、システム制御部101は、アイテム615aを1メモリ上へ移動させる処理を行う。
S1014では、システム制御部101は、十字ボタン202の右キー202dが押下されたか否かを判定する。右キー202dが押下されたと判定した場合は、S1015へ進み、そうでない場合は、S1020に進む。
S1015では、システム制御部101は、図9のS903と同様に、照射方向を示すアイテム(すなわちアイテム615a)が可動範囲の曲線上(アイテム615の円周上)にあるかを判定する。曲線上にある場合はS1016へ進み、そうでない場合はS1019へ進む。
S1016では、システム制御部101は、図9のS913と同様に、アイテム615aが可動範囲全体の右半分の領域内にあるかを判定する。右半分の領域にある場合はS1017へ進み、そうでない場合はS1019へ進む。
S1017では、システム制御部101は、アイテム615aが可動範囲(曲線上)の最右部(右端)にあるか否かを判定する。すなわち、これ以上アイテム615aが右方向に移動できない位置にあるのかを判定する。これは図7のCの状態である。アイテム615aが可動範囲の最右部にあると判定した場合は、S1025に進み、そうでない場合は、S1018へ進む。
S1018では、システム制御部101は、アイテム615aを1メモリ右方向になるように、可動範囲の曲線に沿って移動する。つまりアイテム615aの移動距離は1メモリよりも大きくなるが、図11(e)のx軸プラス方向に1メモリ分座標が変わるように、曲線上を移動する。
S1019では、システム制御部101は、図9のS914と同様に、アイテム615aを1メモリ右へ移動させる処理を行う。
S1020では、システム制御部101は、図9のS903と同様に、照射方向を示すアイテム(すなわちアイテム615a)が可動範囲の曲線上(アイテム615の円周上)にあるかを判定する。曲線上にある場合はS1021へ進み、そうでない場合はS1024へ進む。
S1021では、システム制御部101は、図9のS916と同様に、アイテム615aが可動範囲全体の左半分の領域内にあるかを判定する。左半分の領域にある場合はS1022へ進み、そうでない場合はS1024へ進む。
S1022では、システム制御部101は、アイテム615aが可動範囲(曲線上)の最左部(左端)にあるか否かを判定する。すなわち、これ以上アイテム615aが左方向に移動できない位置にあるのかを判定する。これは図7のEの状態である。アイテム615aが可動範囲の最左部にあると判定した場合は、S1025に進み、そうでない場合は、S1023へ進む。
S1023では、システム制御部101は、アイテム615aを1メモリ左方向になるように、可動範囲の曲線に沿って移動する。つまりアイテム615aの移動距離は1メモリよりも大きくなるが、図11(e)のx軸マイナス方向に1メモリ分座標が変わるように、曲線上を移動する。
S1024では、システム制御部101は、図9のS917と同様に、アイテム615aを1メモリ左へ移動させる処理を行う。
S1025〜S1027は、図9のS918〜S920と同様の処理である。
S1028では、システム制御部101は、十字ボタン操作が再び検出されたか否かを判定し、検出された場合は、S1001へ進み、そうでない場合は、S1026へ進む。
図11(f)〜(i)を用いて、十字ボタン202(マルチコントローラー208)や回転操作部材が操作された時のアイテム615aの移動について説明をする。図11(f)〜(i)は、移動前後のアイテム615aの様子を示している。十字ボタン202の下キー202b(マルチコントローラー208の下方向)が操作されると図11(f)のように、アイテム615aが移動する。このとき、コントローラーホイール204を右回転した場合にも、図11(f)のようにアイテム615aが移動する。一方で、図11(g)に示すように、移動前のアイテム615aが可動範囲の曲線上にある場合には、十字ボタン202の下キー202bが操作されると、曲線に沿って移動をする。
同様に、十字ボタン202の右キー202dが操作されると図11(h)のように、アイテム615aが移動する。このとき、電子ダイヤル205を右回転しても図11(h)のようにアイテム615aが移動する。アイテム615aが可動範囲の曲線上にある場合には、図11(i)に示すように、アイテム615aは曲線に沿って移動する。
コントローラーホイール204や電子ダイヤル205の回転操作がされたときには、アイテム615aが可動範囲の曲線上(境界)にあるときには移動しない。
上述のように、本実施形態においては、十字ボタン202やマルチコントローラー208への操作では、曲線上に沿ったアイテム615aの移動を許可している。回転部材ではないので、移動の指示方向と操作方向とが一致している。よって、アイテム615aが操作方向と反対方向に移動しない限り、操作方向にだけ移動しなくても、操作方向に向かってさえいればユーザに違和感を与えにくい。つまり、右方向への指示をした場合、アイテム615aがX軸マイナス方向に移動しなければ、多少Y軸方向に移動したとしてもX軸プラス方向にさえ移動していれば、ユーザは操作方向とアイテム615aの移動方向があっていることが分かる。操作方向とアイテム615aの移動方向があってさえすれば、ユーザは操作方向に基づいてアイテム615aが移動していることが分かるので、直感的な操作をすることができる。一方で、右方向への指示をしているのに、X軸プラス方向には移動せず、Y軸方向のみに移動したり、X軸マイナス方向に移動すると操作方向に基づいてアイテム615aが移動していないようにユーザが感じる可能性が高い。このように、回転操作部材と、操作方向と移動指示方向が一致している操作部材とで、アイテム615aの移動処理を変更することによって、いずれの操作部材を操作してもユーザは操作性が高く操作することができる。
なお、十字ボタン操作処理において、操作部材については十字ボタンに限定せず、たとえば、ジョイスティックのように一部材で複数成分方向の操作ができるような部材で同様の処理をしてもよい。
また、本実施形態ではコントローラーホイール204と電子ダイヤル205の回転部材のみ記載した。これに限らず、上記インジケータの表示面と回転軸が直交するような位置に配置されているすべての回転部材において上記処理(曲線上で回転部材を操作しても曲線上方向の移動をさせないようにする)を行うようにしてもよい。そのように制御することで、ユーザへ違和感のない操作を提供できる効果がある。
コントローラホイール204や電子ダイヤル205はそれぞれ一軸に沿った移動指示が可能であり、コントローラホイール204の移動方向であるY軸方向は、電子ダイヤル205の移動方向であるX軸に対して直行している。よって、X軸方向に移動したのに、他方の操作部材で移動可能な方向であるY軸方向にも移動してしまうとユーザがどちらの操作部材でどの方向に沿って移動するのか分からなくなってしまう可能性がある。一方で、十字キー202やマルチコントローラー208のように1つの操作部材において二軸に沿った移動指示が可能な場合には同じ操作部材内でX軸方向にもY軸方向への移動指示も可能である。よって、少なくとも指示方向にさえ移動していればユーザに違和感を与える可能性が低い。このように、操作部材が、一軸と二軸のいずれの移動指示が可能かによって、移動制御を変えることでユーザの操作性が向上する。操作部材への操作により移動指示が可能なX軸と、X軸と直行するY軸とは異なる軸に沿って形成される(囲われる)領域であれば、円の中での移動でなくても、図9、10の処理は有効である。つまり、ひし形や楕円形でも有効である。
以上より、本実施形態による1つの効果としては、タッチ操作で仮想光源の照射方向を変更する際に、タッチ操作を行うユーザの指が選択中の顔にかからず、視認性が低下しない。また、選択中の被写体に対する仮想光源の方向が分かるアイテム615を表示するので、相対的にタッチ操作を行っていても現在の照射方向が分かる。よって、視認性良くユーザは照射方向の変更操作をタッチ操作で行うことができる。
以上より、本実施形態による1つの効果としては、ユーザは仮想光源の効果が把握しやすくなるとともに、選択中の被写体を認識できる。
以上より、本実施形態による1つの効果としては、仮想光源の照射方向を回転操作部材で変更する場合に、ユーザが直感的な操作をすることができる。
次に、図12のフローチャートと図13の画面表示例を用いて、図3のS301の詳細設定表示の変形例について説明する。詳細設定表示の表示以外については、図1から図11を用いて説明をした実施形態と同様である。ただし、変形例では説明のために、アイテム615は表示せず、仮想光源を直接画像に重畳して表示(仮想光源1304)するものとしているが、アイテム615を表示してもよい。
図12は、S301の処理の詳細設定表示の変形例を説明するためのフローチャートである。
システム制御部101は、選択された画像に含まれる顔を検出する。顔が複数ある場合は、複数の顔を検出する。(S1202)
図13(a)〜(e)は、詳細設定画面の表示処理を実行する時の画面表示例である。
図13(a)は、画像1300(撮像画像)に含まれる顔を検出している様子を示している。顔1302、顔1306を検出したことを示している。また、図13(a)には、画像1300と重畳して表示される仮想光源1304を表示している。仮想光源1304は、選択された顔に対して、光源を当てた時のような効果をかける処理を行う際の光源を当てる方向を示すアイテムである。また、仮想光源1304は、ユーザのタッチ操作に従って、相対位置で移動することができる。もしくは、十字キー202や回転操作部材を用いて移動可能である。仮想光源の移動については、図5、9、10と同様である。
システム制御部101は、検出した顔に対して、その顔を囲う所定以上の幅の領域を設定する。(S1204)
図13(b)は、検出した顔に対して、顔を囲う所定以上の幅の領域を設定している様子を示している。
顔を囲う所定以上の幅の領域とは、仮想光源と顔領域との距離を所定以上離すよう移動した場合に、効果に変化がなくなる領域である。つまり、顔を認識した領域に所定の幅分だけ拡張した領域であり、顔に対して仮想光源による一定以上の効果がある領域のことを指している。一定以上の効果とは仮想光源がかかっていることが表示画面上で認識できるくらいの効果であり、一定以上の効果をかけられるだけ離れた位置が所定の幅となる。よって、同じ顔を選択していてもユーザが仮想光源の範囲を変えたり、明るさを変えるとS1204における幅が変わる。顔への画像処理の効果が分からなくくらいまで仮想光源が離れた位置に配置する可能性は低いので、所定の幅を設け、画像の縮小率が小さくならず、被写体の視認性が低下しないようにしつつ、操作性を向上させる。言い換えると、選択可能な被写体が表示部111(表示面)の中央領域にある場合には、画像を縮小せずに表示するが、中央領域にない場合には縮小する。
変形例では、顔として認識した領域の中心から、当該領域の端までの長さを1とした場合、所定の幅を0.7の長さとする。所定の幅が顔の領域に対して、小さすぎる場合は、デジタルカメラ100のような小さい表示部111に表示する際や、顔が画像の端に位置する場合に、タッチ操作をすると、仮想光源が顔に重なり、顔への効果がわかりづらいといったことがある。また、所定の幅が顔の領域に対して、大きすぎる場合は、後述する縮小率が大きくなり、画像の効果が確認しづらくなってしまうことがある。よって、顔の周りに閾値以上の幅がある場合には画像を縮小しない。
図13(b)では、顔1302に、領域1308が設定されており、顔1306に、領域1310が設定されている。複数の顔を検出した場合は、顔ごとに領域を設定する。
顔を囲う所定以上の幅の領域の形状は、顔の検出領域を考慮した形状とする。図13は、顔の検出領域が四角であったため、四角の形状の領域であるが、顔の検出領域が丸であった場合は、丸の形状の領域でもよい。
システム制御部101は、S1204において設定した領域が、表示部111の表示範囲内に収まっているかを判定する。S1204における領域が複数ある場合は、複数の領域が表示部111の表示範囲内に収まっているかを判定する。表示部111の表示範囲内に収まっている場合は、S1210に進み、そうでない場合は、S1208に進む(S1206)。
図13(b)の例では、領域1310が表示部111の表示範囲内に収まっていないと判定される。
S1206で、表示部111の表示範囲内に収まっていないと判定した場合、システム制御部101は、S1204で設定した領域が表示部111の表示範囲内に収まるように、画像を縮小して表示するための縮小率を算出する(S1210)。つまり、顔が表示部111の端に近いほど、もしくは顔が大きいほど縮小率が大きくなり、画像が小さく表示される。
システム制御部101は、表示部111にS1210で算出した縮小率の大きさで画像を表示する(S1212)。
なお、S1206では、複数の顔の全てに対して判定を行うことを説明したが、これに限らず、選択中の顔に対してのみ判定を行ってもよい。選択中の顔に対してのみ判定を行うと、縮小率が小さくなり画像の視認性が大きくなる。全ての顔に対して判定を行うと、選択する顔を変更しても画像の表示サイズが変わらないので同じサイズで画像処理のための操作が継続できるので良い。また、縮小率は被写体の位置や大きさに関わらず、一定にしてもよい。
図13(c)は、表示部111に表示している表示領域1312に対して、画像1300を縮小した画像1314を表示している様子を示す。図13(b)のように、領域1310が表示部111の範囲内に収まっていない場合には画像を縮小して表示する。領域1310が表示部111の表示領域1312に収まるように算出した縮小率で、画像1300を縮小して画像1314を表示している。画像を縮小して表示したため、仮想光源1304を顔1306の右側に配置することができる。
S1206で、表示部111の表示範囲内に収まっていると判定した場合、システム制御部101は、S1212のように画像を縮小せずに表示する。(S1208)。つまり、同じ画像であってもS1208で表示されるときの方がS1212で画像が表示されるときよりも、大きく画像が表示される。
図13(d)は、画像1318に含まれる顔を検出している様子を示している。顔1320、顔1322を検出したことを示している。また、図13(d)には、仮想光源1328を表示している。
図13(e)は、検出した顔に対して、その顔を囲う所定以上の幅の領域を設定している様子を示している。顔1320は、領域1324が設定されており、顔1322は、領域1326設定されている。図13(e)では、領域1324も領域1326も表示部111の表示範囲内に収まっているため、画像1318を縮小せずに表示する。画像を縮小しなくても、仮想光源1328を顔1322の右側や他の方向にも配置できるので、ユーザは操作性良く、仮想光源の方向を変更する処理を行うことができる。
以上、変形例では、顔の位置から算出する情報に応じて、画像を縮小して表示するか、画像を縮小しないで表示するかを制御する。これにより、顔が画面の端に位置し、画面の外に仮想光源を移動したい場合でも、容易に仮想光源の移動がしやすくなる。
なお、顔が画像の端の領域に位置する(中央領域に位置していない)ことを条件(S1206の所定領域を考慮せず)に、画像を縮小して表示してもよいし、S1206において選択中の顔にだけ判定をしてもよい。また、仮想光源への操作について、ユーザのタッチ操作に従って、絶対位置で移動する場合でも、同様の効果が得られる。ユーザのタッチ位置に仮想光源を移動する絶対位置での移動の場合でも、顔の周りに領域ができるように画像を縮小表示することでユーザの操作性が向上する。
また、仮想光源の対象は人の顔でなくても、動物や乗り物、建物といった被写体でもいい。
さらに、仮想光源の照射方向ではなく、選択済の位置と所定の処理を行うための位置との2点を選択するような場合にも適用可能である。例えば、選択済の位置にある被写体に対して、選択済の位置とは異なる位置を選択すると、異なる位置から被写体に対して被写体が流れるような画像効果をかけたり、被写体を伸ばすような効果をかける場合にも適用可能である。仮想光源の照射方向でも、画像効果をかけるために選択中の被写体とは異なる位置を選択する場合でもアイテム615は、選択されている被写体と仮想的な位置との位置関係を示している。
本実施形態では、仮想光源の照射方向を示すアイテムが円内を移動することを説明したが、これは一例であり、ひし形や楕円でもよい。
本実施形態では、仮想光源を照射することを例に挙げて説明をしたが、これに限らず画像内の色や、画像内の被写体の配置や大きさを変えるような編集を行うような場合にも適用可能である。その他にも静止画に限らず、動画においても適用可能である。本実施形態では、深度情報をもっている画像に限って説明をしたが、これに限らない。
なお、システム制御部50が行うものとして説明した上述の各種の制御は1つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
また、上述した実施形態においては、本発明をデジタルカメラ100に適用した場合を例にして説明したが、これはこの例に限定されず、画像処理に関する制御を行うことができるような表示制御装置であれば適用可能である。すなわち、本発明は携帯電話端末や携帯型の画像ビューワ、PC、ファインダーを備えるプリンタ装置、表示部を有する家電、デジタルフォトフレーム、プロジェクター、タブレットPC、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。
(他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記録媒体は本発明を構成することになる。

Claims (15)

  1. 表示面へのタッチ操作を検出可能なタッチ検出手段と、
    前記表示面に表示されている被写体に対する所定の画像処理を行うための仮想的な位置を変更する変更手段と、
    前記被写体に対する前記仮想的な位置の位置関係を示す第1のアイテムを表示する制御手段であって、
    前記タッチ検出手段が前記表示面へのタッチ操作を検出した際に、当該タッチ操作の開始に応じては前記第1のアイテムの示す前記位置関係を変更せず、当該タッチ操作が開始されたときの前記第1のアイテムの示す前記位置関係から、当該タッチ操作のタッチ位置の移動に応じて前記第1のアイテムの示す前記位置関係を変更するように前記変更手段を制御する制御手段とを有することを特徴とする表示制御装置。
  2. 前記制御手段は、前記タッチ操作が検出されても、前記第1のアイテムの表示される位置を変更しないように制御することを特徴とする請求項1に記載の表示制御装置。
  3. 前記制御手段は、前記タッチ検出手段がタッチ位置の移動を検出したことに応じて前記所定の画像処理を変更するように制御することを特徴とする請求項1または2に記載の表示制御装置。
  4. 前記制御手段は、前記タッチ検出手段が前記表示面へタッチがされた後、タッチ位置が移動せずにタッチが離されたことを検出したことに応じて、前記位置関係が変更できないことを示すガイドを表示するように制御することを特徴とする請求項1乃至3のいずれか1項に記載の表示制御装置。
  5. 表示面へのタッチ操作を検出可能なタッチ検出手段と、
    前記表示面に表示されている複数の被写体からいずれかの被写体を選択する選択手段と、
    前記選択された被写体に対してかける所定の画像処理を行うための仮想的な位置を変更する変更手段と、
    前記選択手段により被写体の選択を行う場合には、前記タッチ検出手段の検出した前記表示面上のタッチの開始位置に応じて前記選択手段が被写体を選択し、前記変更手段により前記仮想的な位置を変更する場合には、前記タッチ検出手段の検出した前記表示面上のタッチの開始位置に応じて前記仮想的な位置を変更せず、前記タッチ検出手段がタッチ位置の移動を検出したことに応じて、タッチが開始された時の前記仮想的な位置から、前記タッチ位置の移動に応じて前記仮想的な位置を変更するように前記変更手段を制御する制御手段とを有することを特徴とする表示制御装置。
  6. 前記制御手段は、前記選択された被写体に対する前記仮想的な位置の位置関係を示す第1のアイテムを表示し、
    前記タッチ検出手段が前記表示面へのタッチ操作を検出した際に、当該タッチ操作の開始に応じては前記第1のアイテムの示す前記位置関係を変更せず、当該タッチ操作が開始されたときの前記第1のアイテムの示す前記位置関係から、当該タッチ操作のタッチ位置の移動に応じて前記第1のアイテムの示す前記位置関係を変更するように制御することを特徴とする請求項5に記載の表示制御装置。
  7. 前記制御手段は、前記選択手段により被写体の選択を行う場合には、前記タッチ検出手段の検出したタッチ位置にある被写体を識別可能に表示し、前記変更手段により前記仮想的な位置を変更する場合には、前記タッチ検出手段の検出したタッチ位置を示す表示をせず、タッチ位置の移動に応じて前記第1のアイテムの示す前記位置関係を変更するように制御することを特徴とする請求項1乃至4、6のいずれか1項に記載の表示制御装置。
  8. 前記第1のアイテムは、前記被写体に対する前記仮想的な光の照射方向を示すアイテムであることを特徴とする請求項1乃至4、6、7のいずれか1項に記載の表示制御装置。
  9. 前記第1のアイテムでは、前記被写体を示す第2のアイテムと、前記仮想的な光の位置を示す第3のアイテムとを含むことを特徴とする請求項1乃至4、6乃至8のいずれか1項に記載の表示制御装置。
  10. 前記制御手段は、前記タッチ検出手段がタッチ位置の移動を検出したことに応じて前記第3のアイテムの位置を変更するように制御することを特徴とする請求項1乃至4、6乃至9のいずれか1項に記載の表示制御装置。
  11. 前記所定の画像処理は、前記被写体に対して仮想的に光を照射するような画像処理であることを特徴とする請求項1乃至10のいずれか1項に記載の表示制御装置。
  12. 表示面へのタッチ操作を検出可能なタッチ検出ステップと、
    前記表示面に表示されている被写体に対する所定の画像処理を行うための仮想的な位置を変更する変更ステップと、
    前記被写体に対する前記仮想的な位置の位置関係を示す第1のアイテムを表示する制御ステップであって、
    前記タッチ検出ステップにおいて前記表示面へのタッチ操作を検出した際に、当該タッチ操作の開始に応じては前記第1のアイテムの示す前記位置関係を変更せず、当該タッチ操作が開始されたときの前記第1のアイテムの示す前記位置関係から、当該タッチ操作のタッチ位置の移動に応じて前記第1のアイテムの示す前記位置関係を変更するように制御する制御ステップとを有することを特徴とする表示制御装置の制御方法。
  13. 表示面へのタッチ操作を検出可能なタッチ検出ステップと、
    前記表示面に表示されている複数の被写体からいずれかの被写体を選択する選択ステップと、
    前記選択された被写体に対してかける所定の画像処理を行うための仮想的な位置を変更する変更ステップと、
    前記選択ステップにおいて被写体の選択を行う場合には、前記タッチ検出ステップにおいて検出した前記表示面上のタッチの開始位置に応じて前記選択ステップにおいて被写体を選択し、前記変更ステップにおいて前記仮想的な位置を変更する場合には、前記タッチ検出ステップにおいて検出した前記表示面上のタッチの開始位置に応じて前記仮想的な位置を変更せず、前記タッチ検出ステップにおいてタッチ位置の移動を検出したことに応じて、タッチが開始された時の前記仮想的な位置から、前記タッチ位置の移動に応じて前記仮想的な位置を変更するように制御する制御ステップとを有することを特徴とする表示制御装置の制御方法。
  14. コンピュータを、請求項1乃至11のいずれか1項に記載された表示制御装置の各手段として機能させるためのプログラム。
  15. コンピュータを、請求項1乃至11のいずれか1項に記載された表示制御装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
JP2019217579A 2019-11-29 2019-11-29 表示制御装置及びその制御方法 Pending JP2021086586A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019217579A JP2021086586A (ja) 2019-11-29 2019-11-29 表示制御装置及びその制御方法
US17/103,795 US20210165562A1 (en) 2019-11-29 2020-11-24 Display control apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019217579A JP2021086586A (ja) 2019-11-29 2019-11-29 表示制御装置及びその制御方法

Publications (1)

Publication Number Publication Date
JP2021086586A true JP2021086586A (ja) 2021-06-03

Family

ID=76087970

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019217579A Pending JP2021086586A (ja) 2019-11-29 2019-11-29 表示制御装置及びその制御方法

Country Status (2)

Country Link
US (1) US20210165562A1 (ja)
JP (1) JP2021086586A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021185673A (ja) * 2017-07-07 2021-12-09 Tvs Regza株式会社 受信方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022271879A1 (en) * 2021-06-24 2022-12-29 Icu Medical, Inc. Infusion pump touchscreen with false touch rejection

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62150423A (ja) * 1985-12-25 1987-07-04 Canon Inc 表示制御装置
JP2004310219A (ja) * 2003-04-02 2004-11-04 Fujitsu Ltd タッチパネル・モードとポインティング・デバイス・モードで動作する情報処理装置
JP2013140581A (ja) * 2011-12-28 2013-07-18 General Electric Co <Ge> ボリューム・レンダリング画像について光方向を指示するための方法及びシステム
JP2014106806A (ja) * 2012-11-28 2014-06-09 Sharp Corp 情報処理装置
US20140164907A1 (en) * 2012-12-12 2014-06-12 Lg Electronics Inc. Mobile terminal and method of controlling the mobile terminal
WO2014129127A1 (ja) * 2013-02-21 2014-08-28 Necカシオモバイルコミュニケーションズ株式会社 画像処理装置、画像処理方法、及び非一時的なコンピュータ可読媒体
JP2014229017A (ja) * 2013-05-21 2014-12-08 カシオ計算機株式会社 電子機器、位置指定方法及びプログラム
US20150077591A1 (en) * 2013-09-13 2015-03-19 Sony Corporation Information processing device and information processing method
JP2017220194A (ja) * 2016-06-01 2017-12-14 キヤノン株式会社 表示制御装置およびその制御方法
JP2018010496A (ja) * 2016-07-14 2018-01-18 キヤノン株式会社 画像処理装置並びにその制御方法及びプログラム
US20190147645A1 (en) * 2016-06-10 2019-05-16 Koninklijke Philips N.V. Systems and methods for lighting in rendered images
JP2019101556A (ja) * 2017-11-29 2019-06-24 日本電産コパル株式会社 電子機器
JP2019145097A (ja) * 2018-02-21 2019-08-29 キヤノン株式会社 設定装置及び方法、プログラム、記憶媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10282057B1 (en) * 2014-07-29 2019-05-07 Google Llc Image editing on a wearable device
EP4141623B1 (en) * 2017-04-27 2024-05-29 Magic Leap, Inc. Augmented reality system comprising light-emitting user input device
KR20200121304A (ko) * 2018-02-20 2020-10-23 소니 주식회사 정보 처리 장치, 정보 처리 방법 및 프로그램

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62150423A (ja) * 1985-12-25 1987-07-04 Canon Inc 表示制御装置
JP2004310219A (ja) * 2003-04-02 2004-11-04 Fujitsu Ltd タッチパネル・モードとポインティング・デバイス・モードで動作する情報処理装置
JP2013140581A (ja) * 2011-12-28 2013-07-18 General Electric Co <Ge> ボリューム・レンダリング画像について光方向を指示するための方法及びシステム
JP2014106806A (ja) * 2012-11-28 2014-06-09 Sharp Corp 情報処理装置
US20140164907A1 (en) * 2012-12-12 2014-06-12 Lg Electronics Inc. Mobile terminal and method of controlling the mobile terminal
WO2014129127A1 (ja) * 2013-02-21 2014-08-28 Necカシオモバイルコミュニケーションズ株式会社 画像処理装置、画像処理方法、及び非一時的なコンピュータ可読媒体
JP2014229017A (ja) * 2013-05-21 2014-12-08 カシオ計算機株式会社 電子機器、位置指定方法及びプログラム
US20150077591A1 (en) * 2013-09-13 2015-03-19 Sony Corporation Information processing device and information processing method
JP2015056143A (ja) * 2013-09-13 2015-03-23 ソニー株式会社 情報処理装置および情報処理方法
JP2017220194A (ja) * 2016-06-01 2017-12-14 キヤノン株式会社 表示制御装置およびその制御方法
US20190147645A1 (en) * 2016-06-10 2019-05-16 Koninklijke Philips N.V. Systems and methods for lighting in rendered images
JP2019517349A (ja) * 2016-06-10 2019-06-24 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. レンダリングされた画像を照明するシステム及び方法
JP2018010496A (ja) * 2016-07-14 2018-01-18 キヤノン株式会社 画像処理装置並びにその制御方法及びプログラム
JP2019101556A (ja) * 2017-11-29 2019-06-24 日本電産コパル株式会社 電子機器
JP2019145097A (ja) * 2018-02-21 2019-08-29 キヤノン株式会社 設定装置及び方法、プログラム、記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021185673A (ja) * 2017-07-07 2021-12-09 Tvs Regza株式会社 受信方法

Also Published As

Publication number Publication date
US20210165562A1 (en) 2021-06-03

Similar Documents

Publication Publication Date Title
JP6757140B2 (ja) 表示制御装置及びその制御方法、プログラム、並びに記憶媒体
JP6541690B2 (ja) 表示制御装置およびその制御方法
JP7422457B2 (ja) 表示制御装置及びその制御方法
JP6647103B2 (ja) 表示制御装置およびその制御方法
JP7005334B2 (ja) 電子機器、その制御方法およびプログラム
JP2018206077A (ja) 表示制御装置、その制御方法及びプログラム
JP2021086586A (ja) 表示制御装置及びその制御方法
JP2019109686A (ja) 電子機器、電子機器の制御方法、プログラム及び記憶媒体
JP6978826B2 (ja) 表示制御装置及びその制御方法、プログラム、並びに記憶媒体
JP2018032075A (ja) 表示制御装置およびその制御方法
JP2017010451A (ja) 情報処理装置、情報処理方法及びプログラム
JP7458756B2 (ja) 表示制御装置及びその制御方法
JP7374739B2 (ja) 表示制御装置及びその制御方法
JP7098490B2 (ja) 撮像装置及びその制御方法
JP7098495B2 (ja) 画像処理装置及びその制御方法
JP6257255B2 (ja) 表示制御装置及び表示制御装置の制御方法
JP7007805B2 (ja) 表示制御装置及びその制御方法
JP6643948B2 (ja) 表示制御装置およびその制御方法
US12002437B2 (en) Display control apparatus and control method therefor
JP6529300B2 (ja) 表示制御装置およびその制御方法
JP6525734B2 (ja) 表示制御装置およびその制御方法
JP2020057845A (ja) 編集装置、その制御方法、及びプログラム
JP7086722B2 (ja) 表示制御装置およびその制御方法
JP6632396B2 (ja) 電子機器およびその制御方法
JP6827860B2 (ja) 電子機器およびその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230821

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231114

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231213