JP2017117029A - Image processing unit, program, storage medium and method - Google Patents
Image processing unit, program, storage medium and method Download PDFInfo
- Publication number
- JP2017117029A JP2017117029A JP2015249169A JP2015249169A JP2017117029A JP 2017117029 A JP2017117029 A JP 2017117029A JP 2015249169 A JP2015249169 A JP 2015249169A JP 2015249169 A JP2015249169 A JP 2015249169A JP 2017117029 A JP2017117029 A JP 2017117029A
- Authority
- JP
- Japan
- Prior art keywords
- image
- lighting effect
- processing apparatus
- image processing
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像処理装置およびプログラムおよび記憶媒体および方法に関する。 The present invention relates to an image processing apparatus, a program, a storage medium, and a method.
被写体を複数の視点方向から撮影し、その２次元撮影画像情報を再構成して被写体の３次元形状を認識するシステムが開示されている（特許文献１参照）。こうした３次元形状認識システムで得られる３次元形状を用いることで、撮影画像のレンダリングにあたり、任意の方向から被写体に光を当てるライティング効果を付加することができる。 A system is disclosed in which a subject is photographed from a plurality of viewpoint directions, and two-dimensional photographed image information is reconstructed to recognize the three-dimensional shape of the subject (see Patent Document 1). By using the three-dimensional shape obtained by such a three-dimensional shape recognition system, it is possible to add a lighting effect that irradiates the subject with light from an arbitrary direction when rendering the captured image.
近年の携帯電話のようにメインカメラとサブカメラで同時撮影して両方の撮影画像を使用する場合には、それぞれの撮影画像に適切なライティング効果が設定されることが望ましい。 When using both captured images by simultaneously capturing images with a main camera and a sub camera as in a recent mobile phone, it is desirable to set an appropriate lighting effect for each captured image.
本発明は、上述した事情に鑑みてなされてものであって、メインカメラの被写体に所望のライティング効果を設定すれば、サブカメラの被写体にも自動適用できる画像処理装置を提供することを目的とする。 The present invention has been made in view of the above-described circumstances, and an object thereof is to provide an image processing apparatus that can be automatically applied to a subject of a sub camera if a desired lighting effect is set for the subject of a main camera. To do.
上記の目的を達成するために、本発明に係る画像処理装置は、
メインカメラで撮影した第一の撮影画像とサブカメラで撮影した第二の撮影画像を出力する画像処理装置であって、
第一の撮影画像内の被写体を指定する被写体指定手段と、
指定された被写体に対してライティング効果を設定する手段と、
第一および第二の撮影画像にライティング効果を適用する手段を具備し、
第一の撮影画像内の被写体に設定されたライティング効果と、メインカメラとサブカメラの撮影方向に基づいて、第二の撮影画像に適用するライティング効果を決定することを特徴とする。
In order to achieve the above object, an image processing apparatus according to the present invention includes:
An image processing apparatus that outputs a first captured image captured by a main camera and a second captured image captured by a sub camera,
Subject designation means for designating a subject in the first captured image;
Means for setting a lighting effect on a specified subject;
Comprising means for applying a lighting effect to the first and second captured images;
The lighting effect applied to the second photographed image is determined based on the lighting effect set for the subject in the first photographed image and the photographing directions of the main camera and the sub camera.
本発明によれば、メインカメラの被写体に所望のライティング効果を設定すれば、サブカメラの被写体にも自動適用できる画像処理装置を提供することができる。 According to the present invention, it is possible to provide an image processing apparatus that can be automatically applied to a subject of a sub camera if a desired lighting effect is set for the subject of the main camera.
以下に、図面を参照して、本発明の好適な実施の形態を例示的に詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。 Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. However, the constituent elements described in this embodiment are merely examples, and are not intended to limit the scope of the present invention only to them.
以下、本発明の実施形態のひとつを添付画面にしたがい詳細に説明する。 Hereinafter, one embodiment of the present invention will be described in detail according to an attached screen.
本実施例における画像処理装置の構成は図２のとおりである。 The configuration of the image processing apparatus in this embodiment is as shown in FIG.
図２において、２０１は画像処理装置２００の全体を制御する制御部であり、例えばCentral Processing Unit(CPU)である。２０２は変更を必要としないプログラムやパラメータを格納するRead Only Memory(ROM)である。２０３は外部装置などから供給されるプログラムやデータを一時記憶するRandom Access Memory(RAM)である。２０４は画像処理装置２００に固定して設置されたハードディスクやメモリカード、あるいは画像処理装置２００から着脱可能なフロッピー（登録商標）ディスク(FD)やCompact Disk(CD)等の光ディスク、磁気や光カード、ＩＣカードなどを含む外部記憶装置である。 In FIG. 2, reference numeral 201 denotes a control unit that controls the entire image processing apparatus 200, for example, a central processing unit (CPU). A read only memory (ROM) 202 stores programs and parameters that do not need to be changed. A random access memory (RAM) 203 temporarily stores programs and data supplied from an external device or the like. Reference numeral 204 denotes a hard disk or memory card that is fixedly installed on the image processing apparatus 200, an optical disk such as a floppy (registered trademark) disk (FD) or Compact Disk (CD) that can be detached from the image processing apparatus 200, a magnetic or optical card, and the like. , An external storage device including an IC card.
２０５は操作者の操作を受け、データを入力するポインティングデバイスやキーボード２０９などの入力デバイスとのインターフェイスである。２０６はコンピュータ装置２００の保持するデータや供給されたデータを表示するためのディスプレイ２１０とのインターフェイスである。２０７はインターネットなどのネットワーク回線２１１に接続するためのネットワークインタフェイスである。２０８は、撮像装置などの他デバイス２１２と通信するためのインターフェイスである。２１３は２０１〜２０８の各ユニットを通信可能に接続するシステムバスである。 Reference numeral 205 denotes an interface with an input device such as a pointing device or a keyboard 209 for receiving data from an operator and inputting data. Reference numeral 206 denotes an interface with the display 210 for displaying data held by the computer apparatus 200 and supplied data. Reference numeral 207 denotes a network interface for connecting to a network line 211 such as the Internet. Reference numeral 208 denotes an interface for communicating with another device 212 such as an imaging apparatus. A system bus 213 connects the units 201 to 208 so that they can communicate with each other.
本実施例における画像処理装置で扱うデータについて説明する。 Data handled by the image processing apparatus in this embodiment will be described.
本実施例における画像処理装置では、撮像装置のメインカメラとサブカメラで同時撮影した画像を扱う。このメインカメラの撮影画像を第一の撮影画像とし、サブカメラの撮影画像を第二の撮影画像とする。また、第一および第二の撮影画像には、それぞれ３次元形状情報が付加されている。また、本実施例における画像処理装置には、撮像装置のメインカメラとサブカメラの撮影方向の差異があらかじめ登録されている。 The image processing apparatus according to the present embodiment handles images that are simultaneously captured by the main camera and the sub camera of the imaging apparatus. The captured image of the main camera is set as a first captured image, and the captured image of the sub camera is set as a second captured image. In addition, three-dimensional shape information is added to each of the first and second photographed images. Further, in the image processing apparatus according to the present embodiment, a difference in shooting direction between the main camera and the sub camera of the imaging apparatus is registered in advance.
本実施例において、ディスプレイ２１０に表示する画面構成を図３に示す。操作者は入力装置２０９を介し、この画面に表示された構成要素を操作することで第一および第二の撮影画像にライティング効果を設定する。 FIG. 3 shows a screen configuration displayed on the display 210 in this embodiment. The operator operates the components displayed on this screen via the input device 209 to set the lighting effect on the first and second captured images.
図３（Ａ）はライティング効果設定前の画面構成であり、図３（Ｂ）はライティング効果設定中の画面構成である。本実施例では、この図に示す通り、第一および第二の撮影画像にライティング効果を設定することで操作者が所望する陰影を付与する動作を説明する。 FIG. 3A shows a screen configuration before setting the lighting effect, and FIG. 3B shows a screen configuration during setting of the lighting effect. In the present embodiment, as shown in this figure, an operation for giving a shadow desired by the operator by setting a lighting effect on the first and second captured images will be described.
図３（Ａ）において、３００は第一の撮影画像を表示する領域であり、内部に第二の撮影画像３０１を重ねて表示する領域を含む。３０２は第一の撮影画像の被写体であり、３０３は第二の撮影画像の被写体である。３０４は第一の画像の被写体にライティング効果を適用したプレビューを表示する領域であるが、操作者が被写体を選択していないため何も表示されていない。３０５はライティング効果の強さを変更するスライダコントロールであり、操作者が入力装置２０９を介してバーを左右に移動することでライティング効果の強さを変更することができる。 In FIG. 3A, reference numeral 300 denotes an area for displaying the first captured image, and includes an area for displaying the second captured image 301 in an overlapping manner. Reference numeral 302 denotes a subject of the first captured image, and reference numeral 303 denotes a subject of the second captured image. Reference numeral 304 denotes an area for displaying a preview in which the lighting effect is applied to the subject of the first image, but nothing is displayed because the operator has not selected the subject. Reference numeral 305 denotes a slider control for changing the strength of the lighting effect. The operator can change the strength of the lighting effect by moving the bar left and right via the input device 209.
操作者が入力装置２０９を介して第一の撮影画像の任意座標を指定すると、画面の表示内容は図３（Ａ）から図３（Ｂ）に切り替わる。図３（Ｂ）において、被写体３０２がライティング対象として選択されていることを示す枠線３０６表示される。また、プレビュー領域３０４には、被写体３０２に複数パターンのライティング効果を反映したプレビューが表示される。また、第二の画像の被写体３０３にもライティング効果が適用されている。 When the operator designates arbitrary coordinates of the first captured image via the input device 209, the display content on the screen is switched from FIG. 3 (A) to FIG. 3 (B). In FIG. 3B, a frame line 306 indicating that the subject 302 is selected as a lighting target is displayed. In the preview area 304, a preview reflecting a plurality of patterns of lighting effects is displayed on the subject 302. The lighting effect is also applied to the subject 303 of the second image.
図３（Ｂ）の画面構成の表示にあたり、制御部２０１は、操作者の指定座標と第一の撮影画像の内容または３次元形状情報に基づき、被写体３０２をライティング適用対象に決定する。また、制御部２０１は、第二の撮影画像の内容または３次元形状情報に基づき被写体３０３をライティング適用対象に決定する。 In displaying the screen configuration of FIG. 3B, the control unit 201 determines the subject 302 as a lighting application target based on the operator's designated coordinates and the content of the first captured image or the three-dimensional shape information. In addition, the control unit 201 determines the subject 303 as a lighting application target based on the content of the second captured image or the three-dimensional shape information.
図３（Ｂ）の画面構成において、操作者はプレビュー領域３０４から任意のプレビューを選択できる。制御部２０１はプレビューの選択対象が変更されたことを検知し、第一の画像の被写体３０２と第二の画像の被写体３０３のライティング効果を変更し再表示する。このときの処理の流れを、図１を用いて説明する。 In the screen configuration of FIG. 3B, the operator can select an arbitrary preview from the preview area 304. The control unit 201 detects that the preview selection target has been changed, changes the lighting effects of the subject 302 of the first image and the subject 303 of the second image, and redisplays them. The processing flow at this time will be described with reference to FIG.
操作者がプレビュー領域３０４から任意のプレビューを選択すると、制御部２０１は以下の流れでライティング効果を変更する。 When the operator selects an arbitrary preview from the preview area 304, the control unit 201 changes the lighting effect according to the following flow.
まずステップＳ１０１において、制御部２０１は撮像装置のメインカメラとサブカメラの撮影方向の差異を取得する。これは既に述べたとおり画像処理装置にあらかじめ登録された情報である。 First, in step S101, the control unit 201 acquires a difference in shooting direction between the main camera and the sub camera of the imaging apparatus. This is information registered in advance in the image processing apparatus as described above.
次にステップＳ１０２において、制御部２０１は第一または第二の撮影画像の付加情報から撮影時の回転情報を取得する。 In step S102, the control unit 201 acquires rotation information at the time of shooting from the additional information of the first or second shot image.
次にステップＳ１０３において、制御部２０１は第一の撮影画像の３次元形状情報に基づいて顔領域３０２に複数パターンのライティング効果を適用し、その結果をプレビュー領域３０４に表示する。 In step S <b> 103, the control unit 201 applies a plurality of patterns of lighting effects to the face area 302 based on the three-dimensional shape information of the first captured image, and displays the result in the preview area 304.
次にステップＳ１０４において、制御部２０１はプレビュー領域３０４から操作者が選択した対象を判定する。 In step S <b> 104, the control unit 201 determines a target selected by the operator from the preview area 304.
次に、ステップＳ１０５において、制御部２０１はスライダコントロール３０５のバー位置に基づいてライティング効果の強さを取得する。 In step S <b> 105, the control unit 201 acquires the strength of the lighting effect based on the bar position of the slider control 305.
次に、ステップＳ１０６において、制御部２０１はステップ１０４で判定した新たな選択対象にしたがって同じライティング効果を被写体３０２に反映する。また、制御部２０１はステップＳ１０１、ステップＳ１０２、ステップ１０４で取得および判定した情報に基づいて、被写体３０３にもライティング効果を適用する。このとき、メインカメラの被写体とサブカメラの被写体に同一光源からライティングがおこなわれたように見えるライティング効果を被写体３０３に適用する。たとえばサブカメラがメインカメラの背面に配置された撮像装置で撮影され、かつ撮影時の回転情報がない場合には、メインカメラの被写体に適用されたライティング効果を左右反転させたものをサブカメラの被写体に適用する。ここで被写体３０２と３０３に適用するライティング効果の強さはステップＳ１０５で取得した強さとする。 Next, in step S <b> 106, the control unit 201 reflects the same lighting effect on the subject 302 according to the new selection target determined in step 104. The control unit 201 also applies the lighting effect to the subject 303 based on the information acquired and determined in step S101, step S102, and step 104. At this time, a lighting effect is applied to the subject 303 so that the subject of the main camera and the subject of the sub camera appear to be illuminated from the same light source. For example, if the sub camera is shot with an imaging device located on the back of the main camera and there is no rotation information at the time of shooting, the lighting effect applied to the subject of the main camera is reversed left and right. Apply to the subject. Here, the strength of the lighting effect applied to the subjects 302 and 303 is the strength acquired in step S105.
最後に、ステップＳ１０７において、制御部２０１はライティング効果を反映した結果をディスプレイ２１０に表示する。 Finally, in step S107, the control unit 201 displays the result reflecting the lighting effect on the display 210.
以上で説明した処理の流れにより、第一の画像の被写体３０２と第二の画像の被写体３０３のライティング効果が変更される。 The lighting effect of the subject 302 of the first image and the subject 303 of the second image is changed by the processing flow described above.
この後、操作者が図示されてない確定指示手段を操作すれば、制御部２０１はライティング効果を第一の画像と第二の画像に適用したうえで合成し、外部記憶装置２０４に記憶する。 Thereafter, when the operator operates a confirmation instruction means (not shown), the control unit 201 applies the lighting effect to the first image and the second image, combines them, and stores them in the external storage device 204.
以上で説明した構成により、本実施例の画像処理装置では、メインカメラの被写体に所望のライティング効果を設定すれば、サブカメラの被写体にも自動適用できる。 With the configuration described above, the image processing apparatus according to the present embodiment can be automatically applied to the subject of the sub camera if a desired lighting effect is set for the subject of the main camera.
なお、本実施例では、サブカメラがメインカメラの背面に配置されている撮像装置を例示したが、サブカメラの撮影方向がメインカメラの逆でない構成であっても、同一光源からライティングがおこなわれたように見えるライティング効果を適用する。 In this embodiment, the image pickup apparatus in which the sub camera is arranged on the back of the main camera is illustrated. However, even if the shooting direction of the sub camera is not the reverse of the main camera, lighting is performed from the same light source. Apply lighting effects that look like
また、本実施例では１つのサブカメラを具備する構成としたが、サブカメラを複数具備する構成であっても本発明は適用される。その場合、個々のサブカメラとメインカメラの撮影方向に基づいて、各々のサブカメラの撮影画像にライティング効果を設定する。 Further, in the present embodiment, the configuration includes one sub camera. However, the present invention can be applied to a configuration including a plurality of sub cameras. In this case, a lighting effect is set for the captured image of each sub camera based on the shooting direction of each sub camera and the main camera.
また、本実施例では第一および第二の撮影画像に３次元形状情報が付加されている構成としたが、撮影画像に３次元形状情報が付加されていない場合であっても、被写体が人物であれば撮影画像から顔領域または人体領域を検出して既定のモデルに基づいたライティング効果を適用する構成とすることで本発明は適用される。 In this embodiment, the first and second photographed images are added with the three-dimensional shape information. However, even if the three-dimensional shape information is not added to the photographed image, the subject is a person. If so, the present invention is applied by adopting a configuration in which a face area or a human body area is detected from a captured image and a lighting effect based on a predetermined model is applied.
また本実施例では、撮像装置のメインカメラとサブカメラの撮影方向の差異があらかじめ画像処理装置に登録されている構成としたが、画像処理装置が撮像装置から差異情報を受信する構成であっても本発明は適用される。この構成では、サブカメラの撮影方向をメインカメラの撮影方向と独立して変更可能な撮像装置であっても、画像ごとに差異情報を受信することで各画像に適したライティング効果を適用することができる。 In this embodiment, the difference between the shooting directions of the main camera and the sub camera of the imaging apparatus is registered in the image processing apparatus in advance. However, the image processing apparatus receives the difference information from the imaging apparatus. The present invention also applies. In this configuration, even if the imaging device can change the shooting direction of the sub camera independently of the shooting direction of the main camera, the lighting effect suitable for each image can be applied by receiving difference information for each image. Can do.
以下、本発明の別の実施形態を添付画面にしたがい詳細に説明する。 Hereinafter, another embodiment of the present invention will be described in detail according to the attached screen.
本実施例における画像処理装置の構成は実施例１で述べたものと同じで、図２で示すものである。また、本実施例における画像処理装置で扱うデータも、実施例１で述べたものと同じで撮像装置のメインカメラとサブカメラで同時撮影した画像を扱う。 The configuration of the image processing apparatus in the present embodiment is the same as that described in the first embodiment and is shown in FIG. Also, the data handled by the image processing apparatus in the present embodiment is the same as that described in the first embodiment, and handles images taken simultaneously by the main camera and the sub camera of the imaging apparatus.
本実施例において、ディスプレイ２１０に表示する画面構成を図４に示す。操作者は入力装置２０９を介し、この画面に表示された構成要素を操作することで第一および第二の撮影画像にライティング効果を設定する。 In this embodiment, the screen configuration displayed on the display 210 is shown in FIG. The operator operates the components displayed on this screen via the input device 209 to set the lighting effect on the first and second captured images.
図４は（Ａ）はライティング効果設定前の画面構成であり、図３（Ｂ）はライティング効果設定中の画面構成である。本実施例では、この図に示す通り、もともと陰影のついている第一および第二の撮影画像にライティング効果を設定することで不要な陰影を緩和する動作を説明する。 4A shows a screen configuration before setting the lighting effect, and FIG. 3B shows a screen configuration during setting the lighting effect. In the present embodiment, as shown in this figure, an operation for reducing unnecessary shadows by setting a lighting effect on the first and second captured images that are originally shaded will be described.
図４（Ａ）において、４００は第一の撮影画像を表示する領域であり、内部に第二の撮影画像４０１を重ねて表示する領域を含む。４０２は第一の撮影画像の被写体であり、４０３は第二の撮影画像の被写体である。４０４は第一の画像の被写体にライティング効果を設定するための領域であるが、操作者が被写体を選択していないため何も表示されていない。 In FIG. 4A, reference numeral 400 denotes an area for displaying the first photographed image, and includes an area for displaying the second photographed image 401 in an overlapping manner. Reference numeral 402 denotes a subject of the first photographed image, and reference numeral 403 denotes a subject of the second photographed image. Reference numeral 404 denotes an area for setting a lighting effect on the subject of the first image, but nothing is displayed because the operator has not selected the subject.
操作者が入力装置２０９を介して第一の撮影画像の任意座標を指定すると、画面の表示内容は図４（Ａ）から図４（Ｂ）に切り替わる。 When the operator designates an arbitrary coordinate of the first captured image via the input device 209, the display content on the screen is switched from FIG. 4 (A) to FIG. 4 (B).
図４（Ｂ）において、被写体４０２がライティング対象として選択されていることを示す枠線４０５が表示される。また、設定領域４０４には、光源方向を指定するためのコントロール４０７と、ライティング効果を反映した被写体のプレビュー４０６を表示する。また、第二の画像の被写体４０３にもライティング効果が適用されている。 In FIG. 4B, a frame line 405 indicating that the subject 402 is selected as a lighting target is displayed. In the setting area 404, a control 407 for designating the light source direction and a subject preview 406 reflecting the lighting effect are displayed. The lighting effect is also applied to the subject 403 of the second image.
図４（Ｂ）の画面構成の表示にあたり、制御部２０１は、操作者の指定座標と第一の撮影画像の内容または３次元形状情報に基づき、被写体４０２をライティング適用対象に決定する。また、制御部２０１は、第二の撮影画像の内容または３次元形状情報に基づき被写体４０３をライティング適用対象に決定する。 In displaying the screen configuration of FIG. 4B, the control unit 201 determines the subject 402 as a lighting application target based on the operator's designated coordinates and the content of the first captured image or the three-dimensional shape information. Further, the control unit 201 determines the subject 403 as a lighting application target based on the content of the second captured image or the three-dimensional shape information.
図４（Ｂ）の画面構成において、コントロール４０７はプレビュー４０６の周囲を移動できる構成になっており、操作者は光源方向を任意に指定できる。操作者が光源方向を変更すると、制御部２０１は変更を検知し第一の画像の被写体４０２およびプレビュー４０６および第二の画像の被写体４０３のライティング効果を変更し再表示する。４０８は第二の画像の適用するライティング効果の光源方向を示すものであり、コントロール４０７と連動して自動的に移動する。このときの処理の流れを、図５を用いて説明する。 In the screen configuration of FIG. 4B, the control 407 is configured to be able to move around the preview 406, and the operator can arbitrarily specify the light source direction. When the operator changes the light source direction, the control unit 201 detects the change, changes the lighting effects of the subject 402 and preview 406 of the first image, and the subject 403 of the second image, and redisplays them. Reference numeral 408 denotes the light source direction of the lighting effect applied to the second image, and automatically moves in conjunction with the control 407. The processing flow at this time will be described with reference to FIG.
操作者がコントロール４０７を操作して被写体４０２の光源方向を指定すると、制御部２０１は以下の流れでライティング効果を変更する。 When the operator operates the control 407 to specify the light source direction of the subject 402, the control unit 201 changes the lighting effect according to the following flow.
まずステップＳ５０１において、制御部２０１は撮像装置のメインカメラとサブカメラの撮影方向の差異を取得する。これは既に述べたとおり画像処理装置にあらかじめ登録された情報である。 First, in step S501, the control unit 201 acquires a difference in shooting direction between the main camera and the sub camera of the imaging apparatus. This is information registered in advance in the image processing apparatus as described above.
次にステップＳ５０２において、制御部２０１は第一または第二の撮影画像の付加情報から撮影時の回転情報を取得する。 In step S502, the control unit 201 acquires rotation information at the time of shooting from the additional information of the first or second shot image.
次にステップＳ５０３において、制御部２０１は第一の撮影画像の３次元形状情報に基づいて顔領域４０２にライティング効果を適用し、その結果を設定領域４０４に表示する。 In step S <b> 503, the control unit 201 applies a lighting effect to the face area 402 based on the three-dimensional shape information of the first captured image, and displays the result in the setting area 404.
次にステップＳ５０４において、制御部２０１は操作者がコントロール４０７を操作して指定した光源方向を取得する。 In step S504, the control unit 201 acquires the light source direction designated by the operator operating the control 407.
次に、ステップＳ５０５において、制御部２０１はステップＳ５０１、ステップＳ５０２、ステップ５０４で取得した情報に基づいて、第二の撮影画像に設定する光源方向を算出する。このとき、メインカメラの被写体とサブカメラの被写体に同一光源からライティングがおこなわれたように見える光源方向を算出する。たとえばサブカメラがメインカメラの背面に配置された撮像装置で撮影され、かつ撮影時の回転情報がない場合には、メインカメラの被写体に設定されたライティング効果の光源を左右反転させた方向がサブカメラのライティング効果の光源となる。ただしサブカメラのライティング効果の光源方向を算出した結果、被写体４０３の背面に位置する場合には、光源の位置を前後反転して被写体４０３の前面からライティング効果がかかるように調整する。これは、サブカメラのライティング効果が逆光のような状態になることを防ぐためである。 Next, in step S505, the control unit 201 calculates the light source direction set for the second captured image based on the information acquired in steps S501, S502, and 504. At this time, the direction of the light source that appears to be illuminated from the same light source to the subject of the main camera and the subject of the sub camera is calculated. For example, if the sub camera is shot with an imaging device placed on the back of the main camera and there is no rotation information at the time of shooting, the direction in which the lighting effect light source set for the main camera subject is reversed horizontally is The light source for the camera lighting effect. However, as a result of calculating the light source direction of the lighting effect of the sub camera, if the light source direction is located behind the subject 403, the light source position is reversed back and forth so that the lighting effect is applied from the front of the subject 403. This is to prevent the lighting effect of the sub-camera from being in a backlight state.
次に、ステップＳ５０６において、制御部２０１は、ステップ５０４で取得した新たな光源方向にしたがってライティング効果をプレビュー４０６および被写体４０２に反映する。また、制御部２０１は、ステップ５０５で算出したサブカメラの光源方向にしたがってライティング効果を被写体４０３に反映するとともに、光源方向４０８の位置を変更する。 Next, in step S506, the control unit 201 reflects the lighting effect on the preview 406 and the subject 402 in accordance with the new light source direction acquired in step 504. In addition, the control unit 201 reflects the lighting effect on the subject 403 according to the light source direction of the sub camera calculated in step 505 and changes the position of the light source direction 408.
最後に、ステップＳ５０７において、制御部２０１はライティング効果を反映した結果を表示する。 Finally, in step S507, the control unit 201 displays a result reflecting the lighting effect.
以上で説明した処理の流れにより、第一の画像の被写体４０２と第二の画像の被写体４０３のライティング効果が変更される。 The lighting effect of the subject 402 of the first image and the subject 403 of the second image is changed by the processing flow described above.
この後、操作者は図示されてない確定指示手段を操作すれば、制御部２０１は選択されているライティング効果を第一の画像と第二の画像に適用したうえで合成し、外部記憶装置２０４に記憶する。 Thereafter, when the operator operates a confirmation instruction means (not shown), the control unit 201 applies the selected lighting effect to the first image and the second image and combines them, and the external storage device 204. To remember.
以上で説明した構成により、本実施例の画像処理装置では、メインカメラの被写体に所望のライティング効果を設定すれば、サブカメラの被写体にも自動適用できる。 With the configuration described above, the image processing apparatus according to the present embodiment can be automatically applied to the subject of the sub camera if a desired lighting effect is set for the subject of the main camera.
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。 Although the present invention has been described in detail based on preferred embodiments thereof, the present invention is not limited to these specific embodiments, and various forms within the scope of the present invention are also included in the present invention. included. A part of the above-described embodiments may be appropriately combined.
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。 Also, when a software program that realizes the functions of the above-described embodiments is supplied from a recording medium directly to a system or apparatus having a computer that can execute the program using wired / wireless communication, and the program is executed Are also included in the present invention.
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。 Accordingly, the program code itself supplied and installed in the computer in order to implement the functional processing of the present invention by the computer also realizes the present invention. That is, the computer program itself for realizing the functional processing of the present invention is also included in the present invention.
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。 In this case, the program may be in any form as long as it has a program function, such as an object code, a program executed by an interpreter, or script data supplied to the OS.
プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。 As a recording medium for supplying the program, for example, a magnetic recording medium such as a hard disk or a magnetic tape, an optical / magneto-optical storage medium, or a nonvolatile semiconductor memory may be used.
また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。 As a program supply method, a computer program that forms the present invention is stored in a server on a computer network, and a connected client computer downloads and programs the computer program.
２００ 画像処理全体、２０１ 制御部、２０２ ＲＯＭ、２０３ ＲＡＭ、
２０４ 外部記憶装置、２０５ 操作入力ＩＦ、２０６ 表示ＩＦ、
２０７ ネットワークＩＦ、２０８ デバイスＩＦ、２０９ 入力デバイス、
２１０ ディスプレイ、２１１ ネットワーク回線、２１２ 他デバイス
200 overall image processing, 201 control unit, 202 ROM, 203 RAM,
204 external storage device, 205 operation input IF, 206 display IF,
207 Network IF, 208 Device IF, 209 Input device,
210 Display, 211 Network line, 212 Other devices
Claims (10)
第一の撮影画像内の被写体を指定する被写体指定手段と、
指定された被写体に対してライティング効果を設定する手段と、
第一および第二の撮影画像にライティング効果を適用する手段を具備し、
第一の撮影画像内の被写体に設定されたライティング効果と、メインカメラとサブカメラの撮影方向に基づいて、第二の撮影画像に適用するライティング効果を決定することを特徴とする画像処理装置。 An image processing apparatus that outputs a first captured image captured by a main camera and a second captured image captured by a sub camera,
Subject designation means for designating a subject in the first captured image;
Means for setting a lighting effect on a specified subject;
Comprising means for applying a lighting effect to the first and second captured images;
An image processing apparatus that determines a lighting effect to be applied to a second photographed image based on a lighting effect set for a subject in the first photographed image and photographing directions of a main camera and a sub camera.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015249169A JP2017117029A (en) | 2015-12-22 | 2015-12-22 | Image processing unit, program, storage medium and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015249169A JP2017117029A (en) | 2015-12-22 | 2015-12-22 | Image processing unit, program, storage medium and method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017117029A true JP2017117029A (en) | 2017-06-29 |
Family
ID=59231819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015249169A Pending JP2017117029A (en) | 2015-12-22 | 2015-12-22 | Image processing unit, program, storage medium and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017117029A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11210767B2 (en) | 2019-02-06 | 2021-12-28 | Canon Kabushiki Kaisha | Information processing apparatus to determine candidate for lighting effect, information processing method, and storage medium |
-
2015
- 2015-12-22 JP JP2015249169A patent/JP2017117029A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11210767B2 (en) | 2019-02-06 | 2021-12-28 | Canon Kabushiki Kaisha | Information processing apparatus to determine candidate for lighting effect, information processing method, and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11849214B2 (en) | Apparatus and method for supplying content aware photo filters | |
| US11012639B2 (en) | Apparatus and method for processing an image in device | |
| US9600741B1 (en) | Enhanced image generation based on multiple images | |
| EP2770724A2 (en) | Apparatus and method for positioning image area using image sensor location | |
| JP2018180655A5 (en) | ||
| US20160321833A1 (en) | Method and apparatus for generating moving photograph based on moving effect | |
| JP6476657B2 (en) | Image processing apparatus, image processing method, and program | |
| US10832460B2 (en) | Method and apparatus for generating image by using multi-sticker | |
| JP6656572B1 (en) | Information processing apparatus, display control method, and display control program | |
| CN114125179B (en) | Shooting method and device | |
| KR101672691B1 (en) | Method and apparatus for generating emoticon in social network service platform | |
| WO2018042074A1 (en) | A method, apparatus and computer program product for indicating a seam of an image in a corresponding area of a scene | |
| JP2016194784A (en) | Image management system, communication terminal, communication system, image management method, and program | |
| JP2016194783A (en) | Image management system, communication terminal, communication system, image management method, and program | |
| JP2017117029A (en) | Image processing unit, program, storage medium and method | |
| KR101514346B1 (en) | Apparatus and method for making a composite photograph | |
| JP2017123589A (en) | Information processing apparatus, information processing method, and video projection system | |
| CN112634339B (en) | Commodity object information display method and device and electronic equipment | |
| US11127218B2 (en) | Method and apparatus for creating augmented reality content | |
| EP3371803B1 (en) | Control methods, computer-readable media, and controllers | |
| KR101755129B1 (en) | Method and apparatus for providing user interface of images | |
| KR102514702B1 (en) | A mobile terminal for generating a photographed image and a method for generating a photographed image | |
| JP7417827B2 (en) | Image editing method, image display method, image editing system, and image editing program | |
| JP5055462B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
| JP7005269B2 (en) | Information processing equipment, systems, information processing methods and programs |