JP2018201089A - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP2018201089A
JP2018201089A JP2017104218A JP2017104218A JP2018201089A JP 2018201089 A JP2018201089 A JP 2018201089A JP 2017104218 A JP2017104218 A JP 2017104218A JP 2017104218 A JP2017104218 A JP 2017104218A JP 2018201089 A JP2018201089 A JP 2018201089A
Authority
JP
Japan
Prior art keywords
light source
image processing
virtual light
image
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017104218A
Other languages
English (en)
Other versions
JP6946055B2 (ja
JP2018201089A5 (ja
Inventor
尚子 渡澤
Naoko Tozawa
尚子 渡澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017104218A priority Critical patent/JP6946055B2/ja
Publication of JP2018201089A publication Critical patent/JP2018201089A/ja
Publication of JP2018201089A5 publication Critical patent/JP2018201089A5/ja
Application granted granted Critical
Publication of JP6946055B2 publication Critical patent/JP6946055B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】 動きのある被写体を撮影した動画について、フレーム画像ごとにリライティング処理のパラメータが設定すると、リライティング処理の効果が変化してしまい、リライティング処理後の動画が視聴者に見づらいという課題がある。【解決手段】 動画を構成する複数のフレーム画像に対して仮想光源によるリライティング効果を付与する画像処理を行う画像処理装置であって、動画撮影時の撮影画角の変動に関する撮影情報を取得する取得手段と、複数のフレーム画像にリライティング効果を付与する画像処理を行う処理手段と、処理手段による画像処理に用いるパラメータを設定する設定手段と、を備え、設定手段は、複数のフレーム画像のうちで撮影画角の変動が生じた期間のフレーム画像に対して、少なくとも撮影情報を用いてパラメータを設定する。【選択図】 図1

Description

本発明は、動画を構成する複数のフレーム画像に対して仮想光源によるリライティング効果を付与する画像処理に関する。
従来から、撮影画像に撮影時に存在しなかった仮想的な光源(以下、仮想光源と称する)を設定し、画像内の被写体に対して仮想光源から光が照射されたような効果を付与する画像処理が知られている。このような画像処理はリライティング処理と称され、撮影時の環境光で生じた影などの暗部領域を明るくするなどすることが可能である。
下記特許文献1は、画像中の顔領域情報を作成し、顔領域情報の結果に応じて、領域毎にリライティングなどの特殊処理をする方法を開示している。より具体的には、顔の有無および顔の位置といった顔領域情報とシーン判別手段によるシーン判別結果に応じて、顔領域でのリライティング処理を行う。
特開2007−148537号公報
画像にリライティング処理を行って陰影を補正する場合、仮想光源の位置、強度、角度といったリライティング処理に用いるパラメータを適切に決定することが必要である。
この点に関し、特許文献1は、顔の有無および顔の位置といった顔領域情報と更にシーン判別手段による夕景、夜景、青空といったシーン判別結果に応じてリライティング処理をする対象領域やリライティング強度を決定している。
しかしながら、特許文献1は静止画を対象としたものであり、動画については仮想光源をどのように設定するか考慮していない。例えば、歩いていたり走っていたりといった動きのある被写体をフレーム画像ごとに最適な仮想光源のパラメータでリライティング処理してしまうと、パラメータがフレーム単位で切り替えられ、リライティング処理後の動画像が見づらいという課題がある。
そこで、本発明は、動画に対して仮想光源によるリライティング効果を適切に付与する画像処理を提供する。
本発明の1実施態様は、動画を構成する複数のフレーム画像に対して仮想光源によるリライティング効果を付与する画像処理を行う画像処理装置であって、動画撮影時の撮影画角の変動に関する撮影情報を取得する取得手段と、前記複数のフレーム画像にリライティング効果を付与する画像処理を行う処理手段と、前記処理手段による画像処理に用いるパラメータを設定する設定手段と、を備え、前記設定手段は、前記複数のフレーム画像のうちで撮影画角の変動が生じた期間のフレーム画像に対して、少なくとも前記撮影情報を用いて、前記パラメータを設定することを特徴とする。
本発明によれば、動画に対して適切なリライティング処理を行うことが可能となる。
本発明におけるデジタルカメラの構成を示すブロック図である。 本発明における画像処理部の構成を示すブロック図である。 本発明におけるリライティング処理部の構成を示すブロック図である。 本発明における仮想光源の照射による反射を説明する図である。 本発明におけるリライティング処理前後の画像を説明する図である。 本発明における仮想光源パラメータを決定するフローチャートである。 本発明における仮想光源パラメータとカメラ情報の対応を示す表である。
以下、本発明の実施形態について図面を用いて詳細に説明する。なお、本発明を動画撮影が可能なデジタルカメラに適用した実施形態を用いて説明するが、本発明はデジタルカメラに限らず、他の画像処理装置に適用することができる。
(第1の実施形態)
図1〜7を参照して、本発明の実施形態を説明する。
図1は、本発明の実施形態によるデジタルカメラの構成例を示すブロック図である。
図1において、100はデジタルカメラ全体、101はズームレンズ、フォーカスレンズを含むレンズ群、102は絞り機能を備えるシャッター、103は光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像部、104は、アナログ信号をデジタル信号に変換するA/D変換器、105はA/D変換器104から出力される画像データに対し、ホワイトバランス処理や、γ処理、輪郭強調、色補正処理などの各種画像処理を行う画像処理部である。
106は画像メモリ、107は画像メモリ106を制御するメモリ制御部、108は入力デジタル信号をアナログ信号に変換するD/A変換器、109はLCD等の表示部、110は画像データを圧縮符号化・復号化するコーデック部である。
111は記録媒体112とのインタフェースI/F、112はメモリカードやハードディスク等の記録媒体、113は、撮影画像中から被写体の顔を検出する顔検出部、114は、撮影画像にリライティング処理を行うリライティング処理部、50はデジタルカメラ100のシステム全体を制御するシステム制御部である。
また、121は、プログラムやパラメータなどを格納するEEPROMなどの不揮発性メモリであり、122はシステム制御部50の動作用の定数、変数、不揮発性メモリ121から読みだしたプログラム等を展開するシステムメモリである。123は被写体との距離を測定し、撮影画素の画素単位に対応する距離情報を2次元の距離マップ画像として出力する測距センサである。
次に、上記のように構成されたデジタルカメラ100の撮影時の基本動作について説明する。撮像部103は、レンズ101及びシャッター102を介して入射した光を光電変換し、入力画像信号としてA/D変換器104へ出力する。A/D変換器104は撮像部103から出力されるアナログ画像信号をデジタル画像信号に変換し画像処理部105に出力する。
画像処理部105は、A/D変換器104からの画像データ、又は、メモリ制御部107からの画像データに対し、ホワイトバランスなどの色変換処理、γ処理、輪郭強調処理などを行う。また、画像処理部105では、顔検出部113で取得した顔検出結果や、撮像した画像データを用いて所定の評価値算出処理(図示しない)を行い、得られた評価値結果に基づいてシステム制御部50が露光制御、測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理などを行う。
画像処理部105から出力された画像データは、メモリ制御部107を介して画像メモリ106に書き込まれる。画像メモリ106は、撮像部103から出力された画像データや、表示部109に表示するための画像データを格納する。
また、D/A変換器108は、画像メモリ106に格納されている画像表示用のデータをアナログ信号に変換して表示部109に供給する。表示部109は、LCD等の表示器上に、D/A変換器108からのアナログ信号に応じた表示を行う。
コーデック部110は、画像メモリ106に記録された画像データをMPEGなどの規格に基づきそれぞれ圧縮符号化する。システム制御部50は符号化した画像データを関連付けて、記録インタフェース111を介して記録媒体112に格納する。
上記の基本動作以外に、システム制御部50は、前述した不揮発性メモリ121に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。ここでいうプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。この際、システム制御部50の動作用の定数、変数、不揮発性メモリ121から読み出したプログラム等をシステムメモリ122に展開する。
次に、画像処理部105の詳細な構成について図2を用いて説明する。図2は画像処理部105の構成を示すブロック図である。
図2において、200は同時化処理部、201はWB増幅部、202は輝度・色信号生成部、203は輪郭強調処理部、204は輝度ガンマ処理部、205は色変換処理部、206は色γ処理部、207は色差信号生成部、208は陰影情報取得部である。
次に、画像処理部105における処理について説明する。図1のA/D変換部104から入力された画像信号が画像処理部105に入力される。
画像処理部105に入力された画像信号は同時化処理部200に入力される。同時化処理部200は入力されたベイヤーRGBの画像データに対して、同時化処理を行い、色信号R,G,Bを生成する。
WB増幅部201は、システム制御部50が算出するホワイトバランスゲイン値に基づき、RGBの色信号にゲインをかけ、ホワイトバランスを調整する。WB増幅部201が出力したRGB信号は輝度・色信号生成部202に入力される。輝度・色信号生成部202は、RGB信号から輝度信号Yを生成し、生成した輝度信号Yを輪郭強調処理部203、色信号RGBを色変換処理部205へ出力する。
輪郭強調処理部203では、輝度信号に対して輪郭強調処理を行い、輝度ガンマ処理部204へ出力する。輝度ガンマ処理部204では輝度信号Yに対してガンマ補正を行い、輝度信号Yを画像メモリ106に出力する。
色変換処理部205は、RGB信号に対するマトリクス演算などにより、所望のカラーバランス(色空間)に変換する。色ガンマ処理部206では、RGBの色信号にガンマ補正を行う。色差信号生成部207では、RGB信号から色差信号R−Y信号、B−Y信号を生成する。
画像メモリ106に出力された画像信号(輝度信号Y,色差信号(R−Y信号,B−Y信号))は、コーデック部110によって圧縮符号化し、記録媒体112に記録する。
また、色変換処理部205の出力するRGB信号を陰影情報取得部208にも入力する。陰影情報取得部208は、撮影時の環境光源によって被写体に生じた陰影の状態を解析するための情報(陰影情報)を取得する。例えば、被写体の平均輝度情報や顔領域の輝度ヒストグラム情報などを陰影情報として取得してもよい。
次に、リライティング処理部114の詳細な構成および動作について、図3を用いて説明する。
例えばユーザ操作により、リライティング処理が選択されている場合は、画像処理部105から出力した画像信号をリライティング処理部114に入力し、仮想光源によるリライティング処理を行う。
図3は、リライティング処理部114の構成を示すブロック図である。
図3において、301は入力された画像信号(輝度信号Y,色差信号(R−Y信号,B−Y信号))をRGB信号に変換するRGB信号変換部、302はデガンマ処理を行うデガンマ処理部である。
また、303は測距センサ123から出力される撮像装置と被写体との距離情報を取得する距離算出部、304は被写体の法線を算出する法線算出部、305は仮想光源が被写体に反射した成分を算出する仮想光源反射成分算出部、306は仮想光源によるリライティング効果を付加する仮想光源付加処理部である。
また、307はRGB信号にガンマ特性をかけるガンマ処理部、308はRGB信号を輝度信号(Y)・色差信号(B−Y信号、R−Y信号)に変換する輝度・色差信号変換部である。
上述した構成のリライティング処理部114の動作について説明する。
リライティング処理部114は、画像メモリ106に記録された輝度・色差信号(Y、B−Y、R−Y)を読み出し、入力とする。RGB信号変換部301は、入力された輝度・色差信号(Y、B−Y、R−Y)をRGB信号に変換し、デガンマ処理部302へ出力する。
デガンマ処理部302は、画像処理部105のガンマ処理部で掛けられたガンマ特性と逆の特性の演算を行いリニアデータに変換する。デガンマ処理部302は、リニア変換後のRGB信号(Rt、Gt、Bt)を、仮想光源反射成分算出部305および仮想光源付加処理部306に出力する。
一方、距離算出部303は、測距センサ123から取得した被写体距離情報(被写体距離値)を用いて距離マップを生成する。ここで被写体距離情報とは、撮影画像の画素単位で得られる2次元の距離情報(距離値)のことである。また距離マップとは、たとえば被写体距離値を画素単位で階調などを用いて示した画像である。
法線算出部304は、距離算出部303が生成した距離マップから法線マップを算出する。距離マップから法線マップを生成する方法に関して公知の技術を用いることが可能であるが、本実施形態における具体的な処理例について図4を用いて説明する。
図4はカメラ撮影座標と、被写体の関係を示す図である。例えば、図4に示すようにある被写体401に対して、撮影画像の水平方向の差分ΔHに対する距離(奥行き)Dの差分ΔDから勾配情報を算出し、勾配情報から法線Nを算出することが可能である。撮影した各画素に対して上記の処理を行うことで、撮影画像の各画素に対応する法線情報Nを算出可能である。法線算出部304は、撮影画像の各画素に対応する法線情報を法線マップとして仮想光源反射成分算出部305に出力する。
仮想光源反射成分算出部305では、光源と被写体の距離K、法線情報N、仮想光源パラメータLに基づき、設定した仮想光源から照射される光が被写体にて反射する成分を算出する。具体的には、光源と被写体との距離Kの二乗に反比例し、被写体法線ベクトルNと光源方向ベクトルLの内積に比例するように、撮影画像に対応する座標位置の反射成分を算出する。
これについて、図4を用いて説明する。図4において、401が被写体、402は設定した仮想光源の位置を示している。カメラ100で撮影された撮影画像の水平画素位置H1(垂直画素位置は説明の簡略化のため省略)における反射成分は、カメラ座標H1における法線N1と仮想光源の方向ベクトルL1の内積に比例し、仮想光源と被写体位置の距離K1に反比例する値となる。
この関係を数式で表現すると、仮想光源による被写体反射成分(Ra、Ga、Ba)は下記の数式(1)の通りとなる。
Ra=α×(−L・N)/K×Rt
Ga=α×(−L・N)/K×Gt (1)
Ba=α×(−L・N)/K×Bt
ここで、αは仮想光源から照射される光の強さであり、リライティング補正量のゲイン値である。Lは仮想光源の3次元方向ベクトル、Nは被写体の3次元法線ベクトル、Kは仮想光源と被写体の距離である。また、Rt、Gt、Btはデガンマ処理部302から出力された撮影RGBデータである。
上記の数式により算出された仮想光源による反射成分(Ra、Ga、Ba)は仮想光源付加処理部306へ出力される。仮想光源付加処理部306は、仮想光源成分(Ra、Ga、Ba)を付加するように、下記の数式(2)に従う処理を行う。
Rout=Rt+Ra
Gout=Gt+Ga (2)
Bout=Bt+Ba
仮想光源付加処理部306から出力された画像信号(Rout、Gout、Bout)はガンマ処理部307に入力される。ガンマ処理部307では、RGBの入力信号にガンマ補正を行う。輝度・色差信号変換部308では、RGB信号から輝度信号Y、色差信号R−Y、B−Y信号を生成する。
以上が、リライティング処理部114の動作である。リライティング処理部114によるリライティング処理の実施例を図5に示す。図5(a)がリライティング処理前の撮影画像であり、図5(b)がリライティング処理後の撮影画像の例である。図5(a)で暗かった中央の人物被写体に仮想光源の光をあててリライティング処理をすることで図5(b)のように明るく補正される。
システム制御部50は、リライティング補正部114が出力した輝度信号と色差信号を、メモリ制御部107の制御によって、画像メモリ106に蓄積したのち、コーデック部110で圧縮符号化を行う。また、I/F111を介して、画像信号を記録媒体112に記録する。
図6は、システム制御部50の動作を示したフローチャートである。以下、図6のフローチャートに従って、システム制御部50が取得した動画撮影時の撮影画角の変動に関するカメラ情報に基づいて、リライティング処理部114の仮想光源のパラメータを決定する動作について説明する。
ここでカメラ情報とは、撮影時の撮影画角の変動に関する撮影情報であり、例えば、カメラのレンズのズーム動作の有無、パンニング動作の有無などである。
図6にリライティング処理部114の仮想光源のパラメータを決定するシステム制御部50のフローチャートを示す。
ステップS601では、操作部120を介してユーザからの操作によってリライティング処理が選択されているか判定する。即ち、リライティング処理部114による処理を行うか否かを判定する。リライティング処理を行う場合はステップ602に進む。
ステップS602では、被写体を動画撮影する。
ステップS603では、レンズ群101、シャッター102、撮像部103の設定値からカメラ本体から被写体までの距離、レンズのズーム動作の有無、パンニング動作の有無等のカメラ情報を、フレーム毎に取得する。なお、以下の説明において1フレームで取得された画像をフレーム画像と称し、動画は複数のフレーム画像で構成される。
ステップS604では、ステップS603において取得したカメラ情報と仮想光源のパラメータ設定表に基づき、仮想光源のパラメータを決定する。具体的には、図7(a)に示すような各フレームにおけるカメラ情報と、図7(b)に示すズーム動作時の仮想光源設定表に基づいて決定する。
図7(a)において、701はフレーム番号(フレームNo.)、702はカメラ情報を示す。図7(b)において、703はカメラ情報、704はモード、705は仮想光源の設定を示す。ここでモードとは、カメラ情報(ズーム動作、パンニング動作)ごとにあらかじめ設定された仮想光源の設定方法を示すコードである。カメラ情報の種類とモードに応じて、仮想光源の設定方法が一意に決定される。なお、モードは操作部120を用いて複数のモードから選択可能にしてもよい。
例えば、フレーム番号が0から3の期間において、図7(a)によりカメラ情報としてズームイン動作中という情報を取得する。次に、図7(b)により、ズームイン動作中であって、モード0が設定されていれば、この期間においては、当該期間の前のフレームで設定された仮想光源の位置から変えないように制御する。
なお、モード1が設定されている場合は、当該期間の前のフレームで設定された仮想光源の位置から、被写体に対して相対的に遠くなる位置に再度設定し、その期間では設定された位置から変えないように制御する。何れのモードであっても、ズーム動作中は仮想光源の位置を固定する。カメラの画角が被写体をズームアップして撮影していた場合は、仮想光源の位置を僅かにずらしただけでも反射光の変化が大きいからである。
より具体的には、フレーム番号が1の時に、顔検出部113で取得した主被写体の顔位置が(x,y)であるとすると、仮想光源による被写体反射成分(Ra(x,y)、Ga(x,y)、Ba(x,y))は、次式(3)で表わされる。
Ra(x,y
=α×(−L(x,y)・N(x,y))/K(x,y×Rt
Ga(x,y
=α×(−L(x,y)・N(x,y))/K(x,y×Gt (3)
Ba(x,y
=α×(−L(x,y)・N(x,y))/K(x,y×Bt
L(x,y)は、仮想光源の3次元方向ベクトル、N(x,y)は、(x,y)の位置にいる被写体の3次元法線ベクトル、K(x,y)は仮想光源と(x,y)の位置にいる被写体との距離を示す。仮想光源からの光が被写体にあたるとは、(Ra(x,y)、Ga(x,y)、Ba(x,y))が正の値となることを示す。
図7(a)においてフレーム番号0〜3の期間はズームイン動作中であり、図7(b)によりズームイン動作中であり、モードが0の時は仮想光源の位置を変えない、すなわちフレーム番号0〜3の期間では被写体との距離K(x,y)をデフォルトのまま変えないように制御する。また、モードが1の時は仮想光源の位置をデフォルトの位置よりも遠くにして、その期間では変更しないように制御する、すなわち、被写体との距離K(x,y)をデフォルトの値よりも大きい値に設定するよう制御する。
以上の処理によって、制御部50はズーム動作の有無といったカメラ情報に基づいて、リライティング処理部114の仮想光源のパラメータを決定する。
なお、図7(b)の仮想光源設定表において、モードが0、1の2つある場合について説明したが、カメラ情報を基に仮想光源の位置、発光角度(照射角度)、発光強度、光源の種類(色温度)などのパラメータを制御するものであれば、これに限定するものではない。少なくとも1つのパラメータを設定するものであればよい。なお、カメラ情報の種類や仮想光源の設定をより詳細に設定して3つ以上のモードを用意しても良い。
また、ズーム動作とは別にパンニング動作にあわせて仮想光源の設定を行ってもよい。パンニング動作の検出方法としては、例えば対象画像を任意の領域に分け、各領域内の動きベクトルの時間的変化を検出し、同じ方向の動きベクトルが所定数以上ある場合に、パンニング動作がなされていると判断する。または、カメラに搭載されたセンサから出力された動き情報を用いてもよい。
パンニング動作時の仮想光源設定の例を図7(c)に示す。
図7(c)において、706はカメラ情報、707はモード、708は仮想光源設定を示す。パンニング動作中且つモードが0の場合は仮想光源の位置を変えないよう制御し、パンニング動作中且つモードが1の場合は仮想光源の位置はパンニングの速度と連動するように制御し、パンニング動作中且つモードが2の場合は仮想光源の位置は変えずに仮想光源の角度をパンニングと連動するよう制御する例である。
パンニング動作と仮想光源の位置や角度の変更を連動する方法としては、例えば対象画像を任意の領域に分け、各領域内の動きベクトルの時間的変化によりパンニングの速度を算出し、算出したパンニング速度と同一の速度で仮想光源の位置を変更する。もしくは算出したパンニング速度に任意の係数を乗算した速度に合わせて、仮想光源の位置を変更するといった方法がある。
また、本実施形態では、リライティング処理によって画像内の被写体領域を明るく補正する場合について述べたが、逆に暗くなるようにリライティング処理を行ってもよい。その場合、仮想光源のゲイン値αをマイナスに設定すればよい。
さらに、仮想光源の位置と処理対象画素の距離Dの算出方法は、上述した算出方法に限定するものではなく、他の算出方法を用いてもよい。例えば、カメラ位置および被写体位置を3次元位置として取得し、3次元での距離で計算してもよい。
また、仮想光源を付加する場合に、距離の二乗に反比例する式で計算したが、仮想光源の付加量をこの方式で算出するものに限定するものではない。例えば、距離Dに反比例するものや、ガウス分布的に照射範囲が変化する式であってもよい。
さらに、本実施形態では、フレームごとにカメラ情報を取得して仮想光源のパラメータの設定をフレーム単位で処理する例について説明したがこれに限るものではない。1フレーム単位ではなく数フレーム単位でカメラ情報を取得して制御する構成にしても良い。
また、本実施形態では、撮像装置としてデジタルカメラが被写体情報を基に仮想光源のパラメータを決定しリライティング処理する例について説明したがこれに限るものではない。例えば、パーソナルコンピューター等において、デジタルカメラで撮影した画像データを取り込み、取り込んだ画像データの被写体情報を解析することで、仮想光源のパラメータを決定してパーソナルコンピューターにおいてリライティング処理を行う構成であっても良い。
また、パーソナルコンピューター等において、リライティング処理機能を有するデジタルカメラで撮影したリライティング処理前の画像データと、デジタルカメラにおいて取得した被写体情報、仮想光源のパラメータ情報とを取り込み、デジタルカメラでのリライティング処理ではユーザの意図通りにリライティング出来ていないシーンに限り、再度仮想光源のパラメータを編集しリライティング処理をし直すといった構成としても良い。
50 システム制御部
100 デジタルカメラ
105 画像処理部
114 リライティング処理部
120 操作部

Claims (6)

  1. 動画を構成する複数のフレーム画像に対して仮想光源によるリライティング効果を付与する画像処理を行う画像処理装置であって、
    動画撮影時の撮影画角の変動に関する撮影情報を取得する取得手段と、
    前記複数のフレーム画像にリライティング効果を付与する画像処理を行う処理手段と、
    前記処理手段による画像処理に用いるパラメータを設定する設定手段と、を備え、
    前記設定手段は、前記複数のフレーム画像のうちで撮影画角の変動が生じた期間のフレーム画像に対して、少なくとも前記撮影情報を用いて、前記パラメータを設定することを特徴とする画像処理装置。
  2. 前記撮影画角の変動は、前記動画を撮影する撮影装置のズーム動作またはパンニング動作によって生じる変動であることを特徴とする請求項1に記載の画像処理装置。
  3. 前記設定手段が設定するパラメータは、前記仮想光源の位置、発光強度、発光角度および種類の少なくとも1つを含むことを特徴とする請求項1または請求項2に記載の画像処理装置。
  4. 撮影画角の変動が前記動画を撮影する撮影装置のズーム動作によって生じる場合は、前記仮想光源の位置を変えないモードと、前記仮想光源の位置を被写体に対して相対的に遠くするモードを選択可能とする選択手段を備えることを特徴とする請求項1から請求項3までの何れか1項に記載の画像処理装置。
  5. 撮影画角の変動が前記動画を撮影する撮影装置のパンニング動作によって生じる場合は、前記仮想光源の位置を変えないモードと、前記仮想光源の位置をパンニング動作に連動して変更するモードと、前記仮想光源の位置を変更せずに発光角度をパンニング動作に連動して変更するモードを選択可能とする選択手段を備えることを特徴とする請求項1から請求項4までの何れか1項に記載の画像処理装置。
  6. 動画を構成する複数のフレーム画像に対して仮想光源によるリライティング効果を付与する画像処理方法であって、
    動画撮影時の撮影画角の変動に関する撮影情報を取得する取得ステップと、
    前記複数のフレーム画像にリライティング効果を付与する画像処理を行う処理ステップと、
    前記処理ステップでの画像処理に用いるパラメータを設定する設定ステップと、を備え、
    前記設定ステップでは、前記複数のフレーム画像のうちで撮影画角の変動が生じた期間のフレーム画像に対して、少なくとも前記撮影情報を用いて、前記パラメータを設定することを特徴とする画像処理方法。
JP2017104218A 2017-05-26 2017-05-26 画像処理装置および画像処理方法、プログラム Active JP6946055B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017104218A JP6946055B2 (ja) 2017-05-26 2017-05-26 画像処理装置および画像処理方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017104218A JP6946055B2 (ja) 2017-05-26 2017-05-26 画像処理装置および画像処理方法、プログラム

Publications (3)

Publication Number Publication Date
JP2018201089A true JP2018201089A (ja) 2018-12-20
JP2018201089A5 JP2018201089A5 (ja) 2020-07-02
JP6946055B2 JP6946055B2 (ja) 2021-10-06

Family

ID=64668382

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017104218A Active JP6946055B2 (ja) 2017-05-26 2017-05-26 画像処理装置および画像処理方法、プログラム

Country Status (1)

Country Link
JP (1) JP6946055B2 (ja)

Also Published As

Publication number Publication date
JP6946055B2 (ja) 2021-10-06

Similar Documents

Publication Publication Date Title
JP6445844B2 (ja) 撮像装置および撮像装置で実行される方法
JP5108093B2 (ja) 撮像装置及び撮像方法
JP6381404B2 (ja) 画像処理装置及び方法、及び撮像装置
US9961319B2 (en) Image processing apparatus and control method thereof
JP2010147786A (ja) 撮像装置及び画像処理方法
JP2017022610A (ja) 画像処理装置、画像処理方法
CN110324529B (zh) 图像处理设备及其控制方法
JP6937603B2 (ja) 画像処理装置およびその制御方法、プログラム、並びに記憶媒体
JP2018182700A (ja) 画像処理装置およびその制御方法、プログラム、並びに記憶媒体
JP2010183460A (ja) 撮像装置およびその制御方法
KR101630307B1 (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
JP6921606B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2017138927A (ja) 画像処理装置、撮像装置およびそれらの制御方法、それらのプログラム
JP2018050149A (ja) 画像処理装置
JP2018074199A (ja) 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
JP6210772B2 (ja) 情報処理装置、撮像装置、制御方法、及びプログラム
JP6718256B2 (ja) 画像処理装置、撮像装置およびそれらの制御方法ならびにプログラム
JP2020005084A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2015179968A (ja) 装置、方法、及びプログラム
JP6946055B2 (ja) 画像処理装置および画像処理方法、プログラム
JP2017183983A (ja) 撮像装置、その制御方法、および制御プログラム
JP2016213717A (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP2010183461A (ja) 撮像装置およびその制御方法
JP7462464B2 (ja) 画像処理装置および方法、プログラム、記憶媒体
JP2019075621A (ja) 撮像装置、撮像装置の制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200522

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200522

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210817

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210915

R151 Written notification of patent or utility model registration

Ref document number: 6946055

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151