JP2005129017A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP2005129017A
JP2005129017A JP2004255717A JP2004255717A JP2005129017A JP 2005129017 A JP2005129017 A JP 2005129017A JP 2004255717 A JP2004255717 A JP 2004255717A JP 2004255717 A JP2004255717 A JP 2004255717A JP 2005129017 A JP2005129017 A JP 2005129017A
Authority
JP
Japan
Prior art keywords
image
subject
reference member
illumination
normal direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004255717A
Other languages
English (en)
Other versions
JP4583844B2 (ja
Inventor
Yukinori Noguchi
幸典 野口
Akira Yoda
章 依田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2004255717A priority Critical patent/JP4583844B2/ja
Priority to US10/949,224 priority patent/US7787692B2/en
Publication of JP2005129017A publication Critical patent/JP2005129017A/ja
Application granted granted Critical
Publication of JP4583844B2 publication Critical patent/JP4583844B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)

Abstract

【課題】 任意の照明条件で撮像された被写体の画像を、予め定められた照明条件で撮像した画像に補正する画像処理装置の提供。
【解決手段】 画像処理装置100は、「理想照明条件」で基準ボールを撮像した「理想ボール画像」を取得する理想照明画像取得部104と、「実照明条件」で基準ボール及び被写体を撮像し、「実ボール画像」及び「被写実体画像」を取得する実照明画像取得部106と、基準ボール及び被写体の立体形状をそれぞれ取得する形状取得部102と、基準ボール及び被写体の立体形状に基づいて「理想ボール画像」、「実ボール画像」、及び「被写体実画像」の各部の法線方向を判断する法線方向判断部108と、「理想ボール画像」及び「実ボール画像」における各部の法線方向毎の色の差を「色の差分」として算出する差分算出部110と、「被写体実画像」の各部の色を法線方向毎に「色の差分」で補正する被写体画像補正部112とを備える。
【選択図】図1

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。特に本発明は、被写体を撮像した画像の明るさ及び色を補正する画像処理装置、画像処理方法、及びプログラムに関する。
従来、被写体撮影時の照明条件によって変化する画像の色バランスを補正する技術として、白色や黒色などの基準色部材を被写体と一緒に撮像し、基準色部材の色に基づいて、色バランスの補正を行う技術がある(例えば、特許文献1参照。)。
特開2001−309392号公報
しかしながら、照明が被写体画像の色合いに影響を及ぼす度合いは、被写体の各部の法線方向に応じて異なる。従来の技術では、被写体の各部の法線方向に応じて適切に画像の色合いを補正することができないという課題があった。
また、照明条件が未知の場合、被写体の画像を、予め定められた照明条件で撮像した画像に補正することができないという課題があった。
そこで本発明は、上記の課題を解決することができる画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
本発明の第1の形態によると、被写体を撮像した画像を補正する画像処理装置は、複数の法線方向を有する基準部材を、第1の照明条件で撮像した第1基準部材画像を取得する第1照明画像取得部と、第2の照明条件で基準部材を撮像した第2基準部材画像と、第2の照明条件で任意の被写体を撮像した被写体画像とを取得する第2照明画像取得部と、基準部材及び被写体の立体形状をそれぞれ取得する形状取得部と、基準部材及び被写体の立体形状に基づいて、第1基準部材画像、第2基準部材画像、及び被写体画像の各部の法線方向を判断する法線方向判断部と、第1基準部材画像及び第2基準部材画像における各部の法線方向毎の色の差分を算出する差分算出部と、被写体画像の各部の色を法線方向毎に、色の差分で補正する被写体画像補正部とを備える。
基準部材の形状は球状であることが望ましい。また、基準部材及び被写体の光学特性は実質的に同一であることが望ましい。
第1照明画像取得部は、第1の照明条件として、被写体を撮像する場合の理想的な照明条件で、第1基準部材画像を取得してもよい。
本発明の第2の形態によれば、被写体を撮像した画像を補正する画像処理装置は、複数の法線方向を有する基準部材の3次元画像である第1基準部材画像を、第1の材料色と第1の照明条件で生成する第1照明画像生成部と、現実の任意の照明条件である第2の照明条件で、実在する任意の被写体を撮像した被写体画像と、第2の照明条件で、被写体と同一色の基準部材を撮像した第2基準部材画像とを取得する第2照明画像取得部と、基準部材及び被写体の立体形状をそれぞれ取得する形状取得部と、基準部材及び被写体の立体形状に基づいて、第1基準部材画像、第2基準部材画像、及び被写体画像の各部の法線方向を判断する法線方向判断部と、第1基準部材画像及び第2基準部材画像における各部の法線方向毎の色の差分を算出する差分算出部と、被写体画像の各部の色を法線方向毎に、色の差分で補正する被写体画像補正部とを備える。
本発明の第3の形態によれば、被写体を撮像した画像を補正する画像処理方法は、複数の法線方向を有する基準部材を、第1の照明条件で撮像した第1基準部材画像を取得する第1照明画像取得ステップと、第2の照明条件で基準部材を撮像した第2基準部材画像と、第2の照明条件で任意の被写体を撮像した被写体画像とを取得する第2照明画像取得ステップと、基準部材及び被写体の立体形状をそれぞれ取得する形状取得ステップと、基準部材及び被写体の立体形状に基づいて、第1基準部材画像、第2基準部材画像、及び被写体画像の各部の法線方向を判断する法線方向判断ステップと、第1基準部材画像及び第2基準部材画像における各部の法線方向毎の色の差分を算出する差分算出ステップと、被写体画像の各部の色を法線方向毎に、色の差分で補正する被写体画像補正ステップとを備える。
本発明の第4の形態によれば、被写体を撮像した画像を補正する画像処理方法は、複数の法線方向を有する基準部材の3次元画像である第1基準部材画像を、第1の材料色と第1の照明条件で生成する第1照明画像生成ステップと、現実の任意の照明条件である第2の照明条件で、実在する任意の被写体を撮像した被写体画像と、第2の照明条件で、被写体と同一色の基準部材を撮像した第2基準部材画像とを取得する第2照明画像取得部と、基準部材及び被写体の立体形状をそれぞれ取得する形状取得ステップと、基準部材及び被写体の立体形状をそれぞれ取得する形状取得ステップと、基準部材及び被写体の立体形状に基づいて、第1基準部材画像、第2基準部材画像、及び被写体画像の各部の法線方向を判断する法線方向判断ステップと、第1基準部材画像及び第2基準部材画像における各部の法線方向毎の色の差分を算出する差分算出ステップと、被写体画像の各部の色を法線方向毎に、色の差分で補正する被写体画像補正ステップとを備える。
本発明の第5の形態によれば、被写体を撮像した画像を補正するコンピュータ用のプログラムは、複数の法線方向を有する基準部材を、第1の照明条件で撮像した第1基準部材画像を取得する第1照明画像取得機能と、第2の照明条件で基準部材を撮像した第2基準部材画像と、第2の照明条件で任意の被写体を撮像した被写体画像とを取得する第2照明画像取得機能と、基準部材及び被写体の立体形状をそれぞれ取得する形状取得機能と、基準部材及び被写体の立体形状に基づいて、第1基準部材画像、第2基準部材画像、及び被写体画像の各部の法線方向を判断する法線方向判断機能と、第1基準部材画像及び第2基準部材画像における各部の法線方向毎の色の差分を算出する差分算出機能と、被写体画像の各部の色を法線方向毎に、色の差分で補正する被写体画像補正機能とをコンピュータに実現させる。
本発明の第6の形態によれば、被写体を撮像した画像を補正するコンピュータ用のプログラムは、複数の法線方向する基準部材の3次元画像である第1基準部材画像を、第1の材料色と第1の照明条件で生成する第1照明画像生成機能と、現実の任意の照明条件である第2の照明条件で、実在する任意の被写体を撮像した被写体画像と、第2の照明条件で、被写体と同一色の基準部材を撮像した第2基準部材画像とを取得する第2照明画像取得機能と、基準部材及び被写体の立体形状をそれぞれ取得する形状取得部と、基準部材及び被写体の立体形状をそれぞれ取得する形状取得機能と、基準部材及び被写体の立体形状に基づいて、第1基準部材画像、第2基準部材画像、及び被写体画像の各部の法線方向を判断する法線方向判断機能と、第1基準部材画像及び第2基準部材画像における各部の法線方向毎の色の差分を算出する差分算出機能と、被写体画像の各部の色を法線方向毎に、色の差分で補正する被写体画像補正機能とをコンピュータに実現させる。
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。
本発明によれば、任意の照明条件で撮像された被写体の画像を、予め定められた照明条件で撮像した画像に補正することができる。
以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、本発明の一実施形態に係る画像処理装置100の機能構成を示す。画像処理装置100は、任意の照明条件で撮像された被写体の画像を、予め定められた照明条件で撮像した画像に補正することを目的とする。本実施形態の第1実施例では、照明条件を判断するために、複数の法線方向を有する基準部材を撮像する。基準部材は複数の法線方向を有するので、照明光に対して面の角度を複数方向に変えた画像を一度に撮影することができる。また、第2実施例では、基準部材の3次元画像を、仮想の材料色及び照明条件で生成する。以下、第1実施例を中心に説明し、第2実施例については第1実施例と異なる構成又は動作についてのみ説明する。第2実施例において第1実施例と同様の構成には同一の符号を付して説明を省略する。
基準部材の形状は、例えば球状であることが望ましい。本実施形態では、基準部材として球状の基準ボール10を使用する。基準ボール10は、球状なので、あらゆる法線方向の面を有している。従って、照明光に対して法線方向をあらゆる方向に変化させた画像を、効率よく撮像、又は生成できる。また、基準部材及び被写体の光学特性は実質的に同一であることが望ましい。これにより、照明条件が被写体に及ぼす光学的な影響を、基準部材を用いて等価的に判断することができる。
第1実施例において、画像処理装置100は、被写体を撮像するための理想的な照明条件(以下、「理想照明条件」)で基準ボール10を撮像した「理想ボール画像」を取得する理想照明画像取得部104と、現実の任意の照明条件(以下、実照明条件)で基準ボール10を撮像した「実ボール画像」と「実照明条件」で被写体を撮像した「被写体実画像」とを取得する実照明画像取得部106と、基準ボール10及び被写体の立体形状をそれぞれ取得する形状取得部102と、基準ボール10及び被写体の立体形状に基づいて、「理想ボール画像」、「実ボール画像」、及び「被写体実画像」の各部の法線方向を判断する法線方向判断部108と、「理想ボール画像」及び「実ボール画像」における各部の法線方向毎の色の差分を算出する差分算出部110と、「被写体実画像」の各部の色を法線方向毎に色の差分で補正する被写体画像補正部112とを備える。
ここで、「理想照明条件」は、本発明の第1の照明条件の一例であり、「理想ボール画像」は、本発明の第1基準部材画像の一例である。また、「実照明条件」は、本発明の第2の照明条件の一例であり、「実ボール画像」は、本発明の第2基準部材画像の一例である。さらに、理想照明画像取得部104は、本発明の第1照明画像取得部の一例であり、実照明画像取得部106は、本発明の第2照明画像取得部の一例である。
第2実施例において、理想照明画像取得部104は、基準ボール10の3次元画像を、「指定色」と「理想照明条件」で生成して「理想ボール画像」を生成する。すなわち、第2実施例の理想ボール画像は、画像処理装置100が生成する基準ボール10のコンピュータグラフィックス(CG)画像である。本実施例の理想照明画像取得部104は、本発明の第1照明画像生成部の一例である。理想照明条件は、照明の分光分布及び照明の位置など、理想ボール画像を生成するために必要な照明条件を含む。本実施例の実照明画像取得部106は、現実の任意の照明条件である実照明条件で、実在する任意の被写体を撮像して「被写体実画像」を取得する。実照明画像取得部106はさらに、被写体と同一色の基準ボール10を上記実照明条件で撮像した「実ボール画像」を取得する。差分算出部110は、「理想ボール画像」及び「実ボール画像」における各部の法線方向毎の色の差分を算出する。被写体画像補正部112は、「被写体実画像」の各部の色を法線方向毎に、差分算出部110が算出した差分で補正する。
記録媒体60は、形状取得部102、理想照明画像取得部104、実照明画像取得部106、法線方向判断部108、差分算出部110、及び被写体画像補正部112の機能を画像処理装置100に実現させるプログラムを格納している。画像処理装置100は、そのようなプログラムをネットワーク経由で取得して実行してもよい。
以上の構成により、第1実施例の画像処理装置100は、「理想ボール画像」及び「実ボール画像」の法線方向毎の色の差を、「理想照明条件」及び「実照明条件」の違いに起因する「色の差分」として算出することができる。そして、「被写体実画像」を「色の差分」で補正することにより、被写体を「理想照明条件」で撮像した場合の画像を得ることができる。すなわち、画像処理装置100は、任意の照明条件で撮像した被写体画像を、「理想照明条件」で撮像した画像に補正することができる。
また、第2実施例の画像処理装置100は、「理想ボール画像」及び「実ボール画像」の法線方向毎の色の差を、「理想照明条件」及び「実照明条件」の違いと、「指定色」及び「実在の基準ボール10の色」の違いとに起因する色の差分として算出する。そして、「被写体実画像」を上記色の差分で補正することにより、「指定色」からなる被写体を「理想照明条件」で撮像した場合の画像を取得することができる。すなわち、画像処理装置100は、任意の照明条件で撮像した被写体画像から、「指定色」の被写体を「理想照明条件」で撮像した画像を生成することができる。
図2は、第1実施例の理想照明画像取得部104が、「理想ボール画像」を取得する様子を示す。「理想ボール画像」は、例えば自動車である被写体20を撮像する場合に理想的な被写体理想画像20aが得られる「理想照明条件」と同一の条件で、基準ボール10を撮像することによって得られる。「理想照明条件」は、例えば、撮影スタジオやショウルームに被写体20を持ち込み、被写体20の外観に最も適したように、照明のスペクトル成分、個数、角度、強度、及び距離等を調節することによって得られる。このとき、基準ボール10及び被写体20の各部の法線方向毎の照明条件は、同一である。
一方、第2実施例の理想照明画像取得部104は、被写体20と基準ボール10の3次元CG画像を同じ色と照明条件で生成し、モニタに表示する。ユーザは、モニタに表示される被写体20の画像を確認しながら色及び照明条件を調節し、被写体20が所望の外観になる状態で、色及び照明条件を決定する。理想照明画像取得部104は、このときの基準ボール10の画像を「理想ボール画像」として取得する。
図3は、「実照明条件」で「被写体実画像」及び「実ボール画像」を取得する様子を示す。「実照明条件」は、たとえば、被写体20の中古車ディーラーやオーナーが、被写体20の画像を中古車情報のホームページに掲載する為に、屋内又は屋外で被写体20を撮像する場合の撮像条件である。「実照明条件」は任意の照明条件であり、「理想照明条件」のように、照明のスペクトル成分、角度、強度などが被写体20にとって理想的に調節されてはいない。例えば、本実施例に於ける「実照明条件」は、「理想照明条件」よりも照度が低く、照明の方向も偏っている。従って、「実照明条件」で撮像された「被写体実画像」は、「理想照明条件」で撮像される被写体の画像よりも、全体的に暗く、陰の範囲が広い。
このとき、基準ボール10及び被写体20の各部の法線方向毎の照明条件は、同一である。実照明画像取得部106は、この状態で被写体20と一緒に基準ボール10を撮像することによって、同一の「実照明条件」で撮像された「被写体実画像」及び「実ボール画像」を取得する。
なお、本実施例において、基準ボール10は、被写体20と一緒に撮像されているが、被写体20と同一の照明条件で撮像される限りにおいて、被写体20とは別に撮像されてもよい。例えば、被写体20を撮像する直前又は直後に、被写体20と同一の照明条件で別個に撮像されてもよい。
図4は、「理想ボール画像」及び「実ボール画像」の法線方向を判断する方法の一例を示す。法線方向判断部108は、基準ボール10の形状データを形状取得部102から取得し、理想ボール画像10a及び実ボール画像10bのそれぞれと重ね合わせることにより、各部の法線方向を判断する。本実施形態の基準ボール10は球状なので、画像データの形状が撮像の方向によらず一定である。従って、法線方向判断部108は、理想ボール画像10a及び実ボール画像10bのそれぞれに対して、形状データを容易に重ね合わせることができる。
立体形状を示す形状データは、例えばワイヤーフレームデータである。ワイヤーフレームデータは、オブジェクトの形状を微小平面の集合体として表現し、微小平面のそれぞれにおける法線方向を定義する。法線方向判断部108は、ワイヤーフレームデータにおける微小平面のそれぞれに定義された法線方向を、理想ボール画像10a及び実ボール画像10bの対応する各部における法線方向として判断する。なお、形状データの形式は、ワイヤーフレームに限られない。各部の法線方向を読み出すことのできるデータ形式であれば、ポリゴンデータ、サーフェスデータ、及びソリッドデータ等のいずれであってもよい。
次に、第1実施例の差分算出部110は、理想ボール画像10a及び実ボール画像10bにおいて法線方向が同じ部分同士の色を比較し、当該比較の結果得られる色の差分を法線方向毎に算出する。例えば、図4において、理想ボール画像10aに於ける法線12aと実ボール画像10bに於ける法線12bは法線方向が同一である。差分算出部110は、法線方向が同一である微小平面14a及び微小平面14bの色を比較し、両者の色の差分を法線12の方向に対応付けて格納する。色の差分は、例えばRGB値の差分や倍率である。あるいはL表色系やLh表色系における各パラメータの差分や倍率であってもよい。
図5は、「実照明条件」で撮像した被写体実画像を上記色の差分で補正する例を示す。図5(A)は、「実照明条件」で撮像された被写体実画像20bを示す。法線方向判断部108は、被写体20の立体形状を示す形状データと被写体実画像20bとを取得し、被写体実画像20bの各部の法線方向を判断する。法線方向判断部108は、被写体の形状が球状でない場合、形状データの外形線が被写体実画像20bに最も一致する向きで、両者を重ね合わせる。被写体実画像20bと形状データを重ね合わせた後、各部の法線方向を判断する方法は、図4で説明した、基準ボール10の法線方向を判断する方法と同様なので省略する。
被写体画像補正部112は、被写体実画像20bの各部の法線方向毎に、差分算出部110が算出した「色の差分」を除去するように、被写体実画像20bの色と明るさを補正する。例えば、法線12cの方向は、図4における法線12a及び12bと同一の法線方向である。この場合、被写体画像補正部112は、法線12cを有する微小平面14cの色から、微小平面14aに対する微小平面14bの色の差を差し引く。この結果、図5(B)に示す被写体補正画像20cが得られる。
ここで、第1実施例において法線方向毎の「色の差分」は、「理想照明条件」及び「実照明条件」の違いに起因して生じる。従って、被写体実画像20bから「色の差分」を除くことによって、「実照明条件」で撮像した被写体実画像を、「理想照明条件」で撮像した場合の被写体補正画像20cに補正することができる。
また、第2実施例において、法線方向毎の「色の差分」は、「理想照明条件」及び「実照明条件」の違いと、「指定色」及び「実在の基準ボール10の色」の違いとに起因して生じる。従って、被写体実画像20bから「色の差分」を除くことによって、被写体実画像を、「指定色」及び「理想照明条件」で撮像した場合の被写体補正画像20cに補正することができる。
図6は、任意の照明条件で撮像した「被写体実画像」を、理想照明条件で撮像した画像に補正する場合のフローチャートである。まず、理想照明画像取得部104は、当該被写体にとっての理想照明条件で基準ボールを撮像し、理想ボール画像を取得する(S100)。次に、実照明画像取得部106は、任意の実照明条件で被写体及び基準ボールを一緒に撮像し、被写体実画像及び実ボール画像を取得する(S102)。
次に、形状取得部102は、基準ボールの立体形状を示す形状データを取得する(S104)。そして、法線方向判断部108は、理想ボール画像及び実ボール画像のそれぞれに形状データを重ね合わせ、対応する各部の法線方向を判断する(S106)。次に、差分算出部110は、基準ボールの法線方向毎の色を、理想ボール画像と実ボール画像とで比較し(S108)、法線方向毎に「色の差分」を算出する(S110)。
次に、法線方向判断部108は、被写体の立体形状を示す形状データを取得する(S112)。そして、形状データの向きを被写体実画像とそろえて重ね合わせることによって、被写体実画像の各部における法線方向を判断する(S114)。ここで、形状データの向きを被写体実画像とそろえるには、たとえば形状データの向きを徐々に変化させて、形状データの外形線が被写体実画像と最も一致する向きを探せばよい。
最後に、被写体画像補正部112は、被写体実画像の各部の法線方向毎に、差分算出部110が算出した「色の差分」を被写体実画像から除去する。これにより、「実照明条件」で撮像した被写体実画像から、「理想照明条件」で撮像した場合の被写体補正画像を得ることができる(S116)。以上で本フローは終了する。
図7は、任意の照明条件で撮像した「被写体実画像」の被写体を指定色に変更し、理想照明条件で撮像した画像を生成するフローチャートである。まず、理想照明画像取得部104は、基準ボール10の3次元画像を、「指定色」と「理想照明条件」で生成して「理想ボール画像」を生成する。(S100)。続くステップ202、204、及び206は、それぞれ前述のステップ102、104、及び106と同様なので説明を省略する。次に、差分算出部110は、基準ボールの法線方向毎の色を、3次元画像である理想ボール画像と実ボール画像とで比較し(S208)、法線方向毎に「色度」及び「彩度」の差分を算出する(S210)。続くステップ212及び214は、それぞれ前述のステップ112及び114と同様なので説明を省略する。
最後に、被写体画像補正部112は、被写体実画像の各部の法線方向毎に、差分算出部110が算出した「色の差分」を被写体実画像から除去する。この結果、任意の照明条件で撮像した「被写体実画像」の被写体を指定色に変更し、理想照明条件で撮像した場合の画像が生成される(S216)。以上で本フローは終了する。
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
本実施形態によれば、任意の照明条件で撮像された被写体の画像を、予め定められた照明条件で撮像した画像に補正することができる。
画像処理装置100の機能構成を示すブロック図である。 「理想ボール画像」を取得する様子を示す図である。 「実照明条件」で「被写体実画像」及び「実ボール画像」を取得する様子を示す図である。 「理想ボール画像」及び「実ボール画像」の法線方向を判断する方法の一例を示す図である。 「実照明条件」で撮像した被写体実画像を色の差分で補正する例を示す図である。 「被写体実画像」から被写体を理想照明条件で撮像した画像を生成するフローチャートである。 「被写体実画像」の被写体を指定色に変更し、理想照明条件で撮像した画像を生成するフローチャートである。
符号の説明
10 基準ボール
20 被写体
20a 被写体理想画像
20b 被写体実画像
60 記録媒体
100 画像処理装置
102 形状取得部
104 理想照明画像取得部
106 実照明画像取得部
108 法線方向判断部
110 差分算出部
112 被写体画像補正部

Claims (9)

  1. 被写体を撮像した画像を補正する画像処理装置であって、
    複数の法線方向を有する基準部材を、第1の照明条件で撮像した第1基準部材画像を取得する第1照明画像取得部と、
    第2の照明条件で前記基準部材を撮像した第2基準部材画像と、前記第2の照明条件で任意の被写体を撮像した被写体画像とを取得する第2照明画像取得部と、
    前記基準部材及び前記被写体の立体形状をそれぞれ取得する形状取得部と、
    前記基準部材及び前記被写体の前記立体形状に基づいて、前記第1基準部材画像、前記第2基準部材画像、及び前記被写体画像の各部の法線方向を判断する法線方向判断部と、
    前記第1基準部材画像及び前記第2基準部材画像における各部の前記法線方向毎の色の差分を算出する差分算出部と、
    前記被写体画像の各部の色を前記法線方向毎に、前記色の差分で補正する被写体画像補正部と
    を備える画像処理装置。
  2. 前記基準部材の形状は球状である、請求項1に記載の画像処理装置。
  3. 前記基準部材及び前記被写体の光学特性は実質的に同一である、請求項1に記載の画像処理装置。
  4. 前記第1照明画像取得部は、前記第1の照明条件として、前記被写体を撮像する場合の理想的な照明条件で、前記第1基準部材画像を取得する、請求項1に記載の画像処理装置。
  5. 被写体を撮像した画像を補正する画像処理装置であって、
    複数の法線方向を有する基準部材の3次元画像である第1基準部材画像を、第1の材料色と第1の照明条件で生成する第1照明画像生成部と、
    現実の任意の照明条件である第2の照明条件で、実在する任意の被写体を撮像した被写体画像と、前記第2の照明条件で、前記被写体と同一色の前記基準部材を撮像した第2基準部材画像とを取得する第2照明画像取得部と、
    前記基準部材及び前記被写体の立体形状をそれぞれ取得する形状取得部と、
    前記基準部材及び前記被写体の前記立体形状に基づいて、前記第1基準部材画像、前記第2基準部材画像、及び前記被写体画像の各部の法線方向を判断する法線方向判断部と、
    前記第1基準部材画像及び前記第2基準部材画像における各部の前記法線方向毎の色の差分を算出する差分算出部と、
    前記被写体画像の各部の色を前記法線方向毎に、前記色の差分で補正する被写体画像補正部と
    を備える画像処理装置。
  6. 被写体を撮像した画像を補正する画像処理方法であって、
    複数の法線方向を有する基準部材を、第1の照明条件で撮像した第1基準部材画像を取得する第1照明画像取得ステップと、
    第2の照明条件で前記基準部材を撮像した第2基準部材画像と、前記第2の照明条件で任意の被写体を撮像した被写体画像とを取得する第2照明画像取得ステップと、
    前記基準部材及び前記被写体の立体形状をそれぞれ取得する形状取得ステップと、
    前記基準部材及び前記被写体の前記立体形状に基づいて、前記第1基準部材画像、前記第2基準部材画像、及び前記被写体画像の各部の法線方向を判断する法線方向判断ステップと、
    前記第1基準部材画像及び前記第2基準部材画像における各部の前記法線方向毎の色の差分を算出する差分算出ステップと、
    前記被写体画像の各部の色を前記法線方向毎に、前記色の差分で補正する被写体画像補正ステップと
    を備える画像処理方法。
  7. 被写体を撮像した画像を補正する画像処理方法であって、
    複数の法線方向を有する基準部材の3次元画像である第1基準部材画像を、第1の材料色と第1の照明条件で生成する第1照明画像生成ステップと、
    現実の任意の照明条件である第2の照明条件で、実在する任意の被写体を撮像した被写体画像と、前記第2の照明条件で、前記被写体と同一色の前記基準部材を撮像した第2基準部材画像とを取得する第2照明画像取得ステップと、
    前記基準部材及び前記被写体の立体形状をそれぞれ取得する形状取得ステップと、
    前記基準部材及び前記被写体の前記立体形状に基づいて、前記第1基準部材画像、前記第2基準部材画像、及び前記被写体画像の各部の法線方向を判断する法線方向判断ステップと、
    前記第1基準部材画像及び前記第2基準部材画像における各部の前記法線方向毎の色の差分を算出する差分算出ステップと、
    前記被写体画像の各部の色を前記法線方向毎に、前記色の差分で補正する被写体画像補正ステップと
    を備える画像処理方法。
  8. 被写体を撮像した画像を補正するコンピュータ用のプログラムであって、
    複数の法線方向を有する基準部材を、第1の照明条件で撮像した第1基準部材画像を取得する第1照明画像取得機能と、
    第2の照明条件で前記基準部材を撮像した第2基準部材画像と、前記第2の照明条件で任意の被写体を撮像した被写体画像とを取得する第2照明画像取得機能と、
    前記基準部材及び前記被写体の立体形状をそれぞれ取得する形状取得機能と、
    前記基準部材及び前記被写体の前記立体形状に基づいて、前記第1基準部材画像、前記第2基準部材画像、及び前記被写体画像の各部の法線方向を判断する法線方向判断機能と、
    前記第1基準部材画像及び前記第2基準部材画像における各部の前記法線方向毎の色の差分を算出する差分算出機能と、
    前記被写体画像の各部の色を前記法線方向毎に、前記色の差分で補正する被写体画像補正機能と
    を前記コンピュータに実現させるプログラム。
  9. 被写体を撮像した画像を補正するコンピュータ用のプログラムであって、
    複数の法線方向する基準部材の3次元画像である第1基準部材画像を、第1の材料色と第1の照明条件で生成する第1照明画像生成機能と、
    現実の任意の照明条件である第2の照明条件で、実在する任意の被写体を撮像した被写体画像と、前記第2の照明条件で、前記被写体と同一色の前記基準部材を撮像した第2基準部材画像とを取得する第2照明画像取得機能と、
    前記基準部材及び前記被写体の立体形状をそれぞれ取得する形状取得機能と、
    前記基準部材及び前記被写体の前記立体形状に基づいて、前記第1基準部材画像、前記第2基準部材画像、及び前記被写体画像の各部の法線方向を判断する法線方向判断機能と、
    前記第1基準部材画像及び前記第2基準部材画像における各部の前記法線方向毎の色の差分を算出する差分算出機能と、
    前記被写体画像の各部の色を前記法線方向毎に、前記色の差分で補正する被写体画像補正機能と
    を前記コンピュータに実現させるプログラム。
JP2004255717A 2003-09-25 2004-09-02 画像処理装置、画像処理方法、及びプログラム Expired - Fee Related JP4583844B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004255717A JP4583844B2 (ja) 2003-09-30 2004-09-02 画像処理装置、画像処理方法、及びプログラム
US10/949,224 US7787692B2 (en) 2003-09-25 2004-09-27 Image processing apparatus, image processing method, shape diagnostic apparatus, shape diagnostic method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003342091 2003-09-30
JP2004255717A JP4583844B2 (ja) 2003-09-30 2004-09-02 画像処理装置、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2005129017A true JP2005129017A (ja) 2005-05-19
JP4583844B2 JP4583844B2 (ja) 2010-11-17

Family

ID=34655702

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004255717A Expired - Fee Related JP4583844B2 (ja) 2003-09-25 2004-09-02 画像処理装置、画像処理方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP4583844B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013253946A (ja) * 2011-09-22 2013-12-19 Nippon Telegr & Teleph Corp <Ntt> 光源分布推定装置、光源分布推定方法及び光源分布推定プログラム
JP2016219935A (ja) * 2015-05-18 2016-12-22 シャープ株式会社 画像処理装置、画像処理方法、及びプログラム
JP2017037637A (ja) * 2015-07-22 2017-02-16 アディダス アーゲー 人工ピクチャを生成する方法および装置
JP2017123020A (ja) * 2016-01-06 2017-07-13 キヤノン株式会社 画像処理装置および撮像装置、それらの制御方法ならびにプログラム
JP2018005913A (ja) * 2016-06-29 2018-01-11 クリエイツ インコーポレイテッドCreatz Inc. ボールの画像の明るさを補正するための方法、システム、及び非一時的なコンピュータ読み取り可能な記録媒体
KR20220128599A (ko) * 2018-04-02 2022-09-21 주식회사 크리에이츠 공 이미지의 밝기를 보정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11304589A (ja) * 1998-04-22 1999-11-05 Toppan Printing Co Ltd 環境光測定システム
JP2000030031A (ja) * 1998-07-08 2000-01-28 Nippon Sheet Glass Co Ltd 物体反射光の色調可視化方法
JP2001309392A (ja) * 2000-04-18 2001-11-02 Infoarts Inc カラー画像の色補正用デバイス及び色補正方法
JP2002092625A (ja) * 2000-09-11 2002-03-29 Sony Corp 画像処理装置および方法、並びに記録媒体
JP2005122706A (ja) * 2003-09-25 2005-05-12 Fuji Photo Film Co Ltd 形状診断装置、形状診断方法、及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11304589A (ja) * 1998-04-22 1999-11-05 Toppan Printing Co Ltd 環境光測定システム
JP2000030031A (ja) * 1998-07-08 2000-01-28 Nippon Sheet Glass Co Ltd 物体反射光の色調可視化方法
JP2001309392A (ja) * 2000-04-18 2001-11-02 Infoarts Inc カラー画像の色補正用デバイス及び色補正方法
JP2002092625A (ja) * 2000-09-11 2002-03-29 Sony Corp 画像処理装置および方法、並びに記録媒体
US20030185459A1 (en) * 2000-09-11 2003-10-02 Hideto Takeuchi Image processing device and method, and recording medium
JP2005122706A (ja) * 2003-09-25 2005-05-12 Fuji Photo Film Co Ltd 形状診断装置、形状診断方法、及びプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013253946A (ja) * 2011-09-22 2013-12-19 Nippon Telegr & Teleph Corp <Ntt> 光源分布推定装置、光源分布推定方法及び光源分布推定プログラム
JP2016219935A (ja) * 2015-05-18 2016-12-22 シャープ株式会社 画像処理装置、画像処理方法、及びプログラム
JP2017037637A (ja) * 2015-07-22 2017-02-16 アディダス アーゲー 人工ピクチャを生成する方法および装置
JP2017123020A (ja) * 2016-01-06 2017-07-13 キヤノン株式会社 画像処理装置および撮像装置、それらの制御方法ならびにプログラム
JP2018005913A (ja) * 2016-06-29 2018-01-11 クリエイツ インコーポレイテッドCreatz Inc. ボールの画像の明るさを補正するための方法、システム、及び非一時的なコンピュータ読み取り可能な記録媒体
JP7076955B2 (ja) 2016-06-29 2022-05-30 クリエイツ インコーポレイテッド ボールの画像の明るさを補正するための方法、システム、及び非一時的なコンピュータ読み取り可能な記録媒体
KR20220128599A (ko) * 2018-04-02 2022-09-21 주식회사 크리에이츠 공 이미지의 밝기를 보정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR102541061B1 (ko) 2018-04-02 2023-06-13 주식회사 크리에이츠 공 이미지의 밝기를 보정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Also Published As

Publication number Publication date
JP4583844B2 (ja) 2010-11-17

Similar Documents

Publication Publication Date Title
CN111062378B (zh) 图像处理方法、模型训练方法、目标检测方法及相关装置
JP4770154B2 (ja) 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
US10388062B2 (en) Virtual content-mixing method for augmented reality and apparatus for the same
JP3892648B2 (ja) 画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体
US20090310885A1 (en) Image processing apparatus, imaging apparatus, image processing method and recording medium
CN108055452A (zh) 图像处理方法、装置及设备
JP2010011223A (ja) 信号処理装置、信号処理方法、プログラム及び記録媒体
JP5096297B2 (ja) 撮像装置
JP2015156615A (ja) 画像処理装置、画像処理方法、制御プログラム、および記録媒体
US9554121B2 (en) 3D scanning apparatus and method using lighting based on smart phone
US7787692B2 (en) Image processing apparatus, image processing method, shape diagnostic apparatus, shape diagnostic method and program
KR20070090224A (ko) 전자 색 이미지 채도 처리 방법
WO2016204068A1 (ja) 画像処理装置および画像処理方法、ならびにプロジェクションシステム
JP4583844B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7374582B2 (ja) 画像処理装置、画像生成方法およびプログラム
KR101680446B1 (ko) 컬러 테이블 생성 장치, 카메라 영상 보정/제어 장치 및 그 방법
JP2003333616A (ja) ホワイトバランス調整方法及び撮像装置及びプログラム及び記憶媒体
CN109672810B (zh) 图像处理设备、图像处理方法和存储介质
JP2008067093A (ja) カメラシステム、画像処理装置、および画像処理プログラム
JP2016051982A (ja) 画像処理装置、カメラおよび画像処理プログラム
JP5330291B2 (ja) 信号処理装置及び撮像装置
JP2019004281A (ja) 画像処理装置
WO2020084894A1 (ja) マルチカメラシステム、制御値算出方法及び制御装置
JP7309415B2 (ja) 画像処理装置、画像処理方法及びプログラム
US11062518B2 (en) Method for displaying a mixed reality image

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061206

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100216

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100518

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100810

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100901

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130910

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees