JP2011139115A - 高速度カメラ装置とその画像処理方法 - Google Patents

Abstract

【課題】自然光等で照らされた被写体を撮影する場合に、その画像に表れた鏡面反射成分を画像処理により除去できる画像処理方法を提供する。
【解決手段】自然光等の非変動光源１０に照らされた被写体１１を、高速度カメラ１２のフレームレートの１／２以下の点滅周波数で発光及び非発光を繰り返すストロボ１３で同時に照らしながら高速度カメラ１２で撮影する第１のステップと、ストロボ１３が発光しているときに撮影した高速度カメラ１２のフレーム画像と、ストロボ１３が発光していないときに撮影した高速度カメラ１２のフレーム画像との差分を取り、非変動光源の反射成分を含まない被写体１１の画像を得る第２のステップと、を備える。自然光等で照らされた被写体１１を高速度カメラ１２で撮影する場合に、画像に表れる鏡面反射を、光源やカメラ視点を移動しなくても、除去することができる。
【選択図】図１

Description

本発明は、高速度カメラで撮影された画像からハレーションを除去する画像処理方法と、それを実行する高速度カメラ装置に関する。

カメラで被写体を撮影する場合に、光源の光が被写体の一部で鏡面反射してカメラに入射すると、画像に写る被写体の鏡面反射部分にハレーションが現れる。図８（ａ）の女性は、額の部分にハレーションが起きている。そのため、ハレーション部分の本来の色が画像から識別できない。また、エッジ抽出の画像処理を実施した場合に、図８（ｂ）に示すように、ハレーション部分も抽出されてしまう。

近年、１秒間に１００コマ以上の撮影が可能な高速度カメラが様々な分野で活用されている。この高速度カメラは、ハイスピードカメラ、高速度ビデオ装置、高速度写真撮影装置等とも呼ばれており、一般的なビデオカメラでは見ることができない一瞬の動きや短時間の高速現象を撮影するために利用されている。現在、高速度カメラの高速化は、１秒間に２×１０⁷コマが撮影できる程に進んでいる。こうした高速度カメラの画像を解析して種々の高速現象が解明されているが、この場合にも、被写体からの鏡面反射光は、物体認識の邪魔になっており、精確な解析を妨げている。

ハレーションを防ぐ場合、一般的には、光源を移動したり、カメラの視点を変えたりして、ハレーションが画像に写らないようにしている。また、偏向フィルタを使ってハレーションを防ぐことも行われているが、しかし、鏡面反射光のカメラへの入射角が垂直に近い場合は、偏向フィルタを置いても、鏡面反射が殆ど除去できない。

下記特許文献１には、異なる位置に複数の照明装置を設置し、被写体を照らす照明装置を順次切り換えながら撮影した複数枚の被写体の画像からハレーションのない部分を取り込んで、ハレーションを含まない被写体の画像を合成する画像処理方法が記載されている。

本発明者等は、先に、下記非特許文献２において、高速度カメラで撮影する被写体が蛍光灯等の変動光源（照度が周期的に変動する光源）で照らされている場合に、被写体の画像からハレーションの除去を可能にする画像処理方法を提案している。
この方法では、高速度カメラの各フレームの画像から、変動光源の照度に連動して変化する各画素の輝度値の推移を求め、その推移から変動光源の照度が０のときの各画素の輝度値Ｉ⁰を推定し、Ｉ⁰に係数βを乗算して、変動光源による鏡面反射を除去した画像の輝度値Ｉ^rを求めている。

特開平９−４６５５７号公報

辻俊明，猪田良介: "高速度カメラ画像に基づく鏡面反射光の除去," 電気学会論文誌D, Vol. 130, No. 3, 2010

しかし、非特許文献１に記載された方法は、高速度カメラの被写体が、自然光などの非変動光源で照らされている場合には、用いることができない。
本発明は、こうした事情を考慮して創案したものであり、照度が変動しない光源や、その変動が僅かな光源によって照らされた被写体を高速度カメラで撮影する場合に、その画像に表れた鏡面反射成分を、光源やカメラの視点を移動せずに、画像処理により除去する画像処理方法を提供し、また、その方法を実行する高速度カメラ装置を提供することを目的としている。

本発明は、照度の変動の小さい非変動光源に照らされた被写体を撮影する高速度カメラの画像から前記非変動光源の鏡面反射を除去する画像処理方法であって、前記非変動光源に照らされた前記被写体を、発光強度の変化を繰り返すストロボで同時に照らしながら前記高速度カメラで撮影する第１のステップと、前記ストロボの発光強度が強いときに撮影した前記高速度カメラのフレーム画像と、前記ストロボの発光強度が強くないときに撮影した前記高速度カメラのフレーム画像との差分を取り、前記非変動光源の反射成分を含まない前記被写体の画像を得る第２のステップと、を備えることを特徴とする。
被写体を撮影した高速度カメラの各画素値は、非変動光源の反射成分とストロボの反射成分との和となる。そのため、第２のステップで二つのフレーム画像の差分を取ることにより、非変動光源の反射成分を含まない被写体の画像が得られる。

また、本発明の画像処理方法では、前記ストロボが、前記高速度カメラのフレームレートの１／２以下の点滅周波数で発光及び非発光を繰り返すことが望ましい。
ストロボの発光強度をこのように変化させることにより、高い精度で非変動光源の反射成分を除くことができる。

また、本発明の画像処理方法では、前記ストロボの反射成分が鏡面反射を含む場合に、前記第２のステップで得た前記被写体の画像の鏡面反射を含まない画像領域と、前記ストロボが発光していないときに撮影した前記フレーム画像の鏡面反射を含まない画像領域とを合成して前記被写体の画像を生成する。
そのため、ストロボの発光で被写体に鏡面反射が生じる場合でも、その鏡面反射を除くことが可能である。

また、本発明の画像処理方法では、前記ストロボの点滅周波数を、人間の目にチラツキが検知されない周波数に設定し、点滅のデューティー比を人間の目に眩しさを与えないデューティー比に設定することが望ましい。
ストロボの点滅周波数を数十Ｈｚ以上に設定すると、点滅によるチラツキが人の目に検知されない。また、ストロボの発光時間が短くなるようにデューティー比を設定すれば、瞬間的な照度を高くして撮影しても、平均的な光の照射量が小さいため、人の目には弱い光しか感じない。

また、本発明の画像処理方法では、前記ストロボが発光しているときに撮影した前記高速度カメラのフレーム画像と、前記ストロボが発光していないときに撮影した前記高速度カメラのフレーム画像との撮影時期が近接するように、前記ストロボの点滅と前記高速度カメラのシャッター動作とを同期させることが望ましい。
こうすることで、動きの大きな動画の画像精度の低下を抑えることができる。

また、本発明は、照度の変動の小さい非変動光源に照らされた被写体を撮影する高速度カメラ装置であって、前記被写体を１秒間に１００フレーム以上のフレームレートで撮影する撮影手段と、発光強度の変化を繰り返すストロボと、前記ストロボの発光強度が強いときに前記撮影手段が撮影したフレーム画像と、前記ストロボの発光強度が強くないときに前記撮影手段が撮影したフレーム画像とを取得して、それらフレーム画像の差分を取り、前記非変動光源の反射成分を含まない前記被写体の画像を生成する画像処理手段と、を備えることを特徴とする。
この高速度カメラ装置は、被写体の画像から非変動光源の反射成分を除くことができる。

また、本発明の高速度カメラ装置では、前記ストロボが、前記高速度カメラのフレームレートの１／２以下の点滅周波数で発光及び非発光を繰り返すことが望ましい。
ストロボが発光強度をこのように変化させることで、非変動光源の反射成分を高い精度で除くことが可能になる。

本発明により、自然光等の非変動光源で照らされた被写体を高速度カメラで撮影する場合に、画像に表れる鏡面反射を、光源やカメラ視点を移動しなくても、除去することができる。

本発明の高速度カメラ装置における画像処理方法を模式的に示す図 本発明の実施形態に係る高速度カメラ装置を示す図 本発明の実施形態に係る高速度カメラ装置の構成を示すブロック図 本発明の画像処理方法におけるストロボの点滅周期と高速度カメラ装置のサンプリング周期との関係を例示する図 本発明の実施形態に係る高速度カメラ装置の画像処理部の動作手順を示すフロー図 本発明の画像処理方法を適用して鏡面反射を除去した実験例を示す図 本発明の画像処理方法を動画の処理に適用する場合の露光タイミングを示す図 画像に現れた鏡面反射を示す図

本発明では、図１に模式的に示すように、太陽光１０のように照度の変動が小さい非変動光源に照らされた被写体１１を高速度カメラ１２で撮影するときに、発光及び非発光の点滅を繰り返すストロボ１３でも被写体１１を照らして撮影を行う。
図２は、実際に使用した高速度カメラ１２及びストロボ装置１３を示している。高速度カメラ１２は、最大１２００ＦＰＳ（フレーム／秒）の高速度撮影が可能なカシオ社製カメラ（ＣＡＳＩＯ ＥＸ−Ｆ１）を使用し、ストロボ装置１３は、１０ＷのパワーＬＥＤを４個直列に繋いだ装置を使用した。このストロボ装置１３は、最大１０００Ｈｚの周期で点滅させることができる。

この装置は、図３に示すように、制御部２０が、ストロボ装置１３の点滅動作と高速度カメラ１２の撮影動作とを連携させる撮影制御部２１と、高速度カメラ１２で撮影された画像の画像処理を行う画像処理部２２とを有している。画像処理部２２で処理された画像は、表示部３０に表示される。
なお、ストロボ装置の点滅動作とカメラの撮影動作とを連携させて制御する機構は、例えば、特開２００７−１７１４４６号公報に記載されているように、よく知られている。

撮影制御部２１は、ストロボ装置１３の発光期間に、高速度カメラ１２が少なくとも一枚のフレーム画像を撮影し、ストロボ装置１３の非発光期間に、高速度カメラ１２が少なくとも一枚のフレーム画像を撮影するように、ストロボ装置１３の点滅周波数及びデューティ比、並びに、高速度カメラ１２のフレームレートを設定する。
図４（ａ）は、ストロボ装置１３の点滅周波数ｆ_lを高速度カメラ１２のフレームレートｆ_cの１／６に設定（従って、ストロボ装置１３の発光周期１／ｆ_lを高速度カメラ１２のサンプリング周期１／ｆ_cの６倍に設定）し、ストロボ装置１３の発光期間の長さを高速度カメラ１２のサンプリング周期１／ｆ_cに一致させ、且つ、ストロボ装置１３の発光を高速度カメラ１２のサンプリング周期に同期させた場合を示している。
このとき、高速度カメラ１２は、ストロボ装置１３が１回点滅する間に６フレームの画像を撮影する。その６フレームの内、一枚（白丸）はストロボ装置１３が発光しているときに撮影された画像であり、残りの五枚（黒丸）は、ストロボ装置１３が発光していないときに撮影された画像である。

また、図４（ｂ）は、ストロボ装置１３の点滅周波数ｆ_lを高速度カメラ１２のフレームレートｆ_cの１／６に設定し、ストロボ装置１３の発光期間の長さを高速度カメラ１２のサンプリング周期１／ｆ_cの２倍に設定した場合を示している。なお、図４（ｂ）では、ストロボ装置１３の発光を高速度カメラ１２のサンプリング周期に同期させていない。
このとき、高速度カメラ１２は、ストロボ装置１３が１回点滅する間に６フレームの画像を撮影するが、ストロボ装置１３の発光と高速度カメラ１２のサンプリング周期とが同期していないため、ストロボ装置１３が発光している間に撮影された画像は一枚（白丸）であり、ストロボ装置１３が発光していない間に撮影された画像は三枚（黒丸）である。

しかし、ストロボ装置１３の発光と高速度カメラ１２のサンプリング周期とが同期していなくても、ストロボ装置１３の発光期間及び非発光期間を、それぞれ高速度カメラ１２のサンプリング周期の２倍以上に設定すれば、ストロボ装置１３の発光期間内に、高速度カメラ１２が少なくとも一枚のフレーム画像を撮影し、ストロボ装置１３の非発光期間内に、高速度カメラ１２が少なくとも一枚のフレーム画像を撮影することができる。

画像処理部２２は、高速度カメラ１２から、ストロボ装置１３が発光しているときに撮影されたフレーム画像と、ストロボ装置１３が発光していないときに撮影されたフレーム画像とを取得し、それら画像の差分を取ることにより、太陽光１０の反射成分を含まない被写体１１の画像を生成する。
図５のフロー図は、画像処理部２２の処理手順を示している。なお、ここでは、被写体１１が静止しているものとする。
画像処理部２２は、ストロボ装置１３が発光しているときに撮影されたフレーム画像を高速度カメラ１２から取得する（ステップ１）。
この画像の着目する画素の画素値（輝度値）をＩ_mとする。太陽光１０の反射成分による輝度値をＩ^a、ストロボ装置１３の反射成分による輝度値をＩ^oとして、Ｉ_m＝Ｉ^a＋Ｉ^oとなる。
次に、画像処理部２２は、ストロボ装置１３が発光していないときに撮影されたフレーム画像であって、ステップ１で取得したフレーム画像に最も時間的に近いフレーム画像を高速度カメラ１２から取得する（ステップ２）。
この画像の着目する画素の画素値（輝度値）をＩ_nとすると、Ｉ_n＝Ｉ^aとなる。

画像処理部２２は、表示部３０に表示する画像の着目する画素における輝度値Ｉを次式により算出する（ステップ３）。
Ｉ＝Ｉ_m−Ｉ_n
=Ｉ^a＋Ｉ^o−Ｉ^a
₌Ｉ^o
画像処理部２２は、表示する画像の各画素の画素値をステップ３により算出し、得られた画像を表示部３０に表示する（ステップ４）。
画像処理部２２が生成した被写体１１の画像には、太陽光１０の反射成分が含まれない。そのため、太陽光１０で鏡面反射が発生している場合でも、鏡面反射を含まない被写体１１の画像を生成し、表示することができる。また、太陽光１０によって生じる影も、この画像処理により除去することができる。

図６は、本発明の画像処理方法を用いて、高速度カメラの画像から鏡面反射を除いた実験例を示している。
ここでは、図６（ｄ）に示すように、各種の色を配列し、その表面を透明なアクリル板で覆った配色板を被写体として用いており、これを窓から入射する自然光に照らされる位置に置いている。撮影は、図２の装置で行っている。
図６（ａ）は、ストロボ装置１３が発光しているときに撮影した画像であり、図６（ｂ）は、ストロボ装置１３が発光していないときに撮影した画像である。図６（ｃ）は、図６（ａ）の画像と図６（ｂ）の画像との差分を取った画像である。図６（ｃ）の画像には、図６（ａ）及び図６（ｂ）に含まれる鏡面反射が除去されている。

なお、ここでは、ストロボ装置１３が発光と非発光とを繰り返す場合について説明したが、発光の照度に強弱を付ければ、同様の効果が得られる。
また、ストロボ装置１３の点滅周波数は、高速度カメラのフレームレートの１／２以下に設定することが望ましい。そうすることで、高速度カメラ１２が、ストロボ装置１３の発光期間に少なくとも一枚のフレーム画像を撮影し、ストロボ装置１３の非発光期間に少なくとも一枚のフレーム画像を撮影することが可能になるためである。
しかし、ストロボ装置１３の点滅周波数が高速度カメラのフレームレートの１／２以上であっても、エイリアシング現象で輝度の変動が生じるため、精度は低下するものの、太陽光１０の反射成分を抑えることはできる。

なお、ストロボ装置１３の反射成分が鏡面反射を含む場合は、ステップ３で求めた画像から鏡面反射を含まない画像領域を切り出し、ステップ２で求めたフレーム画像（ストロボ装置１３が発光していないときの画像）から鏡面反射を含まない画像領域を切り出し、それらを合成して、鏡面反射を含まない被写体の画像を生成することができる。この場合、鏡面反射を含まない画像領域を抽出するために、特許文献１に記載された技術が適用できる。

また、ストロボ装置の点滅周波数は、人間の目にチラツキが検知されない周波数に設定することが望ましい。この点滅周波数を数十Ｈｚ以上に設定すると、点滅によるチラツキが人の目に検知されなくなる。
また、ストロボ装置の発光が人間の目に眩しさを与えないように、点滅のデューティー比を設定することが望ましい。ストロボ装置の発光時間が短くなるようにデューティー比を設定した場合は、瞬間的な照度を高くして撮影に必要な光量を確保しても、平均的な光の照射量が小さいので、人の目には弱い光しか感じない。

また、被写体の動きが急激な場合は、差分を取る二つの画像の撮影時期が離れていると、その間に被写体が移動するため、画像精度が低下する。このような場合は、図７に太線で示すように、ストロボ装置の点滅と高速度カメラのシャッター動作とを同期させて、差分を取る二つの画像の撮影時期を接近させることが望ましい。
また、動きが急な被写体の動画像を撮影する場合は、複数のビデオカメラを用いて、撮影のタイミングをずらしながら同じ被写体を撮影し、得られた画像を合成するようにしても良い。

なお、図１、図２では、高速度カメラとストロボ装置とを別体の装置として表示しているが、高速度カメラにストロボ装置を組み込むようにしても良い。
また、本発明は、自動車運転支援装置への利用も可能である。特に降雨日に路面の鏡面反射が発生し、路面の表示が認識困難になることは古くから問題とされているが、その解決法は未だ示されていない。本発明を自動車運転支援装置に適用する場合、車のヘッドライトをストロボスコープとし、路面を高速度カメラで撮影する。カーナビのディスプレイ等を用いて鏡面反射の除去された画像を運転者に提示することで安全性の向上が実現される。

本発明により、画像からハレーションを簡単に除くことが可能であり、高速度カメラを用いて様々な高速現象を解明する分野や、路面の画像を運転者に示す自動車運転支援装置、鑑賞や娯楽に供する画像や映像の撮影を目的とする分野などで広く利用することができる。

１０ 太陽光
１１ 被写体
１２ 高速度カメラ
１３ ストロボ装置
２０ 制御部
２１ 撮影制御部
２２ 画像処理部
３０ 表示部

Claims (7)

1. 照度の変動の小さい非変動光源に照らされた被写体を撮影する高速度カメラの画像から前記非変動光源による鏡面反射を除去する画像処理方法であって、
   前記非変動光源に照らされた前記被写体を、発光強度の変化を繰り返すストロボで同時に照らしながら前記高速度カメラで撮影する第１のステップと、
   前記ストロボの発光強度が強いときに撮影した前記高速度カメラのフレーム画像と、前記ストロボの発光強度が強くないときに撮影した前記高速度カメラのフレーム画像との差分を取り、前記非変動光源の反射成分を含まない前記被写体の画像を得る第２のステップと、
   を備えることを特徴とする画像処理方法。
2. 請求項１に記載の画像処理方法であって、前記ストロボが、前記高速度カメラのフレームレートの１／２以下の点滅周波数で発光及び非発光を繰り返すことを特徴とする画像処理方法。
3. 請求項２に記載の画像処理方法であって、前記ストロボの反射成分が鏡面反射を含む場合に、前記第２のステップで得た前記被写体の画像の鏡面反射を含まない画像領域と、前記ストロボが発光していないときに撮影した前記フレーム画像の鏡面反射を含まない画像領域とを合成して前記被写体の画像を生成することを特徴とする画像処理方法。
4. 請求項２に記載の画像処理方法であって、前記ストロボの点滅周波数を、人間の目にちらつきが検知されない周波数に設定し、点滅のデューティー比を人間の目に眩しさを与えないデューティー比に設定することを特徴とする画像処理方法。
5. 請求項２に記載の画像処理方法であって、前記ストロボが発光しているときに撮影した前記高速度カメラのフレーム画像と、前記ストロボが発光していないときに撮影した前記高速度カメラのフレーム画像との撮影時期が近接するように、前記ストロボの点滅と前記高速度カメラのシャッター動作とを同期させることを特徴とする画像処理方法。
6. 照度の変動の小さい非変動光源に照らされた被写体を撮影する高速度カメラ装置であって、
   前記被写体を１秒間に１００フレーム以上のフレームレートで撮影する撮影手段と、
   発光強度の変化を繰り返すストロボと、
   前記ストロボの発光強度が強いときに前記撮影手段が撮影したフレーム画像と、前記ストロボの発光強度が強くないときに前記撮影手段が撮影したフレーム画像とを取得して、それらフレーム画像の差分を取り、前記非変動光源の反射成分を含まない前記被写体の画像を生成する画像処理手段と、
   を備えることを特徴とする高速度カメラ装置。
7. 請求項６に記載の高速度カメラ装置であって、前記ストロボが、前記高速度カメラのフレームレートの１／２以下の点滅周波数で発光及び非発光を繰り返すことを特徴とする高速度カメラ装置。