JP2011124728A - Photographing apparatus and photographing method - Google Patents
Photographing apparatus and photographing method Download PDFInfo
- Publication number
- JP2011124728A JP2011124728A JP2009279843A JP2009279843A JP2011124728A JP 2011124728 A JP2011124728 A JP 2011124728A JP 2009279843 A JP2009279843 A JP 2009279843A JP 2009279843 A JP2009279843 A JP 2009279843A JP 2011124728 A JP2011124728 A JP 2011124728A
- Authority
- JP
- Japan
- Prior art keywords
- image
- strobe
- flash
- edge detection
- marine snow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/16—Housings; Caps; Mountings; Supports, e.g. with counterweight
- G02B23/22—Underwater equipment
Landscapes
- Physics & Mathematics (AREA)
- Astronomy & Astrophysics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置及び撮像方法に関する。 The present invention relates to an imaging apparatus and an imaging method.
デジタルスチルカメラ等の撮像装置を使用して、水中において静止画像を撮影する際、ストロボを用いると、水中の砂やプランクトン等の微細な物体がストロボ光を反射する。その結果、微細な物体で反射した光が静止画像に白色の円や多角形となって写り込んでしまう。静止画像に写り込んだ白色の円や多角形は、微細な物体の実際のサイズよりも大きく、この現象はマリンスノーと呼ばれる。 When a still image is taken in water using an imaging device such as a digital still camera, when a strobe is used, fine objects such as sand and plankton in the water reflect the strobe light. As a result, the light reflected by the minute object is reflected in the still image as a white circle or polygon. White circles and polygons reflected in still images are larger than the actual size of fine objects, and this phenomenon is called marine snow.
特許文献1及び特許文献2では、内蔵ストロボ及び外付けストロボの発光制御に関する技術であり、マリンスノー現象を低減するため、内蔵ストロボの光漏れを制御し、外付けストロボの発光を制御する技術が開示されている。特許文献3及び特許文献4では、ストロボ非発光画像とストロボ発光画像を比較することで、ストロボ撮影時に撮影対象物を含む領域を抽出する技術が開示されている。 In Patent Document 1 and Patent Document 2, there is a technique related to light emission control of the built-in strobe and the external strobe, and in order to reduce the marine snow phenomenon, a technique for controlling light leakage of the built-in strobe and controlling light emission of the external strobe. It is disclosed. Patent Document 3 and Patent Document 4 disclose a technique for extracting a region including a photographing object at the time of flash photography by comparing a non-flash image and a flash image.
特許文献5では、マリンスノーが写り込んだとき、ストロボ発光画像の白点部を面積の大小に基づいて検出し、ストロボ非発光画像から白点部に相当する領域の画像を抽出してストロボ画像に合成する技術が開示されている。非特許文献1〜3には、画像内でデータが失われた部分を修復する技術が開示されている。 In Patent Document 5, when marine snow is reflected, a white spot portion of a flash emission image is detected based on the size of the area, and an image of a region corresponding to the white spot portion is extracted from the non-flash emission image to extract the flash image. A technique for synthesizing is disclosed. Non-Patent Documents 1 to 3 disclose techniques for repairing a portion where data is lost in an image.
特許文献1及び特許文献2の技術は、水中撮影のために、撮像装置の内蔵ストロボに別途フィルタを設置したり、外付けストロボの発光制御を調整したりという準備が必要であり、実際の撮影を行うまでに手間がかかる。特許文献3及び特許文献4の技術は、水中撮影や水中撮影時のマリンスノー現象を考慮しておらず、撮影画像内でマリンスノーの発生箇所を特定できない。 The techniques of Patent Document 1 and Patent Document 2 require preparations such as installing a separate filter on the built-in strobe of the imaging device or adjusting the light emission control of the external strobe for underwater photography. It takes time to do. The techniques of Patent Literature 3 and Patent Literature 4 do not consider underwater photography or a marine snow phenomenon during underwater photography, and cannot identify a location where a marine snow occurs in a photographed image.
特許文献5の技術は、ストロボ発光画像から白点部を検出して、白点部の総量を算出する判定処理をしているが、マリンスノーと関係のない対象物までもマリンスノーとして検出するおそれがある。その結果、修復する必要のない物体も修復対象となり、修復箇所が増大する。また、ストロボ非発光画像を使用してストロボ画像を修復しているが、ストロボ非発光画像は、彩度が悪く鮮やかではないため、ストロボ発光画像の白点部を精度良く修復できない。 The technique of Patent Literature 5 detects a white spot portion from a strobe light emission image and performs a determination process of calculating the total amount of the white spot portion. However, even an object unrelated to marine snow is detected as marine snow. There is a fear. As a result, objects that do not need to be repaired are also repaired, and the number of repaired parts increases. Further, although the strobe image is repaired using the strobe non-light-emitting image, the white point portion of the strobe light-emitting image cannot be accurately repaired because the non-flash light image has poor saturation and is not vivid.
非特許文献1〜3の技術は、修復処理に関する技術であり、修復箇所を特定するにはユーザーが目視で確認して手作業で一つずつ修復領域を指定していく必要がある。従って、マリンスノーが画像内に大量に発生した場合、修復領域を指定する作業が膨大な量になる。上記のとおり、従来、画像内に発生したマリンスノーを正確かつ簡易に抽出する技術は存在していなかった。 The technologies of Non-Patent Documents 1 to 3 are technologies related to repair processing, and it is necessary for a user to visually check and specify repair regions one by one in order to specify a repair location. Accordingly, when a large amount of marine snow occurs in the image, the work of designating the repair area becomes a huge amount. As described above, conventionally, there has been no technique for accurately and easily extracting marine snow generated in an image.
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、水中撮影の際、ストロボ発光をするときに写り込むマリンスノーを確実かつ容易に特定することが可能な、新規かつ改良された撮像装置及び撮像方法を提供することにある。 Accordingly, the present invention has been made in view of the above problems, and an object of the present invention is to reliably and easily identify marine snow that is captured when performing strobe light emission during underwater photography. It is an object of the present invention to provide a new and improved imaging apparatus and imaging method that are possible.
上記課題を解決するために、本発明のある観点によれば、撮影時にストロボを発光しないで被写体を撮影したストロボ非発光画像と、ストロボを発光して被写体を撮影したストロボ発光画像を取得する画像取得部と、ストロボ非発光画像及びストロボ発光画像をエッジ検出処理するエッジ検出処理部と、エッジ検出処理されたストロボ非発光画像とエッジ検出処理されたストロボ発光画像との差分を算出し差分画像を生成する差分算出部と、差分画像において、ストロボ非発光画像に基づく点状エッジと点状エッジを囲むストロボ発光画像に基づく閉曲線の組み合わせからなる部分をマリンスノー発生部分として検出するマリンスノー検出部とを備える撮像装置が提供される。 In order to solve the above-described problem, according to an aspect of the present invention, a non-flash image obtained by photographing a subject without firing a strobe at the time of shooting and an image obtained by capturing a flash image obtained by photographing the subject by emitting a strobe An acquisition unit, an edge detection processing unit that performs edge detection processing on the strobe non-emission image and the strobe emission image, and calculates a difference between the edge detection processed strobe non-emission image and the edge detection processed strobe emission image A difference calculation unit to be generated, and a marine snow detection unit for detecting, as a marine snow generation part, a portion formed by a combination of a dotted edge based on a non-flash image and a closed curve based on a flash emission image surrounding the dotted edge in the differential image; An imaging device is provided.
この構成によれば、ストロボ非発光画像とストロボ発光画像が取得され、両画像がエッジ検出処理される。そして、エッジ検出処理されたストロボ非発光画像とエッジ検出処理されたストロボ発光画像との差分が算出されて差分画像が生成され、差分画像において、ストロボ非発光画像に基づく点状エッジと点状エッジを囲むストロボ発光画像に基づく閉曲線の組み合わせからなる部分がマリンスノー部分として検出される。 According to this configuration, the strobe non-emission image and the strobe emission image are acquired, and both images are subjected to edge detection processing. Then, the difference between the strobe non-emission image subjected to the edge detection process and the strobe emission image subjected to the edge detection process is calculated, and a difference image is generated. In the difference image, the dotted edge and the dotted edge based on the non-flash image A portion composed of a combination of closed curves based on a strobe light emission image surrounding the stroboscopic light is detected as a marine snow portion.
上記マリンスノー発生部分を修復するため、マリンスノー発生部分と、マリンスノー発生部分を囲む領域の領域情報及び位置情報を作成する修復領域作成部を更に備える。また、上記作成された領域情報及び位置情報を記憶する保存部を更に備える。この構成によれば、マリンスノー発生部分と、マリンスノー発生部分を囲む領域の領域情報及び位置情報に基づいて、マリンスノー発生部分が修復される。 In order to repair the marine snow occurrence portion, the marine snow occurrence portion and a restoration region creation unit for creating region information and position information of the region surrounding the marine snow occurrence portion are further provided. Further, the image forming apparatus further includes a storage unit that stores the created area information and position information. According to this configuration, the marine snow occurrence portion is restored based on the marine snow occurrence portion and the region information and position information of the region surrounding the marine snow occurrence portion.
上記ストロボを発光して被写体を撮影したときのストロボの発光量に基づいてストロボ非発光画像の輝度値を補正する輝度値補正部を更に備え、エッジ検出処理部は、輝度値を補正したストロボ非発光画像を用いてストロボ非発光画像をエッジ検出処理する。この構成によれば、ストロボ発光撮影時のストロボ発光量に基づいて、ストロボ非発光画像の輝度値が補正され、輝度値が補正されたストロボ非発光画像がエッジ検出処理される。 The image processing apparatus further includes a luminance value correction unit that corrects the luminance value of the non-flash image based on the amount of flash emission when the subject is photographed by emitting the flash, and the edge detection processing unit includes a non-flash unit that corrects the luminance value. Edge detection processing is performed on the non-flash image using the flash image. According to this configuration, the luminance value of the non-flash image is corrected based on the flash emission amount at the time of flash shooting, and the non-flash image with the corrected brightness value is subjected to edge detection processing.
エッジ検出処理されたストロボ非発光画像とエッジ検出処理されたストロボ発光画像との位置合わせをするマッチング部を更に備え、差分算出部は、位置合わせされたストロボ非発光画像とストロボ発光画像との差分を算出する。この構成によれば、エッジ検出処理されたストロボ非発光画像とエッジ検出処理されたストロボ発光画像が位置合わせされて、両画像の差分が算出される。 The image processing apparatus further includes a matching unit that aligns the strobe non-emission image that has undergone edge detection processing and the strobe emission image that has undergone edge detection processing, and the difference calculation unit includes a difference between the aligned strobe non-emission image and the strobe emission image. Is calculated. According to this configuration, the strobe non-emission image subjected to the edge detection process and the strobe emission image subjected to the edge detection process are aligned, and the difference between the two images is calculated.
上記マッチング部は、ストロボを発光しないで被写体を撮影したときのシャッター速度に基づいて位置合わせ補正の補償範囲を変化させる。この構成によれば、位置合わせ補正の補償範囲は、ストロボ非発光撮影時のシャッター速度に依存する。 The matching unit changes the compensation range of the alignment correction based on the shutter speed when the subject is photographed without emitting the flash. According to this configuration, the compensation range of the alignment correction depends on the shutter speed at the time of non-flash photography.
また、上記課題を解決するために、本発明の別の観点によれば、撮影時にストロボを発光しないで被写体を撮影したストロボ非発光画像と、ストロボを発光して被写体を撮影したストロボ発光画像を取得するステップと、ストロボ非発光画像及びストロボ発光画像をエッジ検出処理するステップと、エッジ検出処理されたストロボ非発光画像とエッジ検出処理されたストロボ発光画像との差分を算出し差分画像を生成するステップと、差分画像において、ストロボ非発光画像に基づく点状エッジと、点状エッジを囲むストロボ発光画像に基づく閉曲線の組み合わせからなる部分をマリンスノー発生部分として検出するステップとを備える撮像方法が提供される。 In order to solve the above-described problem, according to another aspect of the present invention, a strobe non-flash image obtained by photographing a subject without firing a strobe at the time of shooting and a strobe light image obtained by photographing the subject by emitting a strobe are used. Obtaining a difference image between the obtaining step, the strobe non-emission image and the strobe emission image edge detection processing, and the edge detection processing strobe non-emission image and the edge detection processing strobe emission image. And a step of detecting, in the difference image, a portion composed of a combination of a dotted edge based on a non-flash image and a closed curve based on a flash image surrounding the dotted edge as a marine snow generation portion. Is done.
以上説明したように本発明によれば、水中撮影の際、ストロボ発光をするときに写り込むマリンスノーを確実かつ容易に特定することができる。 As described above, according to the present invention, it is possible to reliably and easily identify the marine snow that appears when performing strobe light emission during underwater photography.
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.
まず、図1を参照して、本発明の一実施形態に係る撮像装置100の構成について説明する。図1は、本実施形態に係る撮像装置100を示すブロック図である。
First, with reference to FIG. 1, a configuration of an
撮像装置100は、例えばデジタルスチルカメラである。撮像装置100は、水中で写真を撮影して画像に生じるマリンスノーを検出できる。マリンスノーとは、水中においてストロボを用いて静止画像を撮影する際、水中の砂やプランクトン等の微細な物体がストロボ光を反射し、微細な物体で反射した光が静止画像に白色の円や多角形となって写り込む現象をいう。
The
撮像装置100は、例えば、CCDイメージセンサ102と、画像取得部104と、ストロボ106と、カメラ制御部108と、バッファ112と、ゲインコントロール部114と、非発光画像エッジ検出部116と、発光画像エッジ検出部122と、画素マッチング部132と、差分算出部134と、修復領域作成部136と、修復領域指定情報保存部138と、ストレージ142などからなる。
The
CCD(charge coupled device)イメージセンサ102は、被写体からの光を受けて電気信号に変換する光電変換素子である。CCDイメージセンサ102は、光に応じた電気信号を生成する。なお、本発明は、CCDイメージセンサ102に代えて、CMOS(complementary metal oxide semiconductor)センサー等の撮像素子を適用することもできる。
A CCD (charge coupled device)
画像取得部104は、CCDイメージセンサ102から電気信号を受けて、電気信号に対してノイズ除去、増幅処理をし、アナログデジタル変換して画像信号を生成する。また、画像取得部104は、生成した画像信号をバッファ112や発光画像エッジ検出部122に出力する。
The
ストロボ106は、露光条件に応じて算出された発光量に基づいて、撮影時に光を被写体に向けて照射する。本実施形態では、1回の撮影において、ストロボ106を発光せずに撮影を行うストロボ非発光撮影と、ストロボ106を発光させて撮影を行うストロボ発光撮影を行う。従って、ストロボ非発光撮影時には、ストロボ106は発光されない。
The
カメラ制御部108は、プログラムによって演算処理装置及び制御装置として機能し、撮像装置100内に設けられた各構成要素の処理を制御する。例えば、カメラ制御部108は、画像取得タイミングやストロボ発光タイミングの制御、ストロボ106の発光量の算出を行う。
The
バッファ112は、画像データを保存する。バッファ112は、ストロボ非発光撮影時に取得された画像であるストロボ非発光画像の画像データを一時的に蓄積する。
The
ゲインコントロール部114は、ストロボ非発光画像の画像データの輝度値を補正する。ストロボ非発光画像は、通常光量が不足しているため、ストロボ発光撮影時に取得された画像であるストロボ発光画像の画像データの輝度値に近づくように補正される。これにより、非発光画像エッジ検出部116において、ストロボ非発光画像におけるエッジが検出し易くなる。ストロボ非発光画像の輝度値に対する補正量は、ストロボ発光撮影時にストロボ106が照射する発光量に応じて決定される。従って、ゲインコントロール部114は、ストロボ発光撮影時の発光量をカメラ制御部108から取得する。ストロボ106の発光量が強ければ、補正量が相対的に大きくなり、ストロボ106の発光量が弱ければ、補正量が相対的に小さくなる。
The
非発光画像エッジ検出部116は、ゲインコントロール部114で補正されたストロボ非発光画像の画像データに対してエッジ検出処理をする。エッジ検出処理は、通常用いられる技術を適用でき、本明細書では詳述しない。マリンスノーは、水中の砂やプランクトン等の微細な物体がストロボ光を反射して生じる。従って、ストロボ非発光画像には、ストロボ発光画像における白色の円や多角形のマリンスノー発生部分に対応する場所に微細な物体が存在する。よって、非発光画像エッジ検出部116がエッジ検出処理することによって、マリンスノー発生部分に点状のエッジが検出される。
The non-light emission image
発光画像エッジ検出部122は、画像取得部104で取得されたストロボ発光画像の画像データに対してエッジ検出処理をする。ストロボ発光画像において、マリンスノーは白色の円又は多角形として写り込む。従って、ストロボ発光画像内にマリンスノーが発生している場合、発光画像エッジ検出部122がエッジ検出処理することによって、マリンスノー発生部分に円又は多角形等の閉曲線状のエッジが検出される。
The light emission image
画素マッチング部132は、非発光画像エッジ検出部116でエッジ検出され生成された非発光エッジ画像と、発光画像エッジ検出部122でエッジ検出されて生成された発光エッジ画像を取得する。そして、画素マッチング部132は、例えば画素単位で、非発光エッジ画像と発光エッジ画像のエッジ輪郭の位置合わせを行う。本実施形態の1回の撮影におけるストロボ非発光撮影とストロボ発光撮影は、撮影タイミングに時間差がある。従って、通常、ストロボ非発光画像とストロボ発光画像では被写体の位置にずれが生じるが、画素マッチング部132の位置合わせによって位置のずれを補正できる。
The
ストロボ非発光撮影の後にストロボ発光撮影という順番で撮影を行う場合、位置合わせの補正補償範囲は、ストロボ非発光撮影時のシャッタースピードに応じて決定される。従って、画素マッチング部132は、ストロボ非発光撮影時のシャッタースピードをカメラ制御部108から取得する。シャッタースピードが遅ければ、後のストロボ発光画像までのタイムラグが長くなるため、補正補償範囲を相対的に広くする。一方、シャッタースピードが速ければ、補正補償範囲を相対的に小さくしてよい。
When shooting is performed in the order of flash photography after flash non-flash photography, the correction compensation range for alignment is determined according to the shutter speed during non-flash photography. Accordingly, the
差分算出部134は、位置合わせされた非発光エッジ画像と発光エッジ画像との間の差分を算出する。ストロボ非発光撮影とストロボ発光撮影は、1回の撮影で行われる撮影であり、ストロボ発光撮影は、ストロボ非発光撮影から、ストロボ非発光撮影時のシャッター間隔以上の時間間隔を開けずに行われる。従って、通常、位置合わせ後のストロボ非発光画像における被写体像とストロボ発光画像における被写体像との間の相違点はほぼ無いため、差分を算出すると、差分画像には画像データが残らない。
The
一方、水中でストロボ撮影をして、ストロボ発光画像内にマリンスノーが発生すると、マリンスノー発生部分において、ストロボ非発光画像における被写体像とストロボ発光画像における被写体像との間に相違点が生じる。差分画像は、マリンスノー発生部分に、非発光エッジ画像における点状エッジと、発光エッジ画像における閉曲線状エッジを含む。従って、差分算出部134は、ストロボ非発光撮影時に点状のエッジであり、ストロボ発光撮影時に閉曲線状のエッジになる部分を検出する。差分算出部134は、マリンスノー検出部の一例である。
On the other hand, when a stroboscope image is taken underwater and marine snow is generated in the stroboscopic light emission image, a difference occurs between the photographic subject image in the non-stroboscopic image and the photographic subject image in the stroboscopic light emission image. The difference image includes a dotted edge in the non-light emitting edge image and a closed curved edge in the light emitting edge image in the marine snow occurrence portion. Therefore, the
修復領域作成部136は、修復領域指定情報保存部138から修復領域指定情報を取得する。そして、修復領域作成部136は、差分算出部134で検出されたマリンスノー発生部分の位置情報に基づいて、マリンスノー発生部分を修復するための修復領域に関する情報を決定する。修復領域作成部136は、マリンスノー発生部分の位置情報と、マリンスノー発生部分を修復するための修復領域に関する情報をストレージ142に送る。
The repair
本実施形態では、上述した非特許文献1〜3に記載された技術のように、被修復箇所を修復することを前提とする。即ち、ストロボ非発光画像等の他の画像の画像データを使用せずに、ストロボ発光画像自身の画像データを使用して、ストロボ発光画像のマリンスノー発生部分を修復する。これにより、ストロボ非発光画像の画像データを使用した場合、ストロボ非発光画像は、彩度が悪く鮮やかではないため、ストロボ発光画像の白点部を精度良く修復できないという問題を回避できる。ストロボ発光画像自身の画像データを使用して、ストロボ発光画像のマリンスノー発生部分を修復するには、マリンスノー発生部分を囲むマリンスノー発生部分より広い範囲の画像データを使用する。 In the present embodiment, it is assumed that the repaired portion is repaired as in the techniques described in Non-Patent Documents 1 to 3 described above. That is, the marine snow occurrence portion of the stroboscopic light emission image is repaired using the image data of the stroboscopic light emission image itself without using image data of another image such as a non-stroboscopic image. As a result, when the image data of the non-flash image is used, the non-flash image has poor saturation and is not vivid, so that the problem that the white spot portion of the flash image cannot be repaired with high accuracy can be avoided. In order to repair the marine snow occurrence portion of the strobe emission image using the image data of the strobe emission image itself, image data in a wider range than the marine snow occurrence portion surrounding the marine snow occurrence portion is used.
修復領域指定情報保存部138は、修復領域指定情報を保存している。修復領域指定情報は、修復領域作成部136によって読み出される。修復領域指定情報とは、図11に示すように、検出されたマリンスノー発生部分266に対する修復領域176を指定するための距離情報182等である。図11は、修復領域の形状を示す説明図である。図11では、マリンスノー発生部分が四角形状である場合について例示したが、本発明はこの例に限定されない。マリンスノー発生部分が円や四角形以外の多角形である場合も同様に距離情報などの修復領域指定情報を使用して、修復領域を指定できる。
The repair area designation
ストレージ142は、ストロボ発光画像と共に、指定された修復領域の位置情報及び領域情報を記憶しておく。記憶された修復領域の位置情報及び領域情報は、例えば、撮像装置100の非撮影状態時における修復処理、又はパーソナルコンピュータ等の外部の情報処理装置による修復処理に用いられる。修復処理が実行されることによって、ストロボ発光画像において白色の円又は多角形として写り込んだマリンスノー発生部分を除去して、マリンスノーが発生しないときの被写体像を復元できる。
The
次に、図2を参照して、本発明の一実施形態に係る撮像装置100の撮影動作について説明する。図2は、本実施形態に係る撮像装置100の撮影動作を示すフローチャートである。
Next, with reference to FIG. 2, a photographing operation of the
まず、ユーザーによって水中で被写体の撮影が行われる(ステップS101)。ストロボを使用した撮影の場合、ストロボ発光画像にマリンスノーが発生している可能性があるため、撮像装置100は、マリンスノー発生部分を特定する(ステップS102)。特定されたマリンスノー発生部分は、撮像装置100内で記憶される。そして、記憶されたマリンスノー発生部分を使用して、撮像装置100の非撮影状態時における修復処理、又はパーソナルコンピュータ等の外部の情報処理装置による修復処理が行われる(ステップS103)。
First, a subject is photographed underwater by the user (step S101). In the case of shooting using a strobe, since there is a possibility that marine snow has occurred in the strobe light emission image, the
次に、図3を参照して、本発明の一実施形態に係る撮像装置100の撮影動作、マリンスノー特定動作について説明する。図3は、本実施形態に係る撮像装置100の撮影動作、マリンスノー特定動作を示すフローチャートである。
Next, with reference to FIG. 3, the photographing operation and the marine snow specifying operation of the
ユーザーによって1回の撮影が指示され、露光条件によってストロボが発光されて撮影される場合について説明する。このとき、まず、ストロボを発光して撮影する本撮影の前にストロボを発光しないプリ撮影(ストロボ非発光撮影)が行われ、ストロボ非発光画像の画像データがバッファ112に一時的に蓄積される(ステップS111)。図5は、ストロボ非発光撮影によって取得される画像の例を示す説明図である。このときは、マリンスノーは画像152内に発生せず、水中162における被写体の人物164や、マリンスノーの原因となる微細な物体166,168が画像152に写る。なお、ストロボ非発光画像は後段のエッジ検出によって微細な物体のエッジが検出できる程度の解像度があればよく、ストロボ発光画像と同様の高解像度画像を取得しなくてもよい。
A case will be described in which shooting is instructed by the user and a strobe is emitted depending on the exposure conditions. At this time, first, pre-photographing (strobe non-flash photography) that does not fire the flash is performed prior to the main shooting in which the flash is fired, and the image data of the non-flash image is temporarily stored in the
また、ストロボ非発光撮影の直後に、ストロボを発光する本撮影(ストロボ発光撮影)が行われる(ステップS112)。図6は、ストロボ発光撮影によって取得される画像の例を示す説明図である。このときは、水中262における被写体の人物264と共にマリンスノー266,268が画像153に写る。以上が、撮像装置100における撮影動作である。続いて、取得されたストロボ非発光画像とストロボ発光画像に基づいて、マリンスノー特定動作を行う。
Immediately after the non-flash photography, the main photography (flash photography) for emitting the flash is performed (step S112). FIG. 6 is an explanatory diagram illustrating an example of an image acquired by flash photography. At this time, marine snows 266 and 268 appear in the
ストロボ発光画像に比べて、ストロボ非発光画像は暗いため、ゲインコントロール部114において、ストロボ非発光画像の画像データの輝度値が、ストロボ発光画像の輝度値に近づくように補正される。輝度値の補正量は、ストロボ発光撮影時のストロボ106の発光量に応じて増減される。これにより、次のエッジ検出がストロボ非発光画像の画像データに対して容易になる。
Since the non-flash image is darker than the flash image, the
非発光画像エッジ検出部116において、輝度補正後のストロボ非発光画像の画像データに対してエッジ検出処理がされ、発光画像エッジ検出部122において、ストロボ発光画像の画像データに対してエッジ検出処理がされる(ステップS121)。この結果、ストロボ非発光画像とストロボ発光画像の特徴量を取得できる。図7は、ストロボ非発光画像に基づく非発光エッジ画像の例を示す説明図である。非発光エッジ画像154には、人物の輪郭364や微細な物体の輪郭366,368が検出される。図8は、ストロボ発光画像に基づく発光エッジ画像の例を示す説明図である。発光エッジ画像155には、人物の輪郭464やマリンスノーの輪郭466,468が検出される。なお、ストロボ発光画像のエッジ情報は、撮像装置100内で現像処理時に得られるエッジ情報を利用してもよいし、別途エッジ検出部を設けて、そこで得られるエッジ情報を利用してもよい。
The non-light emission image
次に、非発光エッジ画像と発光エッジ画像について、両画像の位置合わせ処理をする(ステップS122)。位置合わせ処理は、ストロボ非発光撮影時のシャッタースピードに応じて、補正補償範囲を変化させる。そして、位置合わせ処理された非発光エッジ画像と発光エッジ画像の差分を算出する(ステップS123)。図9は、非発光エッジ画像と発光エッジ画像の差分を表す差分画像の例を示す説明図である。位置合わせ処理されると、図9に示すように、エッジ画像156には、図7及び図8の人物の輪郭364,464は相殺されて表れず、微細な物体の輪郭366,368と、マリンスノーの輪郭466,468のみが表れる。
Next, with respect to the non-light emitting edge image and the light emitting edge image, alignment processing of both images is performed (step S122). In the alignment process, the correction compensation range is changed in accordance with the shutter speed during non-flash photography. Then, the difference between the non-light emitting edge image and the light emitting edge image subjected to the alignment process is calculated (step S123). FIG. 9 is an explanatory diagram illustrating an example of a difference image representing a difference between a non-light emitting edge image and a light emitting edge image. When the alignment processing is performed, as shown in FIG. 9, the
そこで、ストロボ非発光撮影では、点状のエッジであって、ストロボ発光撮影では円や多角形のような閉曲線のエッジとなる箇所をマリンスノー発生部分として検出する(ステップS124)。 Therefore, a spot that is a point-like edge in non-flash photography and a closed curve edge such as a circle or a polygon in flash photography is detected as a marine snow generation part (step S124).
非特許文献1〜3の技術を用いて修復処理する場合、被修復箇所を修復するには被修復箇所より広い範囲の領域でマリンスノー発生部分を囲む必要がある。そこで、予め設定されている修復領域指定情報に応じて、各マリンスノー発生箇所を含む修復領域を作成する(ステップS125)。図10は、ストロボ発光画像における修復領域の作成例を示す説明図である。修復領域の作成によって、マリンスノー266,268を囲むように修復領域176,178が指定される。
When repairing using the techniques of Non-Patent Documents 1 to 3, in order to repair the repaired part, it is necessary to surround the marine snow generating part with a wider area than the repaired part. Therefore, a repair area including each marine snow occurrence location is created in accordance with preset repair area designation information (step S125). FIG. 10 is an explanatory diagram illustrating an example of creating a repair area in a strobe light emission image. By creating the repair area, the
次に、ストロボ発光画像の撮影データと共に、修復領域の領域情報や位置情報がストレージ142に保存される(ステップS126)。以上が、撮像装置100におけるマリンスノー特定動作である。ストレージ142に保存された修復領域の位置情報及び領域情報は、例えば、撮像装置100の非撮影状態時における修復処理、又はパーソナルコンピュータ等の外部の情報処理装置による修復処理に用いられる。
Next, the area information and position information of the restoration area are stored in the
次に、図4を参照して、上述したステップS124におけるマリンスノー発生部分の検出動作について説明する。図4は、マリンスノー発生部分の検出動作を示すフローチャートである。 Next, with reference to FIG. 4, the marine snow occurrence portion detection operation in step S124 described above will be described. FIG. 4 is a flowchart showing an operation for detecting a marine snow occurrence portion.
まず、差分画像において、閉曲線状のエッジを検出する(ステップS131)。次に、検出された閉曲線内に点状のエッジがあるかを検出する(ステップS132)。閉曲線内に点がある場合は、その点がストロボ非発光画像によるものかを判断する(ステップS133)。閉曲線内にある点がストロボ非発光画像の微細な物体と一致する場合は、閉曲線と点の組み合わせによる部分をマリンスノー発生部分と判断する(ステップS134)。 First, a closed curved edge is detected in the difference image (step S131). Next, it is detected whether there is a dotted edge in the detected closed curve (step S132). If there is a point in the closed curve, it is determined whether the point is due to the non-flash image (step S133). When the point in the closed curve matches the fine object of the non-flash image, the part of the combination of the closed curve and the point is determined as the marine snow generation part (step S134).
一方、差分画像において、閉曲線内に点が含まれない場合や、閉曲線内の点がストロボ非発光画像に由来しないものである場合は、マリンスノー発生部分ではないと判断し、次の閉曲線状のエッジ検出に移行する。 On the other hand, in the difference image, when the point is not included in the closed curve or when the point in the closed curve is not derived from the non-flash light image, it is determined that it is not a marine snow occurrence portion, and the next closed curve shape Move to edge detection.
このように、マリンスノーは、微細な物体がストロボ光を反射することによって、画像内に白色の円や多角形が生じる現象であることに着眼し、ストロボ非発光画像のエッジ画像では点状のエッジであり、ストロボ発光画像のエッジ画像では閉曲線状のエッジである部分を検出する。差分画像を用いて、閉曲線状のエッジにストロボ非発光画像由来の点状のエッジがあるかどうかを判断することによって、確実にマリンスノー発生部分を特定できる。また、ユーザーが目視で修復領域を指定する必要がなくなる。マリンスノー発生部分を特定し、その領域情報や位置情報を保存することで、水中写真の画像に含まれるマリンスノーを効率的に除去し、マリンスノーがない画像に復元できる。 In this way, marine snow is a phenomenon in which white objects and circles are generated in the image by reflecting a strobe light from a fine object. A portion which is an edge and is a closed curved edge is detected in the edge image of the flash emission image. By using the difference image to determine whether the closed curved edge has a dotted edge derived from the non-stroboscopic image, the marine snow occurrence portion can be identified reliably. In addition, it is not necessary for the user to visually designate the repair area. By identifying the marine snow occurrence part and storing the area information and position information, it is possible to efficiently remove the marine snow contained in the underwater photograph image and restore the image without the marine snow.
従来、マリンスノー発生部分を特定するためには、特許文献5のように、ストロボ発光画像の白点部を面積の大小に基づいて検出する技術があった。しかし、この技術では、マリンスノーと関係のない被写体までもマリンスノー発生部分として検出してしまう。その結果、修復する必要のない物体も修復対象となり、修復箇所が増大する。一方、本実施形態によれば、マリンスノーと関係のない被写体をマリンスノーとして検出することはなく、確実にマリンスノー発生部分を特定できる。その結果、本実施形態のマリンスノー特定動作によれば、修復箇所が増大するおそれはない。 Conventionally, in order to specify a marine snow occurrence portion, there has been a technique for detecting a white spot portion of a strobe light emission image based on the size of an area as in Patent Document 5. However, with this technique, even a subject that is not related to marine snow is detected as a marine snow occurrence part. As a result, objects that do not need to be repaired are also repaired, and the number of repaired parts increases. On the other hand, according to the present embodiment, a subject unrelated to marine snow is not detected as marine snow, and a marine snow occurrence portion can be specified reliably. As a result, according to the marine snow specifying operation of the present embodiment, there is no possibility that the number of repaired parts will increase.
また、特許文献5では、ストロボ非発光画像を使用してストロボ画像を修復しているが、ストロボ非発光画像は、彩度が悪く鮮やかではないため、ストロボ発光画像の白点部を精度良く修復できない。一方、本実施形態では、ストロボ非発光画像等の他の画像の画像データを使用せずに、ストロボ発光画像自身の画像データを使用して、ストロボ発光画像のマリンスノー発生部分を修復する技術を前提としており、マリンスノー発生部分を囲む領域を修復領域として指定する。従って、本実施形態のマリンスノー特定動作によって得られる修復領域の領域情報や位置情報を使用して修復処理することによって、再現性の高いマリンスノーのない画像を得られる。 In Patent Document 5, a strobe image is restored using a non-flash image, but the non-flash image has poor saturation and is not vivid, so the white spot portion of the flash image is accurately restored. Can not. On the other hand, in this embodiment, there is a technology for repairing a marine snow occurrence portion of a flash emission image using image data of the flash emission image itself without using image data of another image such as a non-flash emission image. The area surrounding the marine snow occurrence part is designated as a restoration area. Therefore, by performing repair processing using the region information and position information of the repair region obtained by the marine snow identification operation of the present embodiment, a highly reproducible marine snow-free image can be obtained.
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 The preferred embodiments of the present invention have been described in detail above with reference to the accompanying drawings, but the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.
100 撮像装置
102 CCDイメージセンサ
104 画像取得部
106 ストロボ
108 カメラ制御部
112 バッファ
114 ゲインコントロール部
116 非発光画像エッジ検出部
122 発光画像エッジ検出部
132 画素マッチング部
134 差分算出部
136 修復領域作成部
138 修復領域指定情報保存部
142 ストレージ
DESCRIPTION OF
Claims (7)
前記ストロボ非発光画像及び前記ストロボ発光画像をエッジ検出処理するエッジ検出処理部と、
エッジ検出処理された前記ストロボ非発光画像とエッジ検出処理された前記ストロボ発光画像との差分を算出し差分画像を生成する差分算出部と、
前記差分画像において、前記ストロボ非発光画像に基づく点状エッジと前記点状エッジを囲む前記ストロボ発光画像に基づく閉曲線の組み合わせからなる部分をマリンスノー発生部分として検出するマリンスノー検出部と
を備える、撮像装置。 An image acquisition unit for acquiring a flash non-flash image obtained by shooting a subject without firing a flash during shooting, and a flash emission image obtained by shooting the flash and shooting the subject;
An edge detection processing unit for performing edge detection processing on the strobe non-light emitting image and the strobe light emitting image;
A difference calculation unit that calculates a difference between the strobe non-emission image subjected to the edge detection process and the strobe emission image subjected to the edge detection process, and generates a difference image;
A marine snow detection unit for detecting, as the marine snow generation part, a portion formed by a combination of a point-like edge based on the strobe non-light-emitting image and a closed curve based on the strobe light-emitting image surrounding the point-like edge in the difference image; Imaging device.
前記エッジ検出処理部は、前記輝度値を補正したストロボ非発光画像を用いて前記ストロボ非発光画像をエッジ検出処理する、請求項1〜3のいずれか1項に記載の撮像装置。 A brightness value correction unit that corrects a brightness value of the non-flash image based on a flash amount of the flash when the flash is emitted and the subject is photographed;
The imaging apparatus according to claim 1, wherein the edge detection processing unit performs edge detection processing on the strobe non-light-emitting image using the strobe non-light-emitting image with the luminance value corrected.
前記差分算出部は、位置合わせされた前記ストロボ非発光画像と前記ストロボ発光画像との差分を算出する、請求項1〜4のいずれか1項に記載の撮像装置。 A matching unit for aligning the strobe non-emission image subjected to edge detection processing and the strobe emission image subjected to edge detection processing;
The imaging device according to claim 1, wherein the difference calculation unit calculates a difference between the aligned non-flash image and the flash image.
前記ストロボ非発光画像及び前記ストロボ発光画像をエッジ検出処理するステップと、
エッジ検出処理された前記ストロボ非発光画像とエッジ検出処理された前記ストロボ発光画像との差分を算出し差分画像を生成するステップと、
前記差分画像において、前記ストロボ非発光画像に基づく点状エッジと、前記点状エッジを囲む前記ストロボ発光画像に基づく閉曲線の組み合わせからなる部分をマリンスノー発生部分として検出するステップと
を備える、撮像方法。
Obtaining a flash non-flash image obtained by shooting the subject without firing the flash during shooting, and a flash emission image obtained by shooting the flash and shooting the subject;
Performing edge detection processing on the strobe non-light emitting image and the strobe light emitting image;
Calculating a difference between the strobe non-emission image subjected to edge detection processing and the strobe emission image subjected to edge detection processing to generate a difference image;
An imaging method comprising: detecting, as a marine snow generation portion, a portion formed by a combination of a point-like edge based on the strobe non-light-emitting image and a closed curve based on the strobe light-emitting image surrounding the point-like edge in the difference image. .
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009279843A JP5368960B2 (en) | 2009-12-09 | 2009-12-09 | Imaging apparatus and imaging method |
KR1020100119788A KR20110065344A (en) | 2009-12-09 | 2010-11-29 | Photographing apparatus and photographing method |
US12/963,759 US20110134283A1 (en) | 2009-12-09 | 2010-12-09 | Photographing apparatus and photographing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009279843A JP5368960B2 (en) | 2009-12-09 | 2009-12-09 | Imaging apparatus and imaging method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011124728A true JP2011124728A (en) | 2011-06-23 |
JP5368960B2 JP5368960B2 (en) | 2013-12-18 |
Family
ID=44288201
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009279843A Expired - Fee Related JP5368960B2 (en) | 2009-12-09 | 2009-12-09 | Imaging apparatus and imaging method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5368960B2 (en) |
KR (1) | KR20110065344A (en) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002298137A (en) * | 2001-03-30 | 2002-10-11 | Minolta Co Ltd | Image processing method, image processor, recording medium and program |
JP2003008988A (en) * | 2001-04-11 | 2003-01-10 | Hewlett Packard Co <Hp> | Method and apparatus for the removal of flash artifacts |
JP2003140239A (en) * | 2001-11-05 | 2003-05-14 | Yoshiyuki Takematsu | Method and device for controlling light emission of externally attached stroboscope for digital camera |
JP2003202618A (en) * | 2002-01-09 | 2003-07-18 | Yoshiyuki Takematsu | Method and device for controlling light emission of external electronic flash for digital camera |
JP2007036972A (en) * | 2005-07-29 | 2007-02-08 | Nikon Corp | Electronic camera |
JP2007189542A (en) * | 2006-01-13 | 2007-07-26 | Fujifilm Corp | Photographing device |
JP2008227569A (en) * | 2007-03-08 | 2008-09-25 | Seiko Epson Corp | Photographing device, electronic device, photography control method and photography control program |
-
2009
- 2009-12-09 JP JP2009279843A patent/JP5368960B2/en not_active Expired - Fee Related
-
2010
- 2010-11-29 KR KR1020100119788A patent/KR20110065344A/en not_active Application Discontinuation
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002298137A (en) * | 2001-03-30 | 2002-10-11 | Minolta Co Ltd | Image processing method, image processor, recording medium and program |
JP2003008988A (en) * | 2001-04-11 | 2003-01-10 | Hewlett Packard Co <Hp> | Method and apparatus for the removal of flash artifacts |
JP2003140239A (en) * | 2001-11-05 | 2003-05-14 | Yoshiyuki Takematsu | Method and device for controlling light emission of externally attached stroboscope for digital camera |
JP2003202618A (en) * | 2002-01-09 | 2003-07-18 | Yoshiyuki Takematsu | Method and device for controlling light emission of external electronic flash for digital camera |
JP2007036972A (en) * | 2005-07-29 | 2007-02-08 | Nikon Corp | Electronic camera |
JP2007189542A (en) * | 2006-01-13 | 2007-07-26 | Fujifilm Corp | Photographing device |
JP2008227569A (en) * | 2007-03-08 | 2008-09-25 | Seiko Epson Corp | Photographing device, electronic device, photography control method and photography control program |
Also Published As
Publication number | Publication date |
---|---|
KR20110065344A (en) | 2011-06-15 |
JP5368960B2 (en) | 2013-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8994857B2 (en) | Camera flash mitigation | |
JP5281495B2 (en) | Image processing apparatus and method | |
JP4818393B2 (en) | Image processing method and image processing apparatus | |
JP6412386B2 (en) | Image processing apparatus, control method therefor, program, and recording medium | |
JP2016081427A (en) | Image processor, image processing method and program | |
JP5368960B2 (en) | Imaging apparatus and imaging method | |
JP5566680B2 (en) | Imaging apparatus and imaging method | |
US8294775B2 (en) | Fluttering illumination system and method for encoding the appearance of a moving object | |
JP2004220553A (en) | Image processor and image processing program | |
JP7446080B2 (en) | Image processing device, imaging device, control method, program and imaging system | |
JP6663223B2 (en) | Image processing apparatus and method, and imaging apparatus | |
JP6666735B2 (en) | Image processing apparatus, imaging apparatus, control method for image processing apparatus, and program | |
JP5566679B2 (en) | Imaging apparatus and imaging method | |
JP2012133587A (en) | Image analysis device, image analysis method and program | |
JP2016072924A (en) | Image processing system and image processing method | |
JP2011075311A (en) | Image processing method | |
JP2016213717A (en) | Image processing apparatus, image processing method, program, and storage medium | |
US20110134283A1 (en) | Photographing apparatus and photographing method | |
JP5147912B2 (en) | Image processing method, image processing apparatus, program, and recording medium | |
JP5750934B2 (en) | Image processing apparatus and image processing program | |
JP6675461B2 (en) | Image processing apparatus, control method therefor, and program | |
JP2003346165A (en) | Detection method of work boundary | |
JP6616674B2 (en) | Image processing apparatus and method, and imaging apparatus | |
JP6127620B2 (en) | Image processing apparatus and image processing method | |
JP2004178243A (en) | Device and method for extracting traveling object, its program and recording medium having the same program recorded thereon |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130815 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130820 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130913 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5368960 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |