JP2020077938A - Imaging apparatus, control method of the same, and program - Google Patents

Imaging apparatus, control method of the same, and program Download PDF

Info

Publication number
JP2020077938A
JP2020077938A JP2018209094A JP2018209094A JP2020077938A JP 2020077938 A JP2020077938 A JP 2020077938A JP 2018209094 A JP2018209094 A JP 2018209094A JP 2018209094 A JP2018209094 A JP 2018209094A JP 2020077938 A JP2020077938 A JP 2020077938A
Authority
JP
Japan
Prior art keywords
image processing
parameter
angle
view
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018209094A
Other languages
Japanese (ja)
Other versions
JP7229728B2 (en
Inventor
穂積 靖
Yasushi Hozumi
靖 穂積
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018209094A priority Critical patent/JP7229728B2/en
Publication of JP2020077938A publication Critical patent/JP2020077938A/en
Application granted granted Critical
Publication of JP7229728B2 publication Critical patent/JP7229728B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To photograph a starry sky in consideration of a change in a field angle due to zooming.SOLUTION: The imaging apparatus includes: specifying means for specifying a photographing field angle; detecting means for detecting a star in a photographed image; and image processing means for performing a predetermined image processing on the star detected by the detection means. The image processing means performs the predetermined image processing with a first parameter when the photographing field angle specified by the specifying means is a first field angle and performs the predetermined image processing with a second parameter different from the first parameter when the photographing field angle specified by the specifying means is a second field angle wider than the first field angle.SELECTED DRAWING: Figure 8

Description

本発明は、星空などの天体撮影技術に関する。   The present invention relates to a technique for photographing astronomical objects such as a starry sky.

近年、手軽に天体撮影をすることができる機能を搭載したデジタルカメラが流通している。例えば、星空を美しく撮れるようにカメラが自動で長秒時撮影を実施して星空の画像を得るモード(以後、星空夜景モードと呼ぶ)を有するものが提案されている。さらには、星空を所定の間隔で連続撮影し、それぞれの星空画像を合成して、星の軌跡を一枚の画像として得るモード(以後、星空軌跡モードと呼ぶ)を有するデジタルカメラも提案されている。   2. Description of the Related Art In recent years, digital cameras equipped with a function capable of easily shooting astronomical objects have been distributed. For example, there is proposed a mode in which a camera automatically performs long-time shooting to obtain a starry sky image (hereinafter referred to as a starry night view mode) so that a starry sky can be captured beautifully. Furthermore, a digital camera having a mode (hereinafter referred to as a star trail mode) in which a star trail is continuously captured at predetermined intervals and the star trail images are combined to obtain a star trail as one image has been proposed. There is.

また、このような星空を撮影する技術にあたって、星座の視認性の向上などを目的として、撮像した天体を強調して表示させる技術として、特許文献1が開示されている。   Further, in the technique of photographing such a starry sky, Patent Document 1 is disclosed as a technique for displaying an image of a celestial body in an emphasized manner for the purpose of improving the visibility of constellations.

特開2012−89944号公報JP2012-89944A

しかしながら、上述のような星空撮影の例で言えば、画角内にある星の数によって、その画像の見栄えが大きく左右されていた。ズームレンズを搭載した撮像装置では、ズーム操作によって画角を変更することができるが、この画角を考慮して撮影画像を調整することは従来なされていなかった。   However, in the example of the starry sky photography as described above, the appearance of the image is greatly influenced by the number of stars within the angle of view. In an image pickup apparatus equipped with a zoom lens, the angle of view can be changed by a zoom operation, but it has not been conventionally made to adjust a captured image in consideration of this angle of view.

そこで本発明の目的は、上述のような星空などの点光源の撮影において、焦点距離に応じた画角の変更があったとしても大きな演出効果を得ることにある。   Therefore, it is an object of the present invention to obtain a great effect in photographing a point light source such as a starry sky as described above even if the angle of view is changed according to the focal length.

本発明に係る撮影装置は、星空の撮影が可能な撮影装置であって、撮影画角を特定する特定手段と、撮影された画像における星を検出する検出手段と、前記検出手段により検出された星に対して所定の画像処理を行う画像処理手段とを有し、前記画像処理手段は、前記特定手段により特定された撮影画角が第1の画角である場合、第1パラメータで前記所定の画像処理を行い、前記特定手段により特定された撮影画角が第1の画角よりも広い第2の画角である場合、第1パラメータと異なる第2のパラメータで前記所定の画像処理を行うことを特徴とする。   The photographing device according to the present invention is a photographing device capable of photographing a starry sky, and includes a specifying unit that specifies a photographing angle of view, a detecting unit that detects a star in a captured image, and a detecting unit that detects the star. Image processing means for performing a predetermined image processing on a star, wherein the image processing means uses the first parameter to determine the predetermined angle when the photographing angle of view specified by the specifying means is the first angle of view. When the photographing field angle specified by the specifying unit is a second field angle wider than the first field angle, the predetermined image processing is performed using a second parameter different from the first parameter. It is characterized by performing.

本発明によれば、星空などの点光源の撮影において、焦点距離に応じた画角の変更があったとしても大きな演出効果を得ることができる。   According to the present invention, in shooting a point light source such as a starry sky, a great effect can be obtained even if the angle of view is changed according to the focal length.

星空夜景モード撮影のフローチャート図Flowchart of Starry Night View Mode Shooting 星空軌跡モード撮影のフローチャート図Flowchart diagram of star trail mode shooting デジタルカメラの機能構成を示すブロック図Block diagram showing the functional configuration of the digital camera 星空画像の縮小の一例を示す図Figure showing an example of reduction of a starry sky image 星空画像における領域検出を示す図Diagram showing region detection in a starry sky image 星空画像の一例を示す図(星空夜景)Figure showing an example of a starry sky image (starry night view) 星空画像の一例を示す図(星空軌跡)Figure showing an example of a starry sky image (star trail) ズームポジションと画質パラメータの対応表を示す図Diagram showing correspondence table of zoom position and image quality parameters ズームポジションと画質パラメータの対応表を示す図Diagram showing correspondence table of zoom position and image quality parameters ズームポジションと画質パラメータの対応表を示す図Diagram showing correspondence table of zoom position and image quality parameters

[第1の実施形態]
<撮像装置の構成>
図3は、本実施形態における撮像装置の一例であるデジタルカメラの構成例を示すブロック図である。本実施形態のデジタルカメラは、静止及び動画を撮影することのできるデジタルカメラである。なお、撮像装置のその他の例としては、いわゆるカメラ機能を有する携帯電話やタブレットデバイスの他、学術的、工業的に星空などを撮影し観測・分析するための装置やシステムも含まれる。したがって、実施形態ではデジタルカメラ単体で後述の機能を実現する例について説明するが、複数の装置が直接あるいはネットワークなどで間接的に接続されたシステムの一部の装置またはシステム全体で後述の機能を実現してもよい。
[First Embodiment]
<Structure of imaging device>
FIG. 3 is a block diagram showing a configuration example of a digital camera which is an example of the image pickup apparatus according to the present embodiment. The digital camera of this embodiment is a digital camera capable of shooting still images and moving images. Other examples of the imaging device include a mobile phone and a tablet device having a so-called camera function, as well as devices and systems for academically and industrially capturing and observing and analyzing the starry sky. Therefore, in the embodiment, an example will be described in which a digital camera alone realizes the below-described functions. May be realized.

操作部101は、ユーザがデジタルカメラ100に対して各種コマンドを入力、設定するためのユーザインタフェースになる。例えば、入力デバイスとして、各種コマンド設定の機能を有するメカニカルなスイッチやボタンにより構成している。また、タッチパネル式の液晶等の表示デバイスに、同様の機能を有するボタンを形成して表示させることにより構成してもよい。操作部101は、電源のON/OFF、撮影条件や撮影モードの設定及び変更、撮影条件の確認、撮影済み画像の確認等で使用される。   The operation unit 101 serves as a user interface for the user to input and set various commands to the digital camera 100. For example, the input device is composed of mechanical switches and buttons having various command setting functions. Alternatively, a touch panel type display device such as a liquid crystal may be formed with buttons having the same function to display the buttons. The operation unit 101 is used for turning the power on / off, setting and changing shooting conditions and shooting modes, checking shooting conditions, checking shot images, and the like.

操作部101にはシャッタースイッチも含んでおり、シャッタースイッチの半押し状態の場合は第一のシャッタースイッチSW1、全押し状態の場合は第二のシャッタースイッチSW2として、システム制御部102に通知する。   The operation unit 101 also includes a shutter switch, and notifies the system control unit 102 as a first shutter switch SW1 when the shutter switch is half-depressed and as a second shutter switch SW2 when the shutter switch is fully-depressed.

SW1の通知によりシステム制御部102に、後述するAF処理、AE処理等の開始を指示する。一方で、SW2では、一連の撮影処理動作の開始コマンドとしてシステム制御部102に指示する。一連の撮影処理動作とは、撮像素子103からの画像信号の読み出し、A/D変換、画像処理、任意の記録フォーマットへの変換処理を経て、画像記録部112への画像データ書き込み等の処理動作のことを指す。   The system control unit 102 is instructed to start AF processing, AE processing, and the like, which will be described later, by the notification of SW1. On the other hand, SW2 instructs the system control unit 102 as a start command for a series of shooting processing operations. The series of photographing processing operations includes processing operations such as reading of image signals from the image sensor 103, A / D conversion, image processing, conversion processing into an arbitrary recording format, and writing of image data into the image recording unit 112. Refers to.

システム制御部102は、操作部101からの指示に応じてデジタルカメラ100の各部の動作を制御する。システム制御部102は一般的に、CPU、CPUが実行するプログラムを記憶するROM、及び、プログラムの読み込み用やワークエリア用としてのRAMのメモリ等から構成される。   The system control unit 102 controls the operation of each unit of the digital camera 100 according to an instruction from the operation unit 101. The system control unit 102 generally includes a CPU, a ROM that stores a program executed by the CPU, and a RAM memory for reading the program and for a work area.

システム制御部102においては、画像処理部105から出力されるデジタル画像データから被写体輝度レベルを算出し、撮影モードに応じてシャッタースピード、及び、絞りの少なくとも一方を自動的に決定する自動露出制御(AE)処理を行う。   The system control unit 102 calculates the subject brightness level from the digital image data output from the image processing unit 105, and automatically determines at least one of the shutter speed and the aperture according to the shooting mode. AE) processing is performed.

露出機構108aは絞り、及び、メカニカルシャッターの機能を有する。この露出機構108aを用いて、システム制御部102から上述のAE処理結果の通知を受けたメカ駆動部108の制御による絞りとシャッタースピードで動作させることで、レンズ107aと撮像素子103の間の光路及び光量を確保することができる。これにより、上述のAE処理で求まる露出条件による被写体の撮像素子103への露光が可能になる。   The exposure mechanism 108a has a function of a diaphragm and a mechanical shutter. The exposure mechanism 108a is used to operate at an aperture and shutter speed under the control of the mechanical drive unit 108 that has been notified of the above-mentioned AE processing result from the system control unit 102, and thus the optical path between the lens 107a and the image pickup element 103. And the amount of light can be secured. As a result, it becomes possible to expose the subject to the image pickup element 103 under the exposure condition obtained by the above AE processing.

また、システム制御部102は、レンズ駆動部107を用いてレンズ光学系107aのフォーカスレンズを駆動させ、画像処理部105が出力するデジタル画像データのコントラストの変化を検出し、これに基づいて自動合焦制御(AF)処理を行う。   Further, the system control unit 102 drives the focus lens of the lens optical system 107a by using the lens driving unit 107, detects a change in the contrast of the digital image data output by the image processing unit 105, and based on this, the automatic adjustment is performed. Focus control (AF) processing is performed.

また、本実施形態の操作部101にはズーム機能を実施するためのズームレバー(不図示)も設けられている。このズームレバーを操作量と連動するズームポジションまでレンズ光学系107aの所定のズームレンズの移動を指示する信号がシステム制御部102に通知される。システム制御部102は、この信号に基づいてレンズ駆動部107を用いて、レンズ光学系107aのズームレンズを所望のズームポジションになるまで移動させる。以上のレンズ光学系107aの制御により、所望のズームポジションとなるレンズ配置、すなわち、所望の焦点距離による画角に設定して、撮影することができる。   Further, the operation unit 101 of the present embodiment is also provided with a zoom lever (not shown) for performing a zoom function. The system control unit 102 is notified of a signal for instructing the movement of a predetermined zoom lens of the lens optical system 107a to the zoom position in which the zoom lever is linked with the operation amount. Based on this signal, the system control unit 102 uses the lens driving unit 107 to move the zoom lens of the lens optical system 107a to a desired zoom position. By the control of the lens optical system 107a as described above, it is possible to set the lens arrangement at a desired zoom position, that is, set a field angle with a desired focal length, and shoot.

また、システム制御部102は、ズームレンズのズームポジション情報を画像処理部105に通知し、この情報をもとに、後述の星空夜景モード撮影や星空軌跡モード撮影時の画像処理における各種設定に用いられる。   In addition, the system control unit 102 notifies the zoom position information of the zoom lens to the image processing unit 105, and based on this information, it is used for various settings in image processing at the time of starry sky night view mode shooting and star trail mode shooting. Be done.

また、システム制御部102は、設定ISO感度に応じたゲイン調整量をA/D変換部104へ通知する役割もある。設定ISO感度は、ユーザが設定した固定感度であってもよいし、システム制御部102がAE処理の結果に基づいて動的に設定したISO感度であってもよい。   The system control unit 102 also has a role of notifying the A / D conversion unit 104 of the gain adjustment amount according to the set ISO sensitivity. The set ISO sensitivity may be a fixed sensitivity set by the user or may be an ISO sensitivity dynamically set by the system control unit 102 based on the result of the AE processing.

さらに、システム制御部102は、フラッシュの設定を行ったり、上述のシステム制御部102からのAE処理結果によるシャッタースピードや撮影モードなどに応じて、本撮影時のフラッシュ部110の発光操作の要否を決定する。フラッシュの発光を決定した場合、システム制御部102はEF処理部109にフラッシュ発光実施を指示する。EF処理部109は、システム制御部102からフラッシュ発光実施の指示を受けると、フラッシュ部110を制御し、露出機構108のシャッターが開くタイミングでフラッシュ部110を発光させる。   Further, the system control unit 102 sets the flash, and depending on the shutter speed and the shooting mode based on the AE processing result from the system control unit 102 described above, whether or not the flash operation of the flash unit 110 is necessary during the main shooting is necessary. To decide. When the flash emission is determined, the system control unit 102 instructs the EF processing unit 109 to execute the flash emission. When the EF processing unit 109 receives a flash light emission execution instruction from the system control unit 102, it controls the flash unit 110 and causes the flash unit 110 to emit light at the timing when the shutter of the exposure mechanism 108 opens.

撮像素子103は、CCDセンサ、CMOSセンサなどの光電変換デバイスであり、レンズ107a、露出機構108aを介して結像する被写体光学像を画素単位のアナログ電気信号(アナログ画像データ)に変換する。   The image sensor 103 is a photoelectric conversion device such as a CCD sensor or a CMOS sensor, and converts a subject optical image formed via the lens 107a and the exposure mechanism 108a into an analog electric signal (analog image data) in pixel units.

A/D変換部104は、撮像素子103から出力されたアナログ画像データに対して、相関二重サンプリング、ゲイン調整、A/D変換等を実施しして、デジタル画像データとして出力する。適用するゲイン調整量(増幅率)はシステム制御部102から通知されることにより与えられ、ゲインを大きく設定すれば信号レベルも大きくなるが、反面、画像中に含まれるノイズ成分も大きくなる。   The A / D conversion unit 104 performs correlated double sampling, gain adjustment, A / D conversion, and the like on the analog image data output from the image sensor 103, and outputs the digital image data. The gain adjustment amount (amplification factor) to be applied is given by being notified from the system control unit 102, and if the gain is set large, the signal level also increases, but on the other hand, the noise component included in the image also increases.

画像処理部105は、A/D変換部104から出力されたデジタル画像データに対して、さまざまな画像処理を実施する。例えば、ホワイトバランス補正、エッジ強調処理、ノイズ除去処理、画素補間処理、ガンマ補正処理、色差信号生成などの画像処理(現像処理)を行い、処理済みデジタル画像データとしてYUV画像データを出力するなどの処理を行う。   The image processing unit 105 performs various image processing on the digital image data output from the A / D conversion unit 104. For example, image processing (developing processing) such as white balance correction, edge enhancement processing, noise removal processing, pixel interpolation processing, gamma correction processing, and color difference signal generation is performed, and YUV image data is output as processed digital image data. Perform processing.

また、画像処理部105は、各種撮影モードに対応した画像処理も実施する。本実施形態で説明する星空夜景モードや星空軌跡モードも撮影モードの1つであり、詳細は後述する。   The image processing unit 105 also performs image processing corresponding to various shooting modes. The starry night view mode and the star trail mode described in this embodiment are also one of the shooting modes, and will be described in detail later.

EVF表示部106はLCDなどの表示装置を含み、上述の画像処理部105による処理済みデジタル画像データに対し、不図示のD/A変換処理後の画像を表示させる。   The EVF display unit 106 includes a display device such as an LCD, and displays an image after D / A conversion processing (not shown) on the digital image data processed by the image processing unit 105 described above.

フォーマット変換部111は、画像処理部105から出力されたデジタル画像データに対し、例えばDCF(Design rule for Camera File System)に準拠した記録用のデータファイルを生成する。フォーマット変換部111は、データファイル生成の過程で、JPEG形式やMotion JPEG形式への符号化や、ファイルヘッダの生成などを行う。   The format conversion unit 111 generates a data file for recording conforming to, for example, DCF (Design rule for Camera File System) for the digital image data output from the image processing unit 105. The format conversion unit 111 performs encoding into a JPEG format or a Motion JPEG format, a file header, and the like in the process of generating a data file.

画像記録部112では、フォーマット変換部111で生成したデータファイルを、デジタルカメラ100の内蔵メモリや、デジタルカメラ100に装着されているリムーバブルメディアなどに記録する。   The image recording unit 112 records the data file generated by the format conversion unit 111 in a built-in memory of the digital camera 100, a removable medium mounted in the digital camera 100, or the like.

外部接続部113は、デジタルカメラ100をPC(パーソナルコンピュータ)やプリンタといった外部装置に接続するためのインターフェースである。外部接続部113は、例えばUSB、IEEE1394などの一般的な規格に準拠して外部装置との通信を行って画像データ等の授受を行い、各外部機器の機能を活用する。   The external connection unit 113 is an interface for connecting the digital camera 100 to an external device such as a PC (personal computer) or a printer. The external connection unit 113 communicates with an external device in accordance with a general standard such as USB or IEEE1394 to exchange image data and the like, and utilize the function of each external device.

次に、本実施形態のデジタルカメラ100の動作について説明する。   Next, the operation of the digital camera 100 of this embodiment will be described.

ユーザが操作部101の一つである電源スイッチ(不図示)をONにすると、システム制御部102はこれを検知し、デジタルカメラ100の各構成部に対し、不図示の電池やAC入力により電源を供給する。   When the user turns on a power switch (not shown) which is one of the operation units 101, the system control unit 102 detects this and supplies power to each component of the digital camera 100 by a battery or AC input (not shown). To supply.

本実施形態のデジタルカメラ100は、電源が供給されるとEVF表示動作を開始するように構成されている。まず、電源が供給されると、露出機構108aに設けられたメカニカルシャッターが開き、撮像素子103が露光される。撮像素子103の各画素で蓄積した電荷を、予め定められたフレームレートで順次読み出し、A/D変換部104にアナログ画像データとして出力する。以上のように本実施形態では、EVF表示用の画像として、予め定められたフレームレートで順次読み出す、いわゆる電子シャッターを用いて連続して撮像することにより取得する。   The digital camera 100 of the present embodiment is configured to start an EVF display operation when power is supplied. First, when power is supplied, the mechanical shutter provided in the exposure mechanism 108a opens and the image sensor 103 is exposed. The charges accumulated in each pixel of the image sensor 103 are sequentially read at a predetermined frame rate and output to the A / D conversion unit 104 as analog image data. As described above, in the present embodiment, an EVF display image is acquired by sequentially reading at a predetermined frame rate, that is, by continuously capturing an image using a so-called electronic shutter.

A/D変換部104は、前述の通り、撮像素子103から出力されたアナログ画像データに対して、相関二重サンプリング、ゲイン調整、A/D変換等を行い、デジタル画像データとして出力する。ここで、ゲイン調整に関し、以下に記載する。   As described above, the A / D conversion unit 104 performs correlated double sampling, gain adjustment, A / D conversion, and the like on the analog image data output from the image sensor 103, and outputs the digital image data. Here, the gain adjustment will be described below.

撮像素子103では、露光量によってそのアナログ電気信号の出力信号レベルが変化する。明るい被写体では露光量が増加するため出力信号レベルも大きいものとなり、一方、暗い被写体では露光量が減少するため出力信号レベルも小さいものとなる。以上のようなレベル変動が生じるアナログ電気信号をA/D変換部104に入力し、ゲイン調整をせずに出力した場合、出力されたデジタル電気信号もレベル変動が生じる。   In the image sensor 103, the output signal level of the analog electric signal changes depending on the exposure amount. For a bright subject, the amount of exposure increases, so that the output signal level becomes large. On the other hand, for a dark subject, the amount of exposure decreases, so the output signal level also becomes small. When the analog electric signal having the above-described level fluctuation is input to the A / D conversion unit 104 and is output without gain adjustment, the output digital electric signal also has the level fluctuation.

これに対し、デジタルカメラでは一般的に、被写体の明るさ(アナログ電気信号の出力信号レベル)によらずA/D変換部104からのデジタル電気信号の出力信号レベルを一定に保つようなゲインが、被写体の明るさに応じて設定されている。   On the other hand, in general, a digital camera has a gain that keeps the output signal level of the digital electric signal from the A / D conversion unit 104 constant regardless of the brightness of the subject (output signal level of the analog electric signal). , Is set according to the brightness of the subject.

以上のゲインは、撮影条件の一つであるISO感度の設定に応じて変化し、調整されるものである。つまり、被写体の明るい低ISO感度時よりも被写体の暗い高ISO感度時の方がゲインとしては高い値に設定する。このため、ノイズ成分としても、高ISO感度時の方が高ゲインによる増幅効果により、悪化することになる。   The above gains are changed and adjusted according to the setting of ISO sensitivity which is one of the shooting conditions. That is, the gain is set to a higher value when the subject has a high ISO sensitivity than when the subject has a low ISO sensitivity. Therefore, the noise component becomes worse at the time of high ISO sensitivity due to the amplification effect by the high gain.

以上のようなA/D変換部104のゲイン設定に関係するISO感度の設定については、ユーザが設定した固定ISO感度であってもよいし、システム制御部102からのAE処理の結果に基づく動的な設定のISO感度であってもよい。   The ISO sensitivity setting related to the gain setting of the A / D conversion unit 104 as described above may be the fixed ISO sensitivity set by the user, or may be based on the result of the AE processing from the system control unit 102. The ISO sensitivity may be set to a specific value.

画像処理部105は、A/D変換部104から出力されたデジタル画像データに対してさまざまな処理を行い、画像処理済みデジタル画像データとして例えばYUV画像データを出力する。   The image processing unit 105 performs various processes on the digital image data output from the A / D conversion unit 104, and outputs, for example, YUV image data as image processed digital image data.

本実施形態では、星空夜景モード撮影や星空軌跡モード撮影において、画角と相関のあるズームレンズ配置に応じて、画像処理部105の画像処理制御量を変更する仕組みがあり、この仕組みの詳細に関しては、後述する。   In the present embodiment, there is a mechanism for changing the image processing control amount of the image processing unit 105 according to the zoom lens arrangement that correlates with the angle of view in the starry night view mode shooting and the star trail mode shooting. Regarding the details of this mechanism Will be described later.

また、EVF表示部106は、画像処理部105が出力するデジタル画像データを用いて、不図示のD/A変換処理を行った画像を逐次表示している。   Further, the EVF display unit 106 sequentially displays images that have been subjected to D / A conversion processing (not shown) using the digital image data output by the image processing unit 105.

システム制御部102は、操作部101からSW1(第一のシャッタースイッチ、半押しの通知)の通知を受けない限り、上述のEVF表示処理の実行を繰り返す。   The system control unit 102 repeats the execution of the EVF display process described above unless SW1 (first shutter switch, half-press notification) is received from the operation unit 101.

システム制御部102がSW1の通知を受けると、通知を受けた時点で最新の撮像画像を用いてAF処理、AE処理を行い、合焦位置および露出条件を決定する。   When the system control unit 102 receives the notification of SW1, AF processing and AE processing are performed using the latest captured image at the time of receiving the notification, and the focus position and the exposure condition are determined.

システム制御部102は、操作部101からのSW1の通知が継続している間、SW2(第二のシャッタースイッチ、全押しの通知)の通知を受け取るまで、撮影動作をすることなく待機し続ける。一方で、SW2の通知を受ける前にSW1の通知が途絶えた場合には、システム制御部102はEVF表示処理を再開させるように動作する。   While the notification of SW1 from the operation unit 101 continues, the system control unit 102 continues to wait without receiving a shooting operation until it receives a notification of SW2 (a notification of the second shutter switch or full press). On the other hand, if the notification of SW1 is interrupted before the notification of SW2 is received, the system control unit 102 operates to restart the EVF display process.

SW2の通知を受けてからの本撮影処理では、SW1時のAF処理、AE処理を経た撮影条件で、撮像素子103上に被写体光学像を結像、及び、露光する。その後、撮像素子103からの画素単位のアナログ電気信号を、A/D変換部104でデジタル画像データに変換して、このデータを用いて画像処理部105で画像処理を行う。そして、この画像処理済みのデジタル画像データを、フォーマット変換部111によって記録用のデータファイル形式に変換し、画像記録部112により記録媒体に記録する。   In the actual shooting process after receiving the notification from SW2, a subject optical image is formed on the image sensor 103 and exposed under the shooting conditions after the AF process and AE process in SW1. After that, an analog electric signal in pixel units from the image sensor 103 is converted into digital image data by the A / D conversion unit 104, and the image processing unit 105 performs image processing using this data. Then, this image-processed digital image data is converted into a data file format for recording by the format conversion unit 111, and is recorded on the recording medium by the image recording unit 112.

以上が、本実施形態で記すデジタルカメラにおける、構成、及び、基本動作である。次に、本発明で特徴的な、天体撮影モードに関して詳述する。   The above is the configuration and basic operation of the digital camera described in the present embodiment. Next, the astronomical shooting mode, which is a feature of the present invention, will be described in detail.

<天体撮影モードの概要>
本実施形態のデジタルカメラ100には、天体撮影モードとして、星を輝点として表現するための星空夜景モードと、星の日周運動を軌跡として表現するための星空軌跡モードとが用意されている。ユーザは操作部101を操作して、これらの天体撮影モードを選択することができる。ユーザがこの天体撮影モードを選択すると、システム制御部102がメモリにモード情報を書き込み、ユーザが選択したモードを記憶する。
<Outline of astronomical shooting mode>
The digital camera 100 of the present embodiment is provided with a starry sky night view mode for expressing stars as bright spots and a starry sky locus mode for expressing diurnal motion of stars as a locus as astronomical shooting modes. .. The user can operate the operation unit 101 to select one of these astronomical photography modes. When the user selects this celestial object shooting mode, the system control unit 102 writes the mode information in the memory and stores the mode selected by the user.

図1、図2は、それぞれ、星空夜景モード、星空軌跡モードの動作フローをそれぞれ示したフローチャート図である。各ステップはシステム制御部102あるいはシステム制御部102の指示により各構成部で実行される。   FIG. 1 and FIG. 2 are flowcharts showing operation flows in the starry night view mode and the star trail mode, respectively. Each step is executed by the system control unit 102 or each component according to an instruction from the system control unit 102.

ユーザが操作部101のシャッタースイッチを押下し、反押し状態のSW1によるAF動作、AE動作を経て、全押し状態のSW2の通知をシステム制御部102が受ける。その後、システム制御部102のメモリに予め記憶された撮影モードを読み出し、撮影モードが天体撮影モードであれば、指定された天体撮影モード(星空夜景モード、または、星空軌跡モード)での撮影を行う。   The user presses the shutter switch of the operation unit 101, the AF operation and the AE operation by the counter-pressed SW1 are performed, and the system control unit 102 receives the notification of the fully-pressed SW2. Then, the shooting mode stored in advance in the memory of the system control unit 102 is read out, and if the shooting mode is the astronomical shooting mode, shooting is performed in the designated astronomical shooting mode (starry night view mode or starry sky trajectory mode). ..

メモリに記憶された天体撮影モードが星空夜景モードである場合、図1に示すフローで各構成部により処理が行われる。   When the celestial object photography mode stored in the memory is the starry night view mode, the processing is performed by each component according to the flow shown in FIG.

S101では、ユーザは画角を決めて予めズーム倍率を設定する。この時、画角と相関のあるズーム倍率情報(すなわち、ズームレンズのズームポジション情報)を、システム制御部102を経由して画像処理部105に通知し、後のS104の現像処理の際に用いる。詳細は後述する。   In S101, the user determines the angle of view and sets the zoom magnification in advance. At this time, zoom magnification information (that is, zoom position information of the zoom lens) that correlates with the angle of view is notified to the image processing unit 105 via the system control unit 102, and is used in the subsequent development processing in S104. .. Details will be described later.

S102では、AE動作による測光結果に基づいた絞り、シャッタースピード、ISO感度を設定し、S103では、S102で設定された露出制御に基づき静止画の撮影を行う。   In S102, the aperture, shutter speed, and ISO sensitivity are set based on the photometric result of the AE operation, and in S103, a still image is shot based on the exposure control set in S102.

S106では、星空領域とそれ以外の領域とで判別する領域判別を行い、ここで出力される領域判別情報を後のS104の現像処理の際に用いて現像処理を行うが、詳細は後述する。   In S106, a region discrimination is performed to discriminate between the starry sky region and other regions, and the region discrimination information output here is used in the subsequent development process in S104 to perform the development process. Details will be described later.

そして、S104では撮影された画像に対して画像処理部105を使用して現像処理を行う。S104は本発明の特徴的な処理であるので、詳細は後述する。   Then, in S104, the image processing unit 105 is used to perform development processing on the captured image. Since S104 is a characteristic process of the present invention, details will be described later.

その後、S105でフォーマット変換部111により、画像処理部105で現像処理された画像に対し所定のフォーマットでデータファイルを生成し、デジタルカメラ100に装着されている記録媒体に画像データの書き込みを行う。星空夜景モードで撮影された従来の画像の一例を図7(a)、(b)に示す。   After that, in step S105, the format conversion unit 111 generates a data file in a predetermined format for the image developed by the image processing unit 105, and writes the image data to the recording medium mounted in the digital camera 100. An example of a conventional image taken in the starry night view mode is shown in FIGS. 7 (a) and 7 (b).

一方、システム制御部102のメモリに記憶されている撮影モードが星空軌跡モードの場合、図2のフローチャートにしたがい処理を実行する。S201でユーザは予め、ズーム倍率、及び、トータルの撮影時間を設定する。   On the other hand, when the shooting mode stored in the memory of the system control unit 102 is the star trail mode, the processing is executed according to the flowchart of FIG. In step S201, the user sets the zoom magnification and the total shooting time in advance.

ズーム倍率の扱いに関しては、星空夜景モードにおけるS101と同様に、画角と相関のあるズーム倍率情報は、システム制御部102を経由して画像処理部105に通知されて、後のS206の現像処理の際に用いられる。詳細は後述する。また、トータルの撮影時間に関しては、星の軌跡を長く写したいときには撮影時間を長い時間に設定し、星の軌跡を短く写したい場合は、撮影時間を短い時間に設定する。   Regarding the handling of the zoom magnification, similar to S101 in the starry night view mode, the zoom magnification information having a correlation with the angle of view is notified to the image processing unit 105 via the system control unit 102, and the development processing of S206 to be performed later. Used in the case of. Details will be described later. Regarding the total shooting time, the shooting time is set to a long time when it is desired to take a long trail of a star, and the shooting time is set to a short time when a short trail of a star is taken.

S202では、AE動作による測光結果に基づいた絞り、1回当りの撮影のシャッタースピード、ISO感度を設定し、S203では、S202で設定された露出制御と撮影設定に基づき静止画の撮影を連続して行う。   In S202, the aperture based on the photometric result of the AE operation, the shutter speed for one shot, and the ISO sensitivity are set, and in S203, still images are continuously shot based on the exposure control and shooting settings set in S202. Do it.

S204では、撮影の2回目以降、前回までに撮影された画像との比較明合成処理を行う。撮影の1回目である場合、画像処理部105は比較明合成処理を行うためのメモリ上に撮影画像を保持して次に進む。S204では、前回までの撮影画像を合成した合成画像と、今回撮影された撮影画像とで比較明の合成処理を行う。   In S204, after the second photographing, comparative bright combination processing with the images photographed up to the previous time is performed. In the case of the first shooting, the image processing unit 105 holds the shot image in the memory for performing the comparative bright combination processing, and proceeds to the next step. In S204, a comparatively bright combination process is performed on the combined image obtained by combining the taken images up to the previous time and the taken image taken this time.

比較明合成処理は画像間で対応する画素同士の画素レベルを比較して、画素レベルが高い方を残す処理である。本実施形態では、ベイヤ配列で得られるRGBの信号の状態で合成を行うものとし、R、G、Bそれぞれの画素同士で画素レベルの比較を行う。しかし、これに限らず、RGB信号をYUV(輝度と色差)422信号などに変換してから画像間のYとUV信号をそれぞれ比較するなどしてもよい。   The comparative bright combination process is a process of comparing pixel levels of corresponding pixels between images and leaving one having a higher pixel level. In this embodiment, synthesizing is performed in the state of RGB signals obtained in the Bayer array, and pixel levels of R, G, and B pixels are compared. However, the present invention is not limited to this, and the RGB signals may be converted into YUV (luminance and color difference) 422 signals and the like, and then the Y and UV signals between the images may be compared with each other.

デジタルカメラ100による画角を固定した場合、星は日周運動で常に空を移動しているので、合成する画像間で星の位置は異なっている。このため比較明合成処理を行うことで、星の移動の連続した軌跡の画像として取得することができる。S205ではユーザが予め設定した時間が経過したかを判定するので、設定された時間に満たない場合はS203に戻り撮影・合成処理を繰り返し、設定された時間を超えているならば撮影を完了し、S206へ進む。   When the angle of view by the digital camera 100 is fixed, the stars are constantly moving in the sky due to the diurnal motion, so the positions of the stars are different between the combined images. Therefore, by performing the comparative light combination process, it is possible to obtain an image of a locus of continuous star movement. In S205, it is determined whether or not the time set in advance by the user has elapsed. If the set time is not reached, the process returns to S203 to repeat the shooting / combining process, and if the set time is exceeded, the shooting is completed. , S206.

S208では、前述の星空夜景モード撮影フローにおけるS106と同様、星空領域とそれ以外の領域とで判別する領域判別を行い、出力される領域判別情報を後のS206の現像処理の際に用いる。詳細は後述する。   In step S208, similar to step S106 in the starry night view mode shooting flow described above, area determination for determining the starry sky area and other areas is performed, and the output area determination information is used in the subsequent development processing in step S206. Details will be described later.

S206では撮影された画像に対して画像処理部105を使用して現像処理を行う。S206は、前述の星空夜景モード撮影フローにおけるS104と同様の処理を行い、本発明の特徴的な処理であるので、詳細は後述する。   In step S206, the image processing unit 105 is used to develop the photographed image. Step S206 is the same process as step S104 in the above-mentioned starry night view mode shooting flow, and is a characteristic process of the present invention.

その後、S207でフォーマット変換部111により、画像処理部105で現像処理された画像に対し所定のフォーマットでデータファイルを生成し、デジタルカメラ100に装着されている記録媒体に画像データの書き込みを行う。   After that, in step S207, the format conversion unit 111 generates a data file in a predetermined format for the image developed by the image processing unit 105, and writes the image data to the recording medium mounted in the digital camera 100.

以上の星空軌跡モード撮影フローにより、星の日周運動を表現した軌跡として、最終画像が生成される。星空軌跡モードで撮影された従来の画像の一例を図6(a)、(b)に示す。   The final image is generated as a trajectory representing the diurnal motion of the stars by the above star trail mode shooting flow. An example of a conventional image taken in the star trail mode is shown in FIGS. 6 (a) and 6 (b).

以上が、本実施形態に搭載されている天体撮影モードの動作フローに関する説明であるが、以後は、動作フローのうち現像処理(S104、S206)、及びそれに関わる各ステップに関し詳述する。本実施形態では、この現像処理における画質パメラータをズーム倍率に応じて制御する。   The above is a description of the operation flow of the astronomical shooting mode installed in the present embodiment, but hereinafter, the developing process (S104, S206) and each step related thereto in the operation flow will be described in detail. In the present embodiment, the image quality parameter in this developing process is controlled according to the zoom magnification.

<現像処理>
現像処理(S104、S206)では、画像処理部105により、A/D変換部104から出力されたデジタル画像データに対して、さまざまな画像処理を実施する。例えば、ホワイトバランス補正、エッジ強調処理、ノイズ除去処理、画素補間処理、ガンマ補正処理、色差信号生成などの画像処理を行う。
<Development processing>
In the developing process (S104, S206), the image processing unit 105 performs various image processes on the digital image data output from the A / D conversion unit 104. For example, image processing such as white balance correction, edge enhancement processing, noise removal processing, pixel interpolation processing, gamma correction processing, and color difference signal generation is performed.

これらの画像処理を実施する画像処理回路には、目標画質に対し撮影条件毎に最適に回路を動作させるための、画像処理回路に設定すべき設定値(いわゆる、画質パラメータ)がある。例えば、撮影ISO感度毎に最適なエッジ強調処理やノイズ除去処理のための画質パラメータが存在し、この画質パラメータを用いて画像処理を実施することにより、撮影ISO感度によらず、高画質な画像を取得することができる。   The image processing circuit for performing these image processing has a set value (so-called image quality parameter) to be set in the image processing circuit in order to operate the circuit optimally for each shooting condition with respect to the target image quality. For example, there is an image quality parameter for optimal edge enhancement processing and noise removal processing for each shooting ISO sensitivity, and by performing image processing using this image quality parameter, a high quality image can be obtained regardless of the shooting ISO sensitivity. Can be obtained.

本実施形態においては、従来の天体撮影モード撮影時に必要な撮影条件(ISO感度、絞りなど)に加え、S101、S201で出力されるズームレンズのズームポジション情報も用いて、画質パラメータを決定する。   In the present embodiment, the image quality parameter is determined by using the zoom position information of the zoom lens output in S101 and S201 in addition to the shooting conditions (ISO sensitivity, aperture, etc.) required in the conventional astronomical shooting mode shooting.

そして、S103、S203の静止画撮影画像を用いて出力される、領域判別(S106、S208)からの領域判別情報に関しては、上述のズームポジション情報により導出された画質パラメータを適用すべき領域(星空領域)を特定するために用いる。このような領域判別により、星空領域以外の領域に対し、不必要な画像処理による過補正などの画質劣化を防ぐことができる。   Then, regarding the area discrimination information from the area discrimination (S106, S208) that is output using the still image captured images in S103 and S203, the area (starry sky) to which the image quality parameter derived from the above-described zoom position information should be applied. Area). By such area discrimination, it is possible to prevent image quality deterioration such as overcorrection due to unnecessary image processing in areas other than the starry sky area.

図4は、領域判別(S106、S208)における星空領域検出方法を説明した図である。左側は低倍ズーム時(画角が広角側)の夜空の撮影画像の模式図であり、右側は高倍ズーム時(画角が望遠側)の夜空の撮影画像の模式図である。また、上段は静止画撮影(S103、S203)で出力された撮影画像示しているのに対し、下段はこの画像を縮小した画像を示している。   FIG. 4 is a diagram illustrating a starry sky region detection method in the region determination (S106, S208). The left side is a schematic diagram of a photographed image of the night sky at the time of low-magnification zoom (the angle of view is the wide-angle side), and the right side is a schematic diagram of the photographed image of the night sky at the time of high-magnification zoom (the angle of view is the telephoto side). Further, the upper part shows a captured image output in still image shooting (S103, S203), while the lower part shows a reduced image of this image.

縮小の目的は静止画撮影画像から星が消えた画像を得ることであるから、その縮小率は星が消える程度に設定されることが望ましい。左側の広角画像の場合は1/a1で縮小し、右側の望遠画像の場合は1/a2で縮小することにより、星が消えることを表している。また、画角が低倍ズーム時の広角側よりは高倍ズーム時の望遠側の方が星の大きさは大きくなる傾向にあるため、a1<a2なる関係を有する。すなわち、ズーム倍率に応じて縮小率を変えており、高倍ズームほどより縮小する縮小率に設定する。   Since the purpose of reduction is to obtain an image in which the stars have disappeared from the still image, it is desirable that the reduction ratio be set to the extent that the stars disappear. The left wide-angle image is reduced by 1 / a1 and the right telephoto image is reduced by 1 / a2, which indicates that the star disappears. Further, since the size of the star tends to be larger on the telephoto side at the high-magnification zoom than at the wide-angle side at the low-magnification zoom, there is a relationship of a1 <a2. That is, the reduction rate is changed according to the zoom magnification, and the higher the magnification is, the smaller the reduction rate is set.

以上の縮小画像を用いて、さらに、エッジ検出などの処理を行い、エッジが検出されなかった領域を星空領域として領域判別する。図5は、上記縮小画像のエッジ検出結果(すなわち、星空領域検出結果)の例である。   Using the above reduced image, processing such as edge detection is further performed, and the area in which no edge is detected is discriminated as a starry sky area. FIG. 5 is an example of the edge detection result (that is, the starry sky region detection result) of the reduced image.

図5でも見られるが、星空領域以外にもエッジの検出がされていない領域が存在する場合があり、星空領域ではないにも関わらず、星空領域として誤判定する場合がある。このような誤判定を防止する方法として、撮像装置に内蔵される、不図示のジャイロセンサ出力などにより撮像装置の姿勢状態を検知し、画像のエッジ検出領域を境に上側を空領域、下側を非空領域とすれば、誤判定を防ぐことができる。   As can be seen in FIG. 5, there may be a region where an edge has not been detected other than the starry sky region, and it may be erroneously determined as a starry sky region even though it is not a starry sky region. As a method of preventing such erroneous determination, the attitude state of the image pickup device is detected by the output of a gyro sensor (not shown) built in the image pickup device, and the upper side is the sky region and the lower side is the boundary of the image edge detection region. If is a non-empty area, erroneous determination can be prevented.

以上のようにして、領域判別(S106、S208)から、星空領域検出結果を出力することができ、この結果を以後の現像処理(S104、S206)に用いる。   As described above, the starry sky region detection result can be output from the region determination (S106, S208), and this result is used for the subsequent development processing (S104, S206).

現像処理(S104、S206)では、前述したように、天体撮影モード撮影時に必要な絞り等の撮影条件に加え、S101、S201で出力されるズーム倍率に相当するズームポジション情報を用いて、画質パラメータを導出する。これらの画質パラメータは、各撮影条件、各出力情報毎に、演算もしくは対応表により導出して、各画像処理回路に設定して、所望の現像処理を行う。以下、ズームポジションを考慮した現像処理について詳述する。   In the developing process (S104, S206), as described above, in addition to the shooting conditions such as the aperture necessary for shooting in the celestial shooting mode, the zoom position information corresponding to the zoom magnification output in S101 and S201 is used to set the image quality parameter. Derive. These image quality parameters are derived by calculation or a correspondence table for each shooting condition and each output information, set in each image processing circuit, and a desired developing process is performed. Hereinafter, the developing process considering the zoom position will be described in detail.

本発明では、現像処理(S104、S206)時にズームポジション情報、及び、前述の星空領域検出結果を入力して、星空領域のみにズームポジションに応じた画質パラメータによる画像処理が適用される。一方で、星空領域と判定されなかった非星空領域については、従来通り、絞りなどの撮影条件のみによる画質パラメータで画像処理を行う。   According to the present invention, the zoom position information and the above-mentioned starry sky region detection result are input during the developing process (S104, S206), and the image processing by the image quality parameter according to the zoom position is applied only to the starry sky region. On the other hand, as for the non-starry region which is not determined to be the starry region, image processing is performed with the image quality parameter based only on the shooting condition such as the aperture as in the conventional case.

より具体的には、本実施形態では、領域判別(S106、S208)からの星空領域検出結果により、星空領域と非星空領域の判別が可能なマップを作成し、このマップを用いてそれぞれの領域に対しそれぞれの画質パラメータで画像処理を行う。その後、それぞれの画像処理後の画像を合成することにより、所望の天体撮影画像を得ることができる。   More specifically, in the present embodiment, a map capable of distinguishing a starry sky region from a non-starry sky region is created based on the starry sky region detection result from the region determination (S106, S208), and each region is created using this map. Image processing is performed for each of the image quality parameters. After that, a desired celestial photographic image can be obtained by synthesizing the respective images after the image processing.

図8は、本実施形態におけるズームポジションに対するエッジ強調処理の各種画質パラメータの対応表である。このような対応付け情報を用いて、星空領域のみに対し、ズームポジション情報によるズームポジションから求まる画質パラメータでエッジ強調処理を行う。   FIG. 8 is a correspondence table of various image quality parameters of the edge enhancement processing with respect to the zoom position in this embodiment. Using such association information, edge enhancement processing is performed only on the starry sky region with the image quality parameter obtained from the zoom position based on the zoom position information.

本実施形態では、図8で示すような、シャープネス(鮮鋭度)を制御するための3種類の画質パラメータ「強さ」、「細かさ」、「閾値」が用意されている。   In the present embodiment, three types of image quality parameters “strength”, “fineness”, and “threshold value” for controlling sharpness are provided as shown in FIG.

「強さ」は撮像入力画像のエッジに対する強調処理度合を制御するエッジ強調制御量に相当する画質パラメータであり、「1:弱、2:中、3:強」の3段階のレベルの画質パラメータを用意している。「強さ」に関しては、数値が大きい画質パラメータほどエッジとしての明瞭度は向上するが、ノイズの視認性も増すという弊害も生じる。   “Strength” is an image quality parameter corresponding to an edge emphasis control amount that controls the degree of emphasis processing for edges of a captured input image, and is an image quality parameter with three levels of “1: weak, 2: medium, 3: strong”. Is prepared. Regarding the “strength”, an image quality parameter having a larger numerical value improves the clarity as an edge, but also has the adverse effect of increasing the visibility of noise.

「細かさ」は撮像入力画像のエッジの幅を制御するエッジ幅制御量に相当する画質パラメータであり、「1:細い、2:中、3:太い」の3段階のレベルの画質パラメータを用意している。「細かさ」に関しては、数値が大きい画質パラメータほど、輪郭をかたどる線の幅が太いものになる。   “Fineness” is an image quality parameter corresponding to the edge width control amount that controls the width of the edge of the captured input image, and image quality parameters of three levels of “1: thin, 2: medium, 3: thick” are prepared. is doing. Regarding the "fineness", the larger the image quality parameter, the wider the width of the line that traces the contour.

「閾値」は、撮像入力画像信号に対するベースクリッパのクリップ量を制御するベースクリップ制御量に相当する画質パラメータであり、「1:小、2:中、3:大」の3段階のレベルの画質パラメータを用意している。ベースクリップ制御量と呼ばれる閾値以下の画素値を有する画素は鮮鋭化処理の対象とならないため、ノイズが強調されることを防止できる。この閾値が大きいほど、ノイズの強調を防ぐ効果は高いが、代わりにノイズと同程度の低コントラストのエッジは強調されない。逆に閾値が小さいほど、低コントラストのエッジが検出できるようになるが、同程度のコントラストを有するノイズに対しても視認性が増してしまうという弊害も併せ持つ。   The “threshold” is an image quality parameter corresponding to the base clip control amount for controlling the clip amount of the base clipper with respect to the captured input image signal, and the image quality at three levels of “1: small, 2: medium, 3: large” Parameters are prepared. Pixels having a pixel value equal to or less than the threshold value, which is called a base clip control amount, are not subjected to the sharpening process, and thus noise can be prevented from being emphasized. The larger this threshold is, the higher the effect of preventing noise enhancement is, but instead, the edge of low contrast similar to that of noise is not enhanced. On the contrary, the smaller the threshold value, the more the edge with low contrast can be detected, but this also has the disadvantage that the visibility is increased even for noise having the same contrast.

以上のような画質パラメータに対し、本実施形態では、図8に示すように、ズームポジションが広角ポジションの場合、(強さ、細かさ、閾値)=(1,3,3)としている。低倍ズームの広角側では、従来例の図7(a)に示すように星の大きさは小さく映る傾向にあり、特に高周波成分の星の画像が消滅する方向に天体画像が取得される傾向にある。そこで、本実施形態では、特に高周波成分に対し視認性が向上する「細かさ」=3という設定にしている。   In contrast to the above image quality parameters, in the present embodiment, as shown in FIG. 8, when the zoom position is the wide angle position, (strength, fineness, threshold) = (1, 3, 3). On the wide-angle side of the low-power zoom, the size of the star tends to appear small as shown in FIG. 7A of the conventional example, and in particular, the astronomical image tends to be acquired in the direction in which the star image of the high frequency component disappears. It is in. Therefore, in the present embodiment, the setting is “fineness” = 3, which improves the visibility particularly for high frequency components.

一方、ズームポジションが望遠ポジションの場合、図8に示すように、(強さ、細かさ、閾値)=(3,2,1)としている。高倍ズームの望遠側では、図7(b)に示すように画角が狭まるため、撮像される星の数も減少する傾向にある。そこで、本実施形態では、コントラストの低い星に対しても現像画像として取得するために、「閾値」=1という設定にしている。また、「強さ」に関しても、低コントラストの星をより目立たせるために、「強さ」=3という設定にしている。   On the other hand, when the zoom position is the telephoto position, (strength, fineness, threshold value) = (3, 2, 1) as shown in FIG. On the telephoto side of the high-power zoom, the angle of view narrows as shown in FIG. 7B, so the number of stars captured tends to decrease. Therefore, in this embodiment, “threshold” = 1 is set in order to obtain a developed image even for a star with low contrast. Regarding "strength", "strength" = 3 is set in order to make low contrast stars more noticeable.

以上のようにして、天体撮影モードで星空を撮影することにより、ズーム倍率を変更することによる画角の変更があったとしても、星空夜景モード及び星空軌跡モードにおいて、星空の演出効果が十分な画像を得ることができる。   As described above, even if the angle of view is changed by changing the zoom magnification by shooting the starry sky in the astronomical shooting mode, the effect of the starry sky is sufficient in the starry night view mode and the star trail mode. Images can be obtained.

本実施形態では、星空の演出効果を十分に得るために、鮮鋭度の画質パラメータを用いたが、これに限るものではなく、星空の演出効果を制御できるものであれば良い。例えば、撮像入力画像の明度を制御する明度制御量や、撮像入力画像の彩度を制御する彩度制御量、撮像入力画像の色相を制御する色相制御量なども、本発明の画質パラメータとして用いることができる。   In the present embodiment, the image quality parameter of the sharpness is used in order to sufficiently obtain the effect of the starry sky, but the present invention is not limited to this, and any effect that can control the effect of the starry sky may be used. For example, a brightness control amount that controls the brightness of the captured input image, a saturation control amount that controls the saturation of the captured input image, a hue control amount that controls the hue of the captured input image, etc. are also used as image quality parameters of the present invention. be able to.

また、本実施形態では、図9、図10で示すようなズームポジションに対するエッジ強調処理の各種画質パラメータの対応表も用意している。   Further, in the present embodiment, a correspondence table of various image quality parameters of the edge enhancement processing for the zoom position as shown in FIGS. 9 and 10 is also prepared.

図9は、撮影画角内に星の数が少なかった場合に用いる対応表である。星空の演出効果が見込めないほどの星の数の状況で、例えば、図8の望遠ポジションの画質パラメータで現像処理した場合、「強さ」=3、「閾値」=1の影響でノイズだけが悪化する画像が得られる場合がある。これを避けるために、星の数が所定の数よりも少ないと判断した場合、図9の対応表の画質パラメータを設定して現像処理を実施し、ノイズの悪化を防止する。星の数の検出に関しては、領域判別(S106、S208)の際に用いた図4の上段の画像に対し、エッジ検出などを星空領域のみで行えばよい。図8の対応表を用いるか、図9の対応表を用いるかは、撮影画角内の星の数が予め保持している閾値よりも少ないか否かで判定すればよい。   FIG. 9 is a correspondence table used when the number of stars is small within the shooting angle of view. In the situation where the number of stars is such that the effect of the starry sky cannot be expected, for example, when processing is performed with the image quality parameter of the telephoto position in FIG. 8, only "noise" is affected by "strength" = 3 and "threshold" = 1. A deteriorated image may be obtained. In order to avoid this, when it is determined that the number of stars is less than the predetermined number, the image quality parameters of the correspondence table of FIG. 9 are set and the developing process is performed to prevent the deterioration of noise. Regarding detection of the number of stars, edge detection or the like may be performed only in the starry sky region in the upper image of FIG. 4 used in the region determination (S106, S208). Whether to use the correspondence table of FIG. 8 or the correspondence table of FIG. 9 may be determined based on whether or not the number of stars within the shooting angle of view is smaller than a threshold value held in advance.

一方、図10は、夕暮れ時に天体撮影モードで星空を撮影するときに用いる、ズームポジションに対するエッジ強調処理の各種画質パラメータの対応表である。夕暮れ時の星空は比較的明るいため、星の輝点としても、コントラストが低下することになる。そこで、撮像装置に搭載している時計機能などにより時刻を検出し、夕暮れ時と判定した場合に、図10の対応法の画質パラメータを設定して現像処理を実施する。これにより、低コントラストの星に対しても視認性の良好な星空撮影画像を取得することができる。   On the other hand, FIG. 10 is a correspondence table of various image quality parameters of the edge enhancement processing with respect to the zoom position, which is used when shooting the starry sky in the astronomical shooting mode at dusk. Since the starry sky at dusk is relatively bright, the contrast will be reduced even as a bright spot for a star. Therefore, when the time is detected by a clock function or the like installed in the image pickup apparatus and when it is determined that it is dusk, the image quality parameter of the coping method in FIG. 10 is set and the developing process is executed. As a result, it is possible to obtain a starry sky captured image with good visibility even for a low-contrast star.

以上のズームポジションに対する各種画質パラメータの対応表に関しては、上記に限るものではない。デジタルカメラ100に日付や温度、湿度、位置など、撮影における外部環境を検知できる機能を有し、その検知結果毎の対応表を予め搭載しておけば、様々な検知結果毎に最適な画質パラメータで天体撮影画像を取得することができる。   The correspondence table of various image quality parameters with respect to the above zoom positions is not limited to the above. If the digital camera 100 has a function of detecting the external environment during shooting such as date, temperature, humidity, and position, and if a correspondence table for each detection result is installed in advance, the optimum image quality parameter for each detection result will be obtained. You can get astronomical images with.

[他の実施形態]
上述の実施形態では、星空を撮影する場合について説明したが、本発明の適用範囲はこれには限定されない。例えば夜景や蛍の撮影など、暗い場所における点光源の撮影に本発明は適用可能である。
[Other Embodiments]
In the above embodiment, the case where the starry sky is imaged has been described, but the applicable range of the present invention is not limited to this. The present invention can be applied to, for example, photographing a point light source in a dark place such as photographing a night view or a firefly.

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。   The present invention is also realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or device via a network or various storage media, and the computer (or CPU, MPU, etc.) of the system or device reads the program. This is the process to be executed.

Claims (12)

星空の撮影が可能な撮影装置であって、
撮影画角を特定する特定手段と、
撮影された画像における星を検出する検出手段と、
前記検出手段により検出された星に対して所定の画像処理を行う画像処理手段とを有し、
前記画像処理手段は、前記特定手段により特定された撮影画角が第1の画角である場合、第1パラメータで前記所定の画像処理を行い、前記特定手段により特定された撮影画角が第1の画角よりも広い第2の画角である場合、第1パラメータと異なる第2のパラメータで前記所定の画像処理を行うことを特徴とする撮影装置。
A shooting device capable of shooting the starry sky,
Specifying means for specifying the shooting angle of view,
Detection means for detecting stars in the captured image,
Image processing means for performing a predetermined image processing on the star detected by the detection means,
The image processing means performs the predetermined image processing with the first parameter when the shooting angle of view specified by the specifying means is the first view angle, and the shooting view angle specified by the specifying means is the first angle of view. When the second angle of view is wider than the first angle of view, the predetermined image processing is performed with a second parameter different from the first parameter.
前記所定の画像処理はエッジを鮮鋭化する処理であることを特徴とする請求項1に記載の撮影装置。   The photographing apparatus according to claim 1, wherein the predetermined image processing is processing for sharpening edges. 前記所定の画像処理はエッジ強調処理であり、
前記第1のパラメータは前記第2のパラメータよりもエッジ強調の度合いを強くするパラメータであることを特徴とする請求項2に記載の撮影装置。
The predetermined image processing is edge enhancement processing,
The image capturing apparatus according to claim 2, wherein the first parameter is a parameter that makes the degree of edge enhancement stronger than that of the second parameter.
前記所定の画像処理はエッジ幅を制御する処理であり、
前記第1のパラメータは前記第2のパラメータよりも細いエッジ幅となるパラメータであることを特徴とする請求項2または3のいずれか1項に記載の撮影装置。
The predetermined image processing is processing for controlling the edge width,
The imaging device according to claim 2, wherein the first parameter is a parameter having an edge width narrower than that of the second parameter.
前記第1のパラメータ及び前記第2のパラメータは、前記エッジの鮮鋭化を行う画素値の閾値を示すパラメータであり、前記第1のパラメータは、前記第2のパラメータよりも小さいことを特徴とする請求項2乃至4のいずれか1項に記載の撮影装置。   The first parameter and the second parameter are parameters indicating a threshold value of a pixel value for sharpening the edge, and the first parameter is smaller than the second parameter. The imaging device according to claim 2. 前記所定の画像処理は、明度、彩度、色相の少なくとも1つを制御する処理であることを特徴とする請求項1に記載の撮影装置。   The photographing apparatus according to claim 1, wherein the predetermined image processing is processing for controlling at least one of brightness, saturation, and hue. 前記特定手段は、ズームレンズのポジションに基づき前記撮影画角を特定することを特徴とする請求項1乃至6のいずれか1項に記載の撮影装置。   7. The photographing apparatus according to claim 1, wherein the specifying unit specifies the shooting angle of view based on a position of a zoom lens. 前記撮影画角と、前記所定の画像処理のパラメータとの対応付けを示す対応付け情報を保持する保持手段をさらに有し、
前記画像処理手段は、前記特定手段により特定された撮影画角と前記保持手段に保持された対応付けとに基づき、前記所定の画像処理のパラメータを決定することを特徴とする請求項1乃至7のいずれか1項に記載の撮影装置。
Further comprising a holding unit that holds correspondence information indicating correspondence between the shooting angle of view and the predetermined image processing parameter,
8. The image processing unit determines the predetermined image processing parameter based on the photographing field angle specified by the specifying unit and the correspondence held by the holding unit. The image capturing apparatus according to any one of 1.
前記保持手段は、前記所定の画像処理のパラメータとの対応付けがそれぞれ異なる複数の対応付け情報を保持し、
前記特定手段により特定された撮影画角内の星の数に応じて、前記所定の画像処理に用いる対応付け情報が異なることを特徴とする請求項8に記載の撮影装置。
The holding unit holds a plurality of pieces of association information, each of which has a different association with the predetermined image processing parameter,
9. The photographing apparatus according to claim 8, wherein the correspondence information used for the predetermined image processing is different according to the number of stars within the photographing field angle specified by the specifying unit.
撮影における外部環境に関する情報を検知する検知手段をさらに有し、
前記保持手段は、前記所定の画像処理のパラメータとの対応付けがそれぞれ異なる複数の対応付け情報を保持し、
前記検知手段により検知された外部環境に応じて、前記所定の画像処理に用いる対応付け情報が異なることを特徴とする請求項8に記載の撮影装置。
Further has a detection means for detecting information about the external environment in the shooting,
The holding unit holds a plurality of pieces of association information, each of which has a different association with the predetermined image processing parameter,
9. The photographing apparatus according to claim 8, wherein the correspondence information used for the predetermined image processing is different depending on the external environment detected by the detection unit.
星空の撮影が可能な撮影装置の制御方法であって、
撮影画角を特定する特定工程と、
撮影された画像における星を検出する検出工程と、
前記検出工程で検出された星に対して所定の画像処理を行う画像処理工程とを有し、
前記画像処理工程では、前記特定工程で特定された撮影画角が第1の画角である場合、第1パラメータで前記所定の画像処理を行い、前記特定工程で特定された撮影画角が第1の画角よりも広い第2の画角である場合、第1パラメータと異なる第2のパラメータで前記所定の画像処理を行うことを特徴とする撮影装置の制御方法。
A method of controlling a photographing device capable of photographing a starry sky,
A specific step of specifying the shooting angle of view,
A detection step of detecting stars in the captured image,
An image processing step of performing a predetermined image processing on the star detected in the detection step,
In the image processing step, when the shooting angle of view specified in the specifying step is a first angle of view, the predetermined image processing is performed using a first parameter, and the shooting angle of view specified in the specifying step is a first angle of view. When the second angle of view is wider than the first angle of view, the predetermined image processing is performed with a second parameter different from the first parameter.
コンピュータを、請求項1乃至10のいずれか1項に記載の撮影装置の各手段として機能させるコンピュータが実行可能なプログラム。   A computer-executable program that causes a computer to function as each unit of the image capturing apparatus according to claim 1.
JP2018209094A 2018-11-06 2018-11-06 Imaging device, its control method, and program Active JP7229728B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018209094A JP7229728B2 (en) 2018-11-06 2018-11-06 Imaging device, its control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018209094A JP7229728B2 (en) 2018-11-06 2018-11-06 Imaging device, its control method, and program

Publications (2)

Publication Number Publication Date
JP2020077938A true JP2020077938A (en) 2020-05-21
JP7229728B2 JP7229728B2 (en) 2023-02-28

Family

ID=70724451

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018209094A Active JP7229728B2 (en) 2018-11-06 2018-11-06 Imaging device, its control method, and program

Country Status (1)

Country Link
JP (1) JP7229728B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022203355A1 (en) * 2021-03-24 2022-09-29 삼성전자 주식회사 Electronic device including plurality of cameras

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017204306A1 (en) 2017-03-15 2018-09-20 Zf Friedrichshafen Ag Arrangement and method for determining a gradient signal in a vehicle

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016081466A (en) * 2014-10-22 2016-05-16 キヤノン株式会社 Image processing device, and image processing method and program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016081466A (en) * 2014-10-22 2016-05-16 キヤノン株式会社 Image processing device, and image processing method and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022203355A1 (en) * 2021-03-24 2022-09-29 삼성전자 주식회사 Electronic device including plurality of cameras

Also Published As

Publication number Publication date
JP7229728B2 (en) 2023-02-28

Similar Documents

Publication Publication Date Title
US7877004B2 (en) Imaging apparatus and imaging method
JP4989385B2 (en) Imaging apparatus, control method thereof, and program
JP5366584B2 (en) Imaging apparatus, image processing method, and program
JP4794978B2 (en) Image processing apparatus, control method, and program
JP2006227613A (en) Camera exposure program combined with image stabilizing function
JP4614143B2 (en) Imaging apparatus and program thereof
JP5576706B2 (en) Image processing apparatus, control method therefor, and imaging apparatus
JP2007174124A (en) Imaging apparatus and correction method
US8531586B2 (en) Image pickup apparatus and storage medium including focus lens control
JP7229728B2 (en) Imaging device, its control method, and program
JP2005045552A (en) Imaging device and its method
JP2008211843A (en) Imaging apparatus and imaging control program
JP2007311962A (en) Electronic camera and image display program
JP5316923B2 (en) Imaging apparatus and program thereof
JP2012090041A (en) Image processing device, method, and program
JP5159573B2 (en) Imaging apparatus and zoom control method
JP2009135670A (en) Image device and its control method
JP5355124B2 (en) Imaging apparatus and scene discrimination method thereof
US20130194456A1 (en) Imaging device
JP2005167465A (en) Digital camera and imaging method of digital camera
JP2020043398A (en) Imaging device and control method thereof, program, and storage medium
JP6433177B2 (en) Image processing apparatus and image processing method
JP2005176062A (en) Imaging device and imaging method
JP4682104B2 (en) Imaging device
JP2009118247A (en) Photographic device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230215

R151 Written notification of patent or utility model registration

Ref document number: 7229728

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151