JP2010093729A - Imaging apparatus and method of imaging - Google Patents

Imaging apparatus and method of imaging Download PDF

Info

Publication number
JP2010093729A
JP2010093729A JP2008264332A JP2008264332A JP2010093729A JP 2010093729 A JP2010093729 A JP 2010093729A JP 2008264332 A JP2008264332 A JP 2008264332A JP 2008264332 A JP2008264332 A JP 2008264332A JP 2010093729 A JP2010093729 A JP 2010093729A
Authority
JP
Japan
Prior art keywords
signal
flash
control unit
output
timing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008264332A
Other languages
Japanese (ja)
Other versions
JP4883073B2 (en
Inventor
Tetsumasa Yonemitsu
徹匡 米光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008264332A priority Critical patent/JP4883073B2/en
Priority to US12/574,754 priority patent/US8248520B2/en
Priority to CN2009101793669A priority patent/CN101729782B/en
Publication of JP2010093729A publication Critical patent/JP2010093729A/en
Application granted granted Critical
Publication of JP4883073B2 publication Critical patent/JP4883073B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Stroboscope Apparatuses (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To prevent brightness of an image from being significantly different between upper and lower parts of a screen in an imaging apparatus which involves line exposure. <P>SOLUTION: The imaging apparatus includes an imaging element 102, an imaging element control part 111 for supplying a readout direction signal for signal charge stored in the imaging element 102 in synchronization with a synchronizing signal, and an operation input part 107 into which a flash firing direction inputs. An output interval between the readout direction signals is set to a predefined interval of at least two frame periods. In addition, output timing of flash control signals is set such that a time period from start to end of the flash firing is included within a time period from after completion of the signal charge readout with a first readout direction signal till an input of a subsequent second readout direction signal. On that basis, the flash control signal is supplied based on the flash firing direction and the set output timings such that the readout direction signal is output in the predefined intervals specified. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、撮像装置及び撮像方法に関し、特にライン露光を行う撮像装置においてフラッシュの発光タイミングを制御する技術に関する。   The present invention relates to an imaging apparatus and an imaging method, and more particularly, to a technique for controlling a flash emission timing in an imaging apparatus that performs line exposure.

近年、デジタルカメラやビデオカメラにおける撮像素子として、CMOS(Complementary Metal Oxide Semiconductor)センサが多く用いられている。単位画素ごとに増幅器を持つため、光電変換された信号電荷の読み出しによる電気ノイズの発生が抑えられたり、消費電力が少ない等の長所があるためである。   In recent years, CMOS (Complementary Metal Oxide Semiconductor) sensors are often used as image sensors in digital cameras and video cameras. This is because, since each unit pixel has an amplifier, there are advantages such as generation of electrical noise due to readout of photoelectrically converted signal charges and reduction in power consumption.

ところが、CMOSの撮像素子では、信号電荷を出力した画素はその時点から再び光電変換した信号の蓄積を開始するため、撮像面の走査タイミングに従って蓄積の期間にずれが生じる。このような読み出し方式は、一般に、ライン露光やローリングシャッタ等と称されている。この方式で信号電荷の読み出しが行われる場合で、撮像中にフラッシュが焚かれた場合には、図8に示すように画面の上と下とで輝度が変わってしまう現象が生じることがある。フラッシュの発光が開始してから終了するまでの間、つまりフラッシュの閃光中に信号電荷の読み出しが行われた場合には、このような現象が生じてしまう。   However, in the CMOS image sensor, the pixel that has output the signal charge starts accumulating the photoelectrically converted signal again from that point, so that the accumulation period varies according to the scanning timing of the imaging surface. Such a readout method is generally called line exposure, rolling shutter, or the like. When signal charges are read out in this manner and the flash is fired during imaging, a phenomenon may occur in which the luminance changes between the top and bottom of the screen as shown in FIG. Such a phenomenon occurs when the signal charge is read from the start to the end of the flash emission, that is, when the signal charge is read during the flash.

図8の上側の約2/3の領域にある画像は、フラッシュの発光中に蓄積された信号電荷により構成されているため、輝度が明るくなっている。一方、図8の下側の1/3の領域にある画像は、フラッシュの発光終了後に蓄積された信号電荷により構成されているため、輝度が暗くなってしまっている。   The image in the area of about 2/3 on the upper side in FIG. 8 is composed of signal charges accumulated during the flash emission, and therefore has a brighter brightness. On the other hand, the image in the lower third region of FIG. 8 is composed of signal charges accumulated after the end of flash emission, and therefore the luminance is dark.

このような問題を解決するための技術として、特許文献1には、銀塩撮影と電子撮影の兼用カメラにおいて、フォーカルプレーンシャッタの開閉状態と信号電荷の蓄積状態に応じて、フラッシュの発光タイミングを制御する技術が記載されている。
特開2001−249396号公報
As a technique for solving such a problem, Patent Document 1 discloses a flash emission timing in a silver salt photography and electronic photography camera according to the open / close state of a focal plane shutter and the accumulation state of signal charges. The technology to control is described.
JP 2001-249396 A

ところで、動画像を撮像するビデオカメラ等の撮像装置においても、同様の問題は発生する。ところが、動画像を撮像する撮像装置は、フォーカルプレーンシャッタを持たないため、シャッタの開閉タイミングの制御によって上記問題を解決することはできない。また、ビデオカメラ等の撮像装置においては、外部の同期信号に同期して信号電荷の読み出しを行う必要があるため、信号電荷読み出しのタイミングとフラッシュの発光タイミングの両方をうまく制御することが難しいという問題があった。   By the way, the same problem also occurs in an imaging apparatus such as a video camera that captures moving images. However, since an imaging apparatus that captures a moving image does not have a focal plane shutter, the above problem cannot be solved by controlling the opening / closing timing of the shutter. In addition, in an imaging device such as a video camera, it is necessary to read out signal charges in synchronization with an external synchronization signal, so it is difficult to control both the signal charge readout timing and the flash emission timing well. There was a problem.

本発明はかかる点に鑑みてなされたものであり、ライン露光を行う撮像装置において、画面の上側と下側とで画像の輝度が大きく変わってしまうことを防ぐことを目的とする。   The present invention has been made in view of such a point, and an object of the present invention is to prevent the luminance of an image from changing greatly between the upper side and the lower side of a screen in an imaging apparatus that performs line exposure.

本発明の撮像装置は、光電変換して得た信号電荷を蓄積する光電変換素子が行方向及び列方向に配置されてなる撮像素子と、入力される同期信号に同期して、蓄積された信号電荷を出力させるための読み出し指示信号を撮像素子に供給する撮像素子制御部とを備える。また、フラッシュを発光させるフラッシュ発光指示の入力を受け付ける操作入力部を備える。そして、蓄積された信号電荷の読み出しを指示する読み出し指示信号の出力間隔として、2フレーム期間以上の所定の間隔を設定するようにした。さらに、第1の読み出し指示信号による信号電荷の読み出し完了後から次の第2の読み出し指示信号入力までの期間内に、フラッシュの発光開始から終了までの期間が含まれるように、フラッシュ制御信号の出力タイミングを設定するようにした。その上で、入力される同期信号に同期して、かつ設定された所定の間隔で、読み出し指示信号を撮像素子に供給するようにした。そして、フラッシュを発光させるフラッシュ発光指示の入力を受け付けたタイミングと、設定されたフラッシュ制御信号の出力タイミングに基づいて、フラッシュにフラッシュ制御信号を供給するようにしたものである。   The image pickup apparatus of the present invention includes an image pickup element in which photoelectric conversion elements for storing signal charges obtained by photoelectric conversion are arranged in a row direction and a column direction, and an accumulated signal in synchronization with an input synchronization signal. An image sensor control unit that supplies a read instruction signal for outputting charges to the image sensor. In addition, an operation input unit that receives an input of a flash emission instruction for causing the flash to emit is provided. Then, a predetermined interval of two frame periods or more is set as the output interval of the read instruction signal instructing to read the accumulated signal charge. Further, the flash control signal of the flash control signal is set so that the period from the start to the end of the flash emission is included in the period from the completion of the readout of the signal charge by the first readout instruction signal to the input of the second readout instruction signal. The output timing was set. In addition, the readout instruction signal is supplied to the image sensor in synchronization with the input synchronization signal and at a predetermined interval. Then, the flash control signal is supplied to the flash based on the timing at which the input of the flash emission instruction for causing the flash to be received is received and the output timing of the set flash control signal.

このようにしたことで、ライン露光を行う撮像装置において、フラッシュの発光が、第1の読み出し指示信号による信号電荷の読み出し完了後から次の第2の読み出し指示信号入力までの期間内に行われるようになる。   Thus, in the imaging apparatus that performs line exposure, flash emission is performed within a period from the completion of reading of the signal charge by the first read instruction signal to the input of the next second read instruction signal. It becomes like this.

さらに、撮像素子制御部に読み出し制御信号が供給される間隔が、2フレーム期間以上の所定の間隔となるため、信号電荷の蓄積が2フレーム期間以上の長さで行われるようになる。   Furthermore, since the interval at which the readout control signal is supplied to the image sensor control unit is a predetermined interval of 2 frame periods or longer, signal charges are accumulated for a length of 2 frame periods or longer.

本発明によると、フラッシュの発光タイミングと信号電荷の蓄積期間が調整されるため、フラッシュの発光が、信号電荷の読み出し期間にかからなくなる。これにより、画面の上側と下側とで画像の輝度が大きく変わってしまうことがなくなる。   According to the present invention, since the flash emission timing and the signal charge accumulation period are adjusted, the flash emission does not occur during the signal charge readout period. As a result, the brightness of the image does not change significantly between the upper side and the lower side of the screen.

以下、本発明の一実施の形態を、図1〜図7を参照して説明する。なお、説明は以下の順序で行う。
1.本実施の形態(常に蓄積動作を行う例)
2.変形例(フラッシュ発光指示があった場合のみ、蓄積動作を行う例)
Hereinafter, an embodiment of the present invention will be described with reference to FIGS. The description will be given in the following order.
1. This embodiment (an example in which accumulation operation is always performed)
2. Modified example (Example in which accumulation operation is performed only when there is a flash command)

<本実施の形態>
[システムの構成例]
図1は、本発明の一実施の形態としてのシステムの内部構成例を示したブロック図である。図1に示すシステムは、例えば眼底検査等を行う検査装置に適用されるものであり、動画像を撮影する撮像装置100と、フラッシュ生成装置200とで構成される。
<This embodiment>
[System configuration example]
FIG. 1 is a block diagram showing an example of the internal configuration of a system as an embodiment of the present invention. The system illustrated in FIG. 1 is applied to, for example, an inspection apparatus that performs fundus inspection, and includes an imaging apparatus 100 that captures a moving image and a flash generation apparatus 200.

フラッシュ生成装置200は、発光部としてのフラッシュ201と、フラッシュ201の外部トリガ(図示略)電極にトリガ電圧をかけることにより、フラッシュ201を発光させるフラッシュ制御部202とよりなる。フラッシュ制御部202がフラッシュ201の外部トリガ電極にトリガ電圧をかけるタイミングは、撮像装置100から供給されるフラッシュ制御信号に基づいて制御される。撮像装置100からフラッシュ制御信号が供給されてから実際にフラッシュ201が発光するまでには所定の時間がかかるものであり、以下の説明ではその時間をフラッシュ発光所要時間と称する。   The flash generation apparatus 200 includes a flash 201 as a light emitting unit and a flash control unit 202 that causes the flash 201 to emit light by applying a trigger voltage to an external trigger (not shown) electrode of the flash 201. The timing at which the flash control unit 202 applies the trigger voltage to the external trigger electrode of the flash 201 is controlled based on a flash control signal supplied from the imaging device 100. A predetermined time is required until the flash 201 actually emits light after the flash control signal is supplied from the imaging apparatus 100. In the following description, this time is referred to as a flash emission required time.

撮像装置100は、被写体光を装置内に取り込むレンズ101と、撮像素子102と、信号処理部103と、映像信号出力部104と、記憶制御部105と、記憶部106とを備える。さらに撮像装置100は、操作入力部107と、制御部108と、タイミング制御部109と、フラッシュ制御信号生成部110と、撮像素子制御部111とを含む。   The imaging apparatus 100 includes a lens 101 that captures subject light into the apparatus, an imaging element 102, a signal processing unit 103, a video signal output unit 104, a storage control unit 105, and a storage unit 106. Furthermore, the imaging apparatus 100 includes an operation input unit 107, a control unit 108, a timing control unit 109, a flash control signal generation unit 110, and an imaging element control unit 111.

撮像素子102は、例えばCMOS素子で構成されるものであり、その内部構成例を図2に示してある。図2に示す撮像素子102は、行方向及び列方向に配置された各画素20と、垂直走査回路30と、水平走査回路40とを含む。各画素20は複数本の行選択線Hと複数本の列信号線Vに接続されており、各画素20が、光電変換素子21と、アンプ22と、スイッチ23とを備える。   The imaging element 102 is constituted by, for example, a CMOS element, and an internal configuration example thereof is shown in FIG. The image sensor 102 shown in FIG. 2 includes each pixel 20 arranged in the row direction and the column direction, a vertical scanning circuit 30, and a horizontal scanning circuit 40. Each pixel 20 is connected to a plurality of row selection lines H and a plurality of column signal lines V, and each pixel 20 includes a photoelectric conversion element 21, an amplifier 22, and a switch 23.

光電変換素子21は、フォトダイオード等で構成され、レンズ101(図1参照)を通して入射された被写体光を光電変換して得た信号電荷を蓄積する。アンプ22は、増幅素子又は増幅回路により構成されるものであり、光電変換素子21に蓄積された信号電荷を増幅して出力する。スイッチ23は、トランジスタ等で構成されるものであり、垂直走査回路30と水平走査回路40による走査に基づいて、そのスイッチを開閉する。   The photoelectric conversion element 21 includes a photodiode or the like, and accumulates signal charges obtained by photoelectrically converting subject light incident through the lens 101 (see FIG. 1). The amplifier 22 is configured by an amplifying element or an amplifying circuit, and amplifies and outputs the signal charge accumulated in the photoelectric conversion element 21. The switch 23 is composed of a transistor or the like, and opens and closes the switch based on scanning by the vertical scanning circuit 30 and the horizontal scanning circuit 40.

垂直走査回路30は、撮像素子制御部111(図1参照)から供給される読み出し指示信号に基づいて、複数本の行選択線Hの中から、信号電荷を読み出したい画素20が接続された行選択線Hを選択する。水平走査回路40は、撮像素子制御部111から供給される読み出し指示信号に基づいて、垂直走査回路30によって行選択線Hが選択された状態で、信号電荷を読み出したい画素20が接続された列信号線Vを選択する。行と列との指定により位置が特定された画素20においては、スイッチ23が閉じられ、これにより、アンプ22で増幅された信号電荷が列信号線Vに出力されるようになる。列信号線Vを伝送された信号電荷は、後段の信号処理部103(図1参照)に出力される。   The vertical scanning circuit 30 is based on a read instruction signal supplied from the image sensor control unit 111 (see FIG. 1), and the row to which the pixel 20 from which a signal charge is to be read is connected from among a plurality of row selection lines H. A selection line H is selected. The horizontal scanning circuit 40 is connected to the column to which the pixel 20 from which signal charges are to be read is connected in a state where the row selection line H is selected by the vertical scanning circuit 30 based on the read instruction signal supplied from the image sensor control unit 111. The signal line V is selected. In the pixel 20 whose position is specified by the designation of the row and the column, the switch 23 is closed, so that the signal charge amplified by the amplifier 22 is output to the column signal line V. The signal charge transmitted through the column signal line V is output to the subsequent signal processing unit 103 (see FIG. 1).

各画素20は、信号電荷を出力した時点から再び光電変換した信号電荷の蓄積を開始する。このため、複数本の列信号線Vのそれぞれにおける信号電荷の蓄積期間が、時間方向でずれるようになる。図3は、各列信号線Vでの信号電荷蓄積期間のずれの例を示したものである。   Each pixel 20 starts accumulating the signal charge that has undergone photoelectric conversion again from the time when the signal charge is output. Therefore, the signal charge accumulation period in each of the plurality of column signal lines V is shifted in the time direction. FIG. 3 shows an example of the shift of the signal charge accumulation period in each column signal line V.

図3の縦軸は、列信号線Vの位置を示しており、上から下の方向に列信号線V1〜VN(Nは自然数)が順に配置されている様子が示されている。横軸は時間を示しており、図3の再下段には、各列信号線Vから伝送された信号電荷が出力されるタイミングを示してある。図3に示すように、図2に示した撮像素子102においては、列信号線Vの位置が後ろに進む程、走査に要する時間分だけ信号電荷蓄積期間が後にずれていく。すなわち、あるフレームi(iは自然数)におけるフレームの蓄積期間は、破線で囲って示したように、各列信号線Vでのずれ量が加算された期間となる。すなわち本実施の形態における撮像素子102は、ライン露光を行っている。なお、本実施の形態では撮像素子102をCMOS素子で構成した例を挙げたが、ライン露光を行うものであれば、撮像管等を用いた構成に適用するようにしてもよい。   The vertical axis in FIG. 3 shows the position of the column signal line V, and shows a state in which the column signal lines V1 to VN (N is a natural number) are arranged in order from the top to the bottom. The horizontal axis indicates time, and the lower part of FIG. 3 shows the timing at which the signal charge transmitted from each column signal line V is output. As shown in FIG. 3, in the image sensor 102 shown in FIG. 2, the signal charge accumulation period is shifted later by the time required for scanning as the position of the column signal line V advances backward. That is, the frame accumulation period in a certain frame i (i is a natural number) is a period in which the shift amount in each column signal line V is added, as shown by being surrounded by a broken line. That is, the image sensor 102 in the present embodiment performs line exposure. In this embodiment, an example in which the imaging element 102 is configured by a CMOS element is described. However, as long as line exposure is performed, the imaging element 102 may be applied to a configuration using an imaging tube or the like.

再び図1に戻って、撮像装置100を構成する各部についての説明を続ける。信号処理部103は、撮像素子102から出力された信号電荷に対して、AGC(Automatic Gain Control)処理やガンマ補正等の信号処理を施すとともに、同期信号を加算して映像信号を生成する。信号処理部103は、生成した映像信号を映像信号出力部104と記憶制御部105に供給する。   Returning to FIG. 1 again, the description of each part constituting the imaging apparatus 100 will be continued. The signal processing unit 103 performs signal processing such as AGC (Automatic Gain Control) processing and gamma correction on the signal charge output from the image sensor 102 and adds a synchronization signal to generate a video signal. The signal processing unit 103 supplies the generated video signal to the video signal output unit 104 and the storage control unit 105.

記憶制御部105は、後述する制御部108から供給される同期信号に同期して、HDD(Hard Disk Drive)等よりなる記憶部106に、映像信号を記憶する制御を行う。信号処理部103から出力される映像信号には、その映像信号を静止画像として記憶部106に記憶するか否かを示すフラグを設けてあり、フラグの値は、制御部108の制御に基づいて変更される。記憶制御部105は、制御部108よりフラグを1にする指示が入力された場合には、フラグの値を1に変更して、その映像信号を静止画像として記憶部106に記憶する。フラグ値を1にする変更は、フラッシュ201の発光期間に撮像素子102に蓄積された映像信号に対して行われる。これにより、記憶部106に静止画像として記憶される画像は、フラッシュ201の発光期間に撮像素子102に蓄積された映像信号によって構成される画像となる。   The storage control unit 105 performs control to store the video signal in the storage unit 106 such as an HDD (Hard Disk Drive) in synchronization with a synchronization signal supplied from the control unit 108 described later. The video signal output from the signal processing unit 103 is provided with a flag indicating whether the video signal is stored in the storage unit 106 as a still image, and the value of the flag is based on the control of the control unit 108. Be changed. When an instruction to set the flag to 1 is input from the control unit 108, the storage control unit 105 changes the value of the flag to 1 and stores the video signal as a still image in the storage unit 106. The change of the flag value to 1 is performed on the video signal accumulated in the image sensor 102 during the light emission period of the flash 201. As a result, the image stored as a still image in the storage unit 106 is an image composed of video signals accumulated in the image sensor 102 during the light emission period of the flash 201.

操作入力部107は、フラッシュ生成装置200でのフラッシュの設定をオン又はオフにするスイッチや、フラッシュの発光タイミングを指示するフラッシュボタン等(図示略)で構成される。ユーザによってフラッシュボタンが押下された場合には、フラッシュ発光指示信号を生成して制御部108に供給する。フラッシュ発光指示信号は、制御部108を通してタイミング制御部109にも供給される。   The operation input unit 107 includes a switch for turning on or off the flash setting in the flash generation apparatus 200, a flash button for instructing the flash emission timing, and the like (not shown). When the user presses the flash button, a flash emission instruction signal is generated and supplied to the control unit 108. The flash emission instruction signal is also supplied to the timing control unit 109 through the control unit 108.

制御部108は、MPU(Micro Processing Unit)等よりなり、撮像装置100を構成する各部を制御する。具体的には、タイミング制御部109と記憶制御部105に対して同期信号を供給する。また、フラッシュ生成装置200に対するフラッシュ制御信号の出力タイミングの設定や、撮像素子制御部111から撮像素子102への読み出し指示信号出力間隔、すなわち信号電荷の蓄積期間の設定等を行う。制御部108はさらに、記憶制御部105に対するフラグ値変更指示も行う。制御部108における、フラッシュ制御信号の出力タイミングの制御と蓄積期間設定処理の詳細については後述する。   The control unit 108 includes an MPU (Micro Processing Unit) or the like, and controls each unit configuring the imaging apparatus 100. Specifically, the synchronization signal is supplied to the timing control unit 109 and the storage control unit 105. In addition, setting of the output timing of the flash control signal to the flash generation apparatus 200, setting of a read instruction signal output interval from the image sensor control unit 111 to the image sensor 102, that is, setting of a signal charge accumulation period, and the like are performed. The control unit 108 also issues a flag value change instruction to the storage control unit 105. Details of the control of the output timing of the flash control signal and the accumulation period setting process in the control unit 108 will be described later.

タイミング制御部109は、制御部108から供給される同期信号に同期して、記憶制御部105に対する記憶部106への書き込み指示信号を生成し、記憶制御部105に供給する。またタイミング制御部109は、制御部108から供給されたフラッシュ発光指示信号と、制御部108で設定された蓄積期間に基づいて、撮像素子制御部111での読み出し指示信号の生成を指示するための読み出し制御信号を生成する。そして、生成した読み出し制御信号を、制御部108から供給される同期信号に同期して撮像素子制御部111に供給する。タイミング制御部109はさらに、制御部108から供給されたフラッシュ発光指示信号と、制御部108で設定されたフラッシュ制御信号の出力タイミングに基づいて、フラッシュ制御信号の生成を指示する信号を生成する。そして生成した信号を、フラッシュ制御信号生成部110に供給する。   The timing control unit 109 generates a write instruction signal to the storage unit 106 for the storage control unit 105 in synchronization with the synchronization signal supplied from the control unit 108, and supplies the signal to the storage control unit 105. In addition, the timing control unit 109 instructs to generate a read instruction signal in the image sensor control unit 111 based on the flash emission instruction signal supplied from the control unit 108 and the accumulation period set by the control unit 108. A read control signal is generated. Then, the generated readout control signal is supplied to the image sensor control unit 111 in synchronization with the synchronization signal supplied from the control unit 108. The timing control unit 109 further generates a signal instructing generation of a flash control signal based on the flash emission instruction signal supplied from the control unit 108 and the output timing of the flash control signal set by the control unit 108. Then, the generated signal is supplied to the flash control signal generation unit 110.

フラッシュ制御信号生成部110は、タイミング制御部109より信号生成の指示が入力されたタイミングでフラッシュ制御信号を生成し、フラッシュ生成装置200のフラッシュ制御部202に供給する。撮像素子制御部111は、タイミング制御部109から読み出し制御信号が供給されたタイミングで読み出し指示信号を生成し、図示せぬレジスタ内に記憶された各種設定値とともに撮像素子102に供給する。   The flash control signal generation unit 110 generates a flash control signal at a timing when a signal generation instruction is input from the timing control unit 109 and supplies the flash control signal to the flash control unit 202 of the flash generation apparatus 200. The image sensor control unit 111 generates a read instruction signal at the timing when the read control signal is supplied from the timing control unit 109, and supplies the read instruction signal to the image sensor 102 together with various setting values stored in a register (not shown).

次に、図4を参照して、制御部108におけるフラッシュ制御信号の出力タイミングと信号電荷の蓄積期間の設定例について説明する。図4は、フラッシュの発光タイミングと信号電荷の蓄積期間との対応の例を示したものであり、横軸は時間を示す。Rn−2,Rn−1,Rと示されているのは、撮像素子制御部111から撮像素子102に対して読み出し指示信号が供給されるタイミングであり、この読み出し指示信号により、撮像素子102に蓄積された信号電荷が読み出される。以降の説明では、Rn−2,Rn−1,Rを読み出しタイミングとも称する。 Next, a setting example of the output timing of the flash control signal and the signal charge accumulation period in the control unit 108 will be described with reference to FIG. FIG. 4 shows an example of the correspondence between the flash emission timing and the signal charge accumulation period, and the horizontal axis shows time. R n−2 , R n−1 , and R n are timings at which a read instruction signal is supplied from the image sensor control unit 111 to the image sensor 102. The signal charge accumulated in the element 102 is read out. In the following description, also referred to as timing reads R n-2, R n- 1, R n.

図4に示した例は、フレームレートが60i(インターレース)に設定されていることを想定しているため、“O”と記された偶数フィールドに続いて、“E”と記された奇数フィールドが読み出されることが示されている。撮像素子102では、信号電荷を出力するのと同時に次の信号電荷の蓄積も開始されるため、例えば、読み出しタイミングRn−1で信号電荷が読み出されてから次の読み出しタイミングRが来るまでの間は、撮像素子102内に信号電荷が蓄積されるようになる。 The example shown in FIG. 4 assumes that the frame rate is set to 60i (interlace), so that the odd field marked “E” follows the even field marked “O”. Is read out. In the imaging device 102, to be initiated at the same time accumulation of the next signal charge as a signal charge, for example, arrival of the next read timing R n from the signal charges are read out by the read timing R n-1 Until this time, signal charges are accumulated in the image sensor 102.

本実施の形態では、撮像素子102での信号電荷の蓄積期間を、2フレーム期間以上のmフレーム期間に設定するものである。この蓄積期間は、フラッシュ生成装置200のフラッシュ201(図1参照)で発光が開始されてから発光が終了するまでの期間より、長い期間に設定するようにする。従って、3フレーム期間や4フレーム期間等、他の期間に設定するようにしてもよい。   In the present embodiment, the signal charge accumulation period in the image sensor 102 is set to an m frame period of two frame periods or more. This accumulation period is set to a period longer than the period from the start of light emission in the flash 201 (see FIG. 1) of the flash generation apparatus 200 to the end of the light emission. Therefore, it may be set to another period such as a 3 frame period or a 4 frame period.

図4に示した例では、時刻T1の時点でフラッシュ201が発光を開始してから、時刻T2の時点で発光が終了するまでの期間は、ほぼ2フレーム期間である。そして本実施の形態では、撮像素子102での信号電荷蓄積期間を4フレーム期間に設定している。このような設定を行うことにより、フラッシュ201の発光が、撮像素子102から信号電荷が読み出されるタイミングにかかりにくくなる。   In the example shown in FIG. 4, the period from when the flash 201 starts light emission at time T1 to when light emission ends at time T2 is approximately two frame periods. In this embodiment, the signal charge accumulation period in the image sensor 102 is set to 4 frame periods. By performing such setting, the light emission of the flash 201 is less likely to occur at the timing when the signal charge is read from the image sensor 102.

フラッシュ制御信号の出力タイミングは、フラッシュ201の発光が、撮像素子102からの信号電荷の読み出し期間にかからないようなタイミングに設定される。図4に示した例において、フラッシュの発光が信号電荷の読み出し期間にかからないようにするには、フラッシュ制御信号の出力タイミングを、1フレーム期間分の信号電荷の読み出しが完了した“1”の時点以降の、例えば“0”の時点とすればよい様に思われる。実際に、フラッシュ発光所要時間tがほぼ0である場合であれば、“0”の時点でフラッシュ制御信号を出力すれば、フラッシュ201が発光してもよい期間を、長くとることができるようになる。 The output timing of the flash control signal is set to such a timing that the light emission of the flash 201 does not take a signal charge reading period from the image sensor 102. In the example shown in FIG. 4, in order to prevent the flash light emission from taking out the signal charge reading period, the output timing of the flash control signal is set to the time point “1” when the signal charge reading for one frame period is completed. For example, it seems that the time point may be “0” thereafter. Actually, if the required flash emission time t 1 is almost 0, the flash control signal can be output at the time of “0” so that the period during which the flash 201 may emit light can be increased. become.

ところが、本実施の形態のシステムにおいては、前述したように、フラッシュ制御信号が出力されてから実際にフラッシュ201が発光するまでには、tと示した時間がかかってしまう(発光までの所要時間tは、仕様等により定められているものとする)。従って、“0”の時点でフラッシュ制御信号を出力してしまうと、“0”の時点からフラッシュ発光所要時間t1が経過したRあたりの時点で、フラッシュ201が発光してしまうことになる。つまり、フラッシュ201の発光が、信号電荷の読み出し期間にかかってしまうことになる。 However, in the system of the present embodiment, as described above, it required from the flash control signal is output by the time actual flash 201 emits light, to which rests with results (light emission time indicated as t 1 It is assumed that the time t 1 is determined according to the specification or the like). Therefore, if the flash control signal is output at the time “0”, the flash 201 emits light at a time around R n when the flash emission required time t1 has elapsed from the time “0”. That is, the flash 201 emits light during the signal charge readout period.

このため、フラッシュ発光開始時点Tの位置とフラッシュ発光終了時点Tの位置が下記の条件を満たす位置となるように、フラッシュ制御信号出力タイミングTを設定する必要がある。
n−1<T<R
n−1<T<R
For this reason, it is necessary to set the flash control signal output timing T 0 so that the position of the flash light emission start time T 1 and the position of the flash light emission end time T 2 satisfy the following conditions.
R n-1 <T 1 <R n
R n-1 <T 2 <R n

まず、ある読み出し指示信号の出力タイミングRn−1の次の読み出し指示信号出力タイミングRより、時間的に前となる所定の地点に、フラッシュ発光終了時点Tの位置を仮に設定する。フラッシュ201が発光されてから発光が終了するまでの発光時間tは既知であるため、フラッシュ発光終了時点Tから発光時間tを減算した地点が、フラッシュ発光開始時点Tとなる。そして、フラッシュ発光開始時点Tからフラッシュ発光所要時間tを減算した時点より前の地点に、フラッシュ制御信号の出力タイミングTを設定すればよい。 First, the output timing R n-1 of the next read instruction signal output timing R n of a read instruction signal, to a predetermined point where a previous temporally, temporarily sets the position of the flash light emission end point T 2. Since the light emission time t 2 from the flash 201 is the light emitting to the light emitting ends are known, the point obtained by subtracting the emission time t 2 from the flash light emitting end T 2 becomes a flash emission start time T 1. Then, the output timing T 0 of the flash control signal may be set at a point before the point where the flash emission required time t 1 is subtracted from the flash emission start time T 1 .

また、フラッシュ発光開始時点Tは、読み出しタイミングRn−1での信号電荷の読み出し完了地点より、時間的に後に来るようにする必要がある。このため、出力タイミングTの位置は、フラッシュ発光開始時点Tからフラッシュ発光所要時間tを減算した時点より時間的に後の地点に来るように設定する。フラッシュ制御信号の出力タイミングTを、これらの条件を満たす範囲内の所定の地点に設定しておくことにより、フラッシュ制御信号に基づいて実際にフラッシュ201が発光するタイミングが、信号電荷の読み出しタイミングにかからないようになる。つまり、フラッシュ201の発光が、必ず信号電荷の蓄積期間中に行われるようになる。 The flash emission start time T 1, from the reading completion point of the signal charges in the read timing R n-1, it is necessary to come after in time. For this reason, the position of the output timing T 0 is set so as to come to a point later in time than the time point when the flash light emission required time t 1 is subtracted from the flash light emission start time T 1 . By setting the output timing T 0 of the flash control signal at a predetermined point within the range that satisfies these conditions, the timing at which the flash 201 actually emits light based on the flash control signal is the signal charge read timing. It doesn't take a long time. That is, the flash 201 always emits light during the signal charge accumulation period.

図4に示した例では、この条件を満たす範囲内において、1フレーム期間分の信号電荷の読み出しが完了した後の“0”の地点より、矢印で示した例えば8msecおきの供給タイミングでの8個前のタイミングを、フラッシュ制御信号の出力タイミングTに設定している。 In the example shown in FIG. 4, within the range satisfying this condition, 8 points at the supply timing shown by arrows, for example, every 8 msec from the point of “0” after the reading of the signal charge for one frame period is completed. the number before the timing is set to the output timing T 0 of the flash control signal.

フラッシュ制御信号生成部110におけるフラッシュ制御信号の生成タイミングは、このようにして制御部108に設定された出力タイミングTと、ユーザによってフラッシュボタンが押下されたタイミングとによって決まる。フラッシュボタンが押下された場合には、操作入力部107でフラッシュ発光指示信号生成され、そのフラッシュ発光指示信号が制御部108とタイミング制御部109を経由してフラッシュ制御信号生成部110に供給される。つまりフラッシュ制御信号生成部110は、制御部108での設定値と、フラッシュ発光指示信号が入力されたタイミングとにより、実際にフラッシュ制御信号を生成し、出力するタイミングを決定する。 The generation timing of the flash control signal in the flash control signal generation unit 110 is determined by the output timing T 0 thus set in the control unit 108 and the timing when the flash button is pressed by the user. When the flash button is pressed, a flash emission instruction signal is generated by the operation input unit 107, and the flash emission instruction signal is supplied to the flash control signal generation unit 110 via the control unit 108 and the timing control unit 109. . That is, the flash control signal generation unit 110 determines the timing for actually generating and outputting the flash control signal based on the set value in the control unit 108 and the timing when the flash emission instruction signal is input.

例えば、フラッシュ発光指示信号が図4の出力タイミングTの時点より時間的に前のタイミングで供給された場合は、出力タイミングTの時点で、フラッシュ生成装置200のフラッシュ制御部202(図1参照)にフラッシュ制御信号を出力することができる。しかし、フラッシュ発光指示信号が入力されたのが、出力タイミングTのかなり直前だった場合には、出力タイミングTのタイミングまでに、フラッシュ制御信号の生成及び出力することができないこともあり得る。このような場合には、フラッシュ制御信号生成部110は次の出力タイミングT01(図示略)が訪れるまで待機し、出力タイミングT01が訪れた時点で、フラッシュ制御信号を出力する。図4に示した例では、次の出力タイミングT01は、Rの読み出しによって1フレーム期間分の信号電荷の読み出しが完了した後の地点から、信号の供給タイミングにおける8個前の時点となる。 For example, when the flash emission instruction signal is supplied at a timing prior to the output timing T 0 in FIG. 4, the flash controller 202 (FIG. 1) of the flash generation device 200 at the output timing T 0 . The flash control signal can be output to However, the flash emission instruction signal has been input, when was quite shortly before the output timing T 0 is, by the timing of the output timing T 0, also possible that the inability to generate and output of the flash control signal . In such a case, the flash control signal generation unit 110 waits until the next output timing T 01 (not shown) arrives, and outputs the flash control signal when the output timing T 01 arrives. In the example shown in FIG. 4, the next output timing T 01 is eight points before the signal supply timing from the point after reading of the signal charge for one frame period is completed by reading R n. .

つまりフラッシュ制御信号生成部110は、フラッシュ発光指示信号が入力されたときに、時間的にその次に訪れる出力タイミングTでフラッシュ制御信号の生成及び出力を行うことができるか否かを判断する。そして、可能であると判断した場合にはフラッシュ制御信号を生成及び出力し、不可能であると判断した場合には、次のタイミングまで待ち、フラッシュ制御信号を生成及び出力する。 That is, the flash control signal generation unit 110 determines whether or not the flash control signal can be generated and output at the next output timing T 0 that comes next in time when the flash emission instruction signal is input. . If it is determined that it is possible, a flash control signal is generated and output. If it is determined that it is not possible, it waits until the next timing, and a flash control signal is generated and output.

なお、図4では、フレームレートが60i(インターレース)であり、信号電荷の読み出しが1フレーム期間かけて行われる場合を例に挙げたが、これに限定されるものではない。例えば図5に示すように、フレームレートが30P(プログレッシブ)である場合に適用してもよく、また、信号電荷の読み出しを1/2フレーム期間程度の短い時間で行う形態に適用してもよい。図5に示した例では、信号電荷の蓄積期間を6フレーム分の期間としてある。また、フラッシュ制御信号の出力タイミングTを、Rn−1の読み出しによって1フレーム期間分の信号電荷の読み出しが完了した後の地点から、同期信号の供給タイミングにおける12個前の時点としている。 In FIG. 4, the frame rate is 60i (interlace) and signal charge is read out over one frame period. However, the present invention is not limited to this. For example, as shown in FIG. 5, the present invention may be applied when the frame rate is 30P (progressive), or may be applied to a mode in which signal charges are read out in a short time such as a ½ frame period. . In the example shown in FIG. 5, the signal charge accumulation period is a period of 6 frames. Further, the output timing T 0 of the flash control signal is set to 12 points before the synchronization signal supply timing from the point after the reading of the signal charge for one frame period is completed by reading R n−1 .

[動作説明]
次に、図6のフローチャートを参照して、撮像装置100における動作の例について説明する。図6は、本実施の形態によるフラッシュの発光タイミング制御と信号電荷の蓄積期間調整処理の例を示すフローチャートである。図6において、まず制御部108で、信号電荷の蓄積期間が設定される(ステップS1)。次に、同じく制御部108において、フラッシュ制御信号の出力タイミングが設定される(ステップS2)。そして、ステップS1で設定された蓄積期間に基づいて、撮像素子102での信号電荷の蓄積が開始される(ステップS3)。
[Description of operation]
Next, an example of the operation in the imaging apparatus 100 will be described with reference to the flowchart of FIG. FIG. 6 is a flowchart showing an example of flash light emission timing control and signal charge accumulation period adjustment processing according to this embodiment. In FIG. 6, first, the control unit 108 sets a signal charge accumulation period (step S1). Next, similarly, the output timing of the flash control signal is set in the control unit 108 (step S2). Based on the accumulation period set in step S1, signal charge accumulation in the image sensor 102 is started (step S3).

次に、フラッシュ制御信号生成部110において、フラッシュボタンが押下されたか否かが判断される(ステップS4)。すなわち、タイミング制御部109(図1参照)からフラッシュ発光指示信号が入力されたか否かが判断される。フラッシュ発光指示信号が入力されていない場合には、設定された蓄積期間が終了したか否かが判断され(ステップS5)、終了していない場合には、ステップS4の判断が繰り返して行われる。設定された蓄積期間が終了した場合、つまり撮像素子制御部111から撮像素子102に対して読み出し指示信号が供給された場合には、撮像素子102に蓄積された信号電荷が読み出され(ステップS6)、ステップS3に戻って信号電荷の蓄積が行われる。つまり、ユーザによりフラッシュボタンが押下されるまでの間は、ステップS1で設定された蓄積期間の間、撮像素子102に信号電荷が蓄積され、蓄積期間の終了とともに信号電荷が読み出される処理が、継続して行われる。信号電荷の蓄積及び読み出しは、上述したように、制御部108から供給される同期信号に同期して行われる。   Next, the flash control signal generation unit 110 determines whether or not the flash button has been pressed (step S4). That is, it is determined whether or not a flash emission instruction signal is input from the timing control unit 109 (see FIG. 1). If the flash emission instruction signal has not been input, it is determined whether or not the set accumulation period has ended (step S5), and if it has not ended, the determination in step S4 is repeated. When the set accumulation period ends, that is, when a read instruction signal is supplied from the image sensor control unit 111 to the image sensor 102, the signal charge accumulated in the image sensor 102 is read (step S6). ), The process returns to step S3 to accumulate signal charges. That is, until the flash button is pressed by the user, the signal charge is accumulated in the image sensor 102 during the accumulation period set in step S1, and the process of reading the signal charge at the end of the accumulation period is continued. Done. As described above, the accumulation and reading of the signal charges are performed in synchronization with the synchronization signal supplied from the control unit 108.

ステップS4で、フラッシュボタンが押下されたと判断された場合には、フラッシュ制御信号生成部110において、フラッシュ制御信号の出力が可能であるか否かが判断される(ステップS7)。フラッシュ制御信号の出力が不可能であった場合には、撮像素子102に蓄積されている信号電荷の蓄積期間が終了したか否かが判断され(ステップS8)、終了していない場合には、ステップS7の判断が繰り返し行われる。蓄積期間が終了した場合には、蓄積されていた信号電荷が読み出されるとともに、新しい信号電荷の蓄積が開始され(ステップS9)、再びステップS7の判断が行われる。つまり、次にフラッシュ制御信号の出力が可能となるタイミングまで、同期信号の供給タイミングに基づく信号電荷の蓄積と読み出しが行われるようになる。   If it is determined in step S4 that the flash button has been pressed, the flash control signal generator 110 determines whether or not a flash control signal can be output (step S7). If the output of the flash control signal is impossible, it is determined whether or not the signal charge accumulation period accumulated in the image sensor 102 has ended (step S8). The determination in step S7 is repeated. When the accumulation period ends, the accumulated signal charge is read out, accumulation of new signal charge is started (step S9), and the determination in step S7 is performed again. That is, signal charges are accumulated and read out based on the synchronization signal supply timing until the next timing when the flash control signal can be output.

ステップS7で、フラッシュ制御信号の出力が可能であると判断された場合には、フラッシュ制御信号生成部110でフラッシュ制御信号が生成され、生成されたフラッシュ制御信号が、フラッシュ生成装置200(図1参照)に出力される(ステップS10)。   If it is determined in step S7 that the flash control signal can be output, the flash control signal generation unit 110 generates a flash control signal, and the generated flash control signal is sent to the flash generation device 200 (FIG. 1). (See step S10).

次に、撮像素子102に蓄積されている信号電荷の蓄積期間が終了したか否かが判断され(ステップS11)、終了していない場合には、ステップS11の判断が繰り返し行われる。蓄積期間が終了した場合には、蓄積されていた信号電荷が読み出されるとともに、新たな信号電荷の蓄積が開始される(ステップS12)。   Next, it is determined whether or not the signal charge storage period stored in the image sensor 102 has ended (step S11). If the storage period has not ended, the determination in step S11 is repeated. When the accumulation period ends, the accumulated signal charge is read and accumulation of new signal charge is started (step S12).

そして、フラッシュ制御信号がフラッシュ生成装置200に供給されてからフラッシュ発光所要時間t1が経過したタイミングで、フラッシュ201が発光する(ステップS13)。その後は、撮像素子102に蓄積されている信号電荷の蓄積期間が終了したか否かが判断され(ステップS14)、終了していない場合には、ステップS14の判断が繰り返し行われる。蓄積期間が終了した場合には、蓄積されていた信号電荷が読み出されるとともに、ステップS3に戻って新たな信号電荷の蓄積が開始される。   Then, the flash 201 emits light at the timing when the flash emission required time t1 has elapsed since the flash control signal was supplied to the flash generation device 200 (step S13). Thereafter, it is determined whether or not the accumulation period of the signal charges accumulated in the image sensor 102 has ended (step S14). If not, the determination in step S14 is repeated. When the accumulation period ends, the accumulated signal charges are read out, and the process returns to step S3 to start accumulation of new signal charges.

また、上述した実施の形態によれば、信号電荷の蓄積期間が、フラッシュ201の発光時間tよりも長い期間であるmフレーム期間に設定されるため、フラッシュ201の発光が、信号電荷の読み出し期間にかかりにくくなる。 Further, according to the above-described embodiment, since the signal charge accumulation period is set to the m frame period which is longer than the light emission time t 2 of the flash 201, the light emission of the flash 201 is performed to read out the signal charge. It becomes difficult to take period.

また上述した実施の形態によれば、フラッシュ201の発光を指示するフラッシュ制御信号の出力タイミングが制御されることにより、フラッシュ201の発光が開始されてから終了するまでの間に、撮像素子102からの信号電荷の読み出しが行われなくなる。   Further, according to the above-described embodiment, the output timing of the flash control signal instructing the flash 201 to emit light is controlled, so that the image sensor 102 starts from the start to the end of the flash 201 emission. No signal charge is read out.

また、上述した実施の形態によれば、制御部108によるフラグ値変更処理が行われることにより、フラッシュ201の発光期間に撮像素子102に蓄積された映像信号のみによって構成される静止画像が、記憶部106に記憶されるようになる。これにより、画面の上下で画像の輝度に差が生じてしまうことが無くなる。   Further, according to the above-described embodiment, the flag value changing process by the control unit 108 is performed, so that a still image constituted only by the video signal accumulated in the image sensor 102 during the light emission period of the flash 201 is stored. Stored in the unit 106. This eliminates the difference in image brightness between the top and bottom of the screen.

また、上述した実施の形態によれば、このようにフラッシュ201の発光タイミングの制御を行っている間も、信号電荷の蓄積及び読み出しは、外部の同期信号に同期して行われるようになる。このため、外部の同期信号と同期して撮影を行う必要のある撮像装置においても、フラッシュ201の発光タイミングを最適なタイミングに制御することができる。   Further, according to the above-described embodiment, signal charge accumulation and reading are performed in synchronization with an external synchronization signal while the light emission timing of the flash 201 is controlled as described above. For this reason, even in an imaging apparatus that needs to perform imaging in synchronization with an external synchronization signal, the light emission timing of the flash 201 can be controlled to an optimal timing.

2.変形例
なお、上述した実施の形態では、信号電荷の蓄積動作を常に行う場合を例に挙げたが、フラッシュ発光のタイミングのみ蓄積動作を行うようにしてもよい。この場合の処理の例を、図7を参照して説明する。図7は、本実施の変形例によるフラッシュの発光タイミング制御と信号電荷の蓄積期間調整処理の例を示すフローチャートである。図7において、まず制御部108で、通常の信号電荷蓄積期間とは異なる第2の蓄積期間が設定される(ステップS21)。第2の蓄積期間とは、上述した実施の形態による「2フレーム期間以上のmフレーム期間」に該当する。
2. In the above-described embodiment, the case where the signal charge accumulation operation is always performed has been described as an example. However, the accumulation operation may be performed only at the timing of flash emission. An example of processing in this case will be described with reference to FIG. FIG. 7 is a flowchart showing an example of flash light emission timing control and signal charge accumulation period adjustment processing according to this modification. In FIG. 7, first, the control unit 108 sets a second accumulation period different from the normal signal charge accumulation period (step S21). The second accumulation period corresponds to “m frame period of 2 frame periods or more” according to the above-described embodiment.

本変形例においては、フラッシュ201の発光タイミングにのみ信号電荷の蓄積期間を長く取り、それ以外の区間では、通常通りの1フレーム単位で信号電荷の蓄積及び読み出しを行うものである。以下の説明では、通常の信号電荷の蓄積期間を第1の蓄積期間と称する。   In this modification, the signal charge accumulation period is long only at the light emission timing of the flash 201, and signal charges are accumulated and read out in units of one frame as usual in other sections. In the following description, the normal signal charge accumulation period is referred to as a first accumulation period.

次に、同じく制御部108において、フラッシュ制御信号の出力タイミングが設定される(ステップS22)。そして、ステップS21で設定された蓄積期間に基づいて、撮像素子102での信号電荷の蓄積が開始される(ステップS23)。信号電荷の蓄積及び読み出しは、上述したように、制御部108から供給される同期信号に同期して行われる。   Next, similarly, the output timing of the flash control signal is set in the control unit 108 (step S22). Based on the accumulation period set in step S21, accumulation of signal charges in the image sensor 102 is started (step S23). As described above, the accumulation and reading of the signal charges are performed in synchronization with the synchronization signal supplied from the control unit 108.

次に、フラッシュ制御信号生成部110において、フラッシュボタンが押下されたか否かが判断される(ステップS24)。すなわち、タイミング制御部109(図1参照)からフラッシュ発光指示信号が入力されたか否かが判断される。フラッシュ発光指示信号が入力されていない場合には、第1の蓄積期間が終了したか否かが判断され(ステップS25)、終了していない場合には、ステップS24の判断が繰り返して行われる。蓄積期間が終了した場合、つまり撮像素子制御部111から撮像素子102に対して読み出し指示信号が供給された場合には、撮像素子102に蓄積された信号電荷が読み出され(ステップS26)、ステップS23に戻って信号電荷の蓄積が行われる。つまり、ユーザによりフラッシュボタンが押下されるまでの間は、通常通りの第1の蓄積期間の間、撮像素子102に信号電荷が蓄積され、蓄積期間の終了とともに信号電荷が読み出される処理が継続して行われる。   Next, the flash control signal generator 110 determines whether or not the flash button has been pressed (step S24). That is, it is determined whether or not a flash emission instruction signal is input from the timing control unit 109 (see FIG. 1). If no flash emission instruction signal is input, it is determined whether or not the first accumulation period has ended (step S25). If not, the determination in step S24 is repeated. When the accumulation period ends, that is, when a read instruction signal is supplied from the image sensor control unit 111 to the image sensor 102, the signal charges accumulated in the image sensor 102 are read (step S26), and step Returning to S23, signal charges are accumulated. That is, until the flash button is pressed by the user, the signal charge is accumulated in the image sensor 102 during the normal first accumulation period, and the process of reading the signal charge is continued at the end of the accumulation period. Done.

ステップS24で、フラッシュボタンが押下されたと判断された場合には、フラッシュ制御信号生成部110において、フラッシュ制御信号の出力が可能であるか否かが判断される(ステップS27)。フラッシュ制御信号の出力が不可能であった場合には、撮像素子102に蓄積されている信号電荷の蓄積期間(第1の蓄積期間)が終了したか否かが判断され(ステップS28)、終了していない場合には、ステップS27の判断が繰り返し行われる。蓄積期間が終了した場合には、蓄積されていた信号電荷が読み出されるとともに、新しい信号電荷の蓄積が開始され(ステップS29)、再びステップS27の判断が行われる。つまり、次にフラッシュ制御信号の出力が可能となるタイミングまで、同期信号の供給タイミングに基づく信号電荷の蓄積と読み出しが行われるようになる。   If it is determined in step S24 that the flash button has been pressed, the flash control signal generator 110 determines whether or not a flash control signal can be output (step S27). If the flash control signal cannot be output, it is determined whether or not the signal charge accumulation period (first accumulation period) accumulated in the image sensor 102 has ended (step S28). If not, the determination in step S27 is repeated. When the accumulation period ends, the accumulated signal charge is read out, and accumulation of new signal charge is started (step S29), and the determination in step S27 is performed again. That is, signal charges are accumulated and read out based on the synchronization signal supply timing until the next timing when the flash control signal can be output.

ステップS27で、フラッシュ制御信号の出力が可能であると判断された場合には、フラッシュ制御信号生成部110でフラッシュ制御信号が生成され、生成されたフラッシュ制御信号が、フラッシュ生成装置200(図1参照)に出力される(ステップS30)。   If it is determined in step S27 that the flash control signal can be output, the flash control signal generation unit 110 generates a flash control signal, and the generated flash control signal is transmitted to the flash generation device 200 (FIG. 1). (See step S30).

次に、撮像素子102に蓄積されている信号電荷の第1の蓄積期間が終了したか否かが判断され(ステップS31)、終了していない場合には、ステップS31の判断が繰り返し行われる。蓄積期間が終了した場合には、蓄積されていた信号電荷が読み出されるとともに、第2の蓄積期間で新たな信号電荷の蓄積が開始される(ステップS32)。   Next, it is determined whether or not the first accumulation period of signal charges accumulated in the image sensor 102 has ended (step S31). If not, the determination in step S31 is repeated. When the accumulation period ends, the accumulated signal charge is read out, and accumulation of a new signal charge is started in the second accumulation period (step S32).

そして、フラッシュ制御信号がフラッシュ生成装置200に供給されてからフラッシュ発光所要時間t1が経過したタイミングで、フラッシュ201が発光する(ステップS33)。その後は、撮像素子102に蓄積されている信号電荷の第2の蓄積期間が終了したか否かが判断され(ステップS34)、終了していない場合には、ステップS34の判断が繰り返し行われる。蓄積期間が終了した場合には、蓄積されていた信号電荷が読み出されるとともに、ステップS33に戻って新たな信号電荷の蓄積が開始される。   Then, the flash 201 emits light at the timing when the flash emission required time t1 has elapsed since the flash control signal was supplied to the flash generation device 200 (step S33). Thereafter, it is determined whether or not the second accumulation period of the signal charges accumulated in the image sensor 102 has ended (step S34). If not, the determination in step S34 is repeated. When the accumulation period ends, the accumulated signal charges are read out, and the process returns to step S33 to start accumulation of new signal charges.

図7にその処理を示した変形例においては、フラッシュ201の発光タイミング以外の区間ではmフレームの蓄積動作は行われず、通常の周期での信号電荷の蓄積及び読み出しが行われる。このため、フラッシュ201の発光タイミング以外の区間では、連続した動画像が撮影され、記憶部106に記憶されるようになる。   In the modified example whose processing is shown in FIG. 7, the accumulation operation of m frames is not performed in the section other than the light emission timing of the flash 201, and the signal charge is accumulated and read out in a normal cycle. For this reason, in a section other than the light emission timing of the flash 201, continuous moving images are captured and stored in the storage unit 106.

上述した実施形態例における一連の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムを、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにプログラムをインストールして実行させる。   The series of processes in the above-described exemplary embodiment can be executed by hardware, but can also be executed by software. When a series of processing is executed by software, the program constituting the software is installed and executed on a computer incorporated in dedicated hardware, a general-purpose personal computer, or the like.

また、本明細書において、ソフトウェアを構成するプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。   Further, in this specification, the step of describing the program constituting the software is not limited to the processing performed in time series according to the described order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.

本発明の一実施の形態によるシステムの内部構成例を示すブロック図である。It is a block diagram which shows the example of an internal structure of the system by one embodiment of this invention. 本発明の一実施の形態による撮像装置の内部構成例を示すブロック図である。1 is a block diagram illustrating an example of an internal configuration of an imaging apparatus according to an embodiment of the present invention. 本発明の一実施の形態による各列信号線Vでの信号電荷蓄積期間のずれの例を示す説明図である。It is explanatory drawing which shows the example of the shift | offset | difference of the signal charge storage period in each column signal line V by one embodiment of this invention. 本発明の一実施の形態による、フレームレートが60iの場合の、制御部におけるフラッシュ制御信号の出力タイミングと信号電荷の蓄積期間の設定例を示す説明図である。It is explanatory drawing which shows the example of a setting of the output timing of the flash control signal in a control part, and the accumulation period of a signal charge in case the frame rate is 60i by one embodiment of this invention. 本発明の一実施の形態による、フレームレートが30Pの場合の、制御部におけるフラッシュ制御信号の出力タイミングと信号電荷の蓄積期間の設定例を示す説明図である。It is explanatory drawing which shows the example of a setting of the output timing of the flash control signal in a control part, and the accumulation period of a signal charge in case the frame rate is 30P by one embodiment of this invention. 本発明の一実施の形態によるフラッシュの発光タイミング制御と信号電荷の蓄積期間調整処理の例を示すフローチャートである。4 is a flowchart showing an example of flash light emission timing control and signal charge accumulation period adjustment processing according to an embodiment of the present invention. 本発明の他の実施例によるフラッシュの発光タイミング制御と信号電荷の蓄積期間調整処理の例を示すフローチャートである。6 is a flowchart showing an example of flash light emission timing control and signal charge accumulation period adjustment processing according to another embodiment of the present invention. 従来の撮影方法による画面の上下で輝度が異なる場合の例を示す説明図である。It is explanatory drawing which shows the example in case a brightness | luminance differs by the upper and lower sides of the screen by the conventional imaging | photography method.

符号の説明Explanation of symbols

20…画素、21…光電変換素子、22…アンプ、23…スイッチ、30…垂直走査回路、40…水平走査回路、100…撮像装置、101…レンズ、102…撮像素子、103…信号処理部、104…映像信号出力部、105…記憶制御部、106…記憶部、107…操作入力部、108…制御部、109…タイミング制御部、110…フラッシュ制御信号生成部、111…撮像素子制御部、200…フラッシュ生成装置、201…フラッシュ、202…フラッシュ制御部、H…行選択線、Rn,n-1,n-2…読み出し指示信号出力タイミング、T…フラッシュ発光開始時点、T…フラッシュ発光終了時点、V…列信号線、t、フラッシュ発光所要時間、t2…発光時間 DESCRIPTION OF SYMBOLS 20 ... Pixel, 21 ... Photoelectric conversion element, 22 ... Amplifier, 23 ... Switch, 30 ... Vertical scanning circuit, 40 ... Horizontal scanning circuit, 100 ... Imaging device, 101 ... Lens, 102 ... Imaging device, 103 ... Signal processing part, 104 ... Video signal output unit, 105 ... Storage control unit, 106 ... Storage unit, 107 ... Operation input unit, 108 ... Control unit, 109 ... Timing control unit, 110 ... Flash control signal generation unit, 111 ... Image sensor control unit, 200 ... flash generating device, 201 ... flash, 202 ... flash controller, H ... row selection lines, R n, R n-1 , R n-2 ... read instruction signal output timing, T 1 ... flash emission start time, T 2 ... flash end, V ... column signal line, t 1, flash duration, t2 ... emission time

Claims (6)

被写体光を光電変換して得た信号電荷を蓄積する光電変換素子が、行方向及び列方向に配置されてなる撮像素子と、
入力される同期信号に同期して、前記蓄積された信号電荷を出力させるための読み出し指示信号を前記撮像素子に供給する撮像素子制御部と、
フラッシュを発光させるフラッシュ発光指示の入力を受け付ける操作入力部と、
前記撮像素子制御部での前記読み出し指示信号の出力間隔として、2フレーム期間以上の所定の間隔を設定するとともに、第1の読み出し指示信号による前記信号電荷の読み出し完了後から次の第2の読み出し指示信号入力までの期間内に、前記フラッシュの発光開始から終了までの期間が含まれるように、前記フラッシュを発光させるためのフラッシュ制御信号の出力タイミングを設定する制御部と、
前記操作入力部からのフラッシュ発光指示入力と前記制御部で設定された出力タイミングに基づいて、前記フラッシュにフラッシュ制御信号を供給するとともに、前記制御部で設定された所定の間隔で、前記撮像素子制御部に前記読み出し指示信号を出力させるための読み出し制御信号を供給するタイミング制御部とを備えた、
撮像装置。
An image sensor in which photoelectric conversion elements that accumulate signal charges obtained by photoelectrically converting subject light are arranged in a row direction and a column direction;
An image sensor control unit for supplying a read instruction signal for outputting the accumulated signal charge to the image sensor in synchronization with an input synchronization signal;
An operation input unit for receiving an input of a flash firing instruction for causing the flash to fire;
A predetermined interval of two frame periods or more is set as an output interval of the readout instruction signal in the image sensor control unit, and the next second readout is performed after the readout of the signal charge by the first readout instruction signal is completed. A control unit that sets an output timing of a flash control signal for causing the flash to emit light so that a period from the start to the end of the flash emission is included in the period until the instruction signal is input;
Based on a flash emission instruction input from the operation input unit and an output timing set by the control unit, a flash control signal is supplied to the flash, and at a predetermined interval set by the control unit, the image sensor A timing control unit for supplying a read control signal for causing the control unit to output the read instruction signal;
Imaging device.
前記読み出し指示信号の出力間隔としての前記所定の間隔は、前記フラッシュの発光が開始してから前記発光が終了するまでの時間よりも長い時間に設定される
請求項1記載の撮像装置。
The imaging apparatus according to claim 1, wherein the predetermined interval as the output interval of the read instruction signal is set to a time longer than a time from the start of the flash emission to the end of the emission.
前記制御部による、前記フラッシュ制御信号の出力タイミングの設定は、前記フラッシュを発光させるフラッシュ制御信号を出力してから実際に前記フラッシュが発光されるまでの所要時間と、前記フラッシュの発光期間と、前記読み出し指示信号の出力間隔とに基づいて設定される
請求項2記載の撮像装置。
The setting of the output timing of the flash control signal by the control unit is the time required from the output of the flash control signal for emitting the flash to the actual flash emission, the flash emission period, The imaging apparatus according to claim 2, wherein the imaging apparatus is set based on an output interval of the readout instruction signal.
前記タイミング制御部における、前記2フレーム期間以上の所定の間隔での前記読み出し制御信号の供給は、前記操作入力部に前記フラッシュ発光指示が入力された場合にのみ行われる
請求項3記載の撮像装置。
The imaging apparatus according to claim 3, wherein the timing control unit supplies the readout control signal at a predetermined interval of two frame periods or more only when the flash emission instruction is input to the operation input unit. .
前記撮像素子から出力された信号電荷を映像信号に変換する信号処理部と、
前記信号処理部で生成された映像信号を記憶部に記憶する制御を行う記憶制御部とを備え、
前記制御部は、前記フラッシュの発光中に蓄積された信号電荷に基づいて生成された映像信号において、前記フラッシュの発光があったことを示すフラグをオンにし、
前記記憶制御部は、前記フラグがオンにされた映像信号を、静止画像として前記記憶部に蓄積する制御を行う
請求項3記載の撮像装置。
A signal processing unit for converting the signal charge output from the image sensor into a video signal;
A storage control unit that performs control to store the video signal generated by the signal processing unit in a storage unit,
The control unit turns on a flag indicating that the flash has been emitted in the video signal generated based on the signal charge accumulated during the flash emission,
The imaging apparatus according to claim 3, wherein the storage control unit performs control to accumulate the video signal with the flag turned on as a still image in the storage unit.
行方向及び列方向に配置された各光電変換素子が、被写体光を光電変換して得た信号電荷を蓄積するステップと、
前記蓄積された信号電荷の読み出しを指示する読み出し指示信号の出力間隔として、2フレーム期間以上の所定の間隔を設定するとともに、第1の読み出し指示信号による前記信号電荷の読み出し完了後から次の第2の読み出し指示信号入力までの期間内に、フラッシュが発光を開始してから終了するまでの期間が含まれるように、前記フラッシュを発光させるためのフラッシュ制御信号の出力タイミングを設定するステップと、
入力される同期信号に同期して、かつ前記設定された所定の間隔で、前記読み出し指示信号を前記撮像素子に供給するステップと、
前記フラッシュを発光させるフラッシュ発光指示の入力を受け付けるステップと、
前記入力されたフラッシュ発光指示と、前記設定されたフラッシュ制御信号の出力タイミングに基づいて、前記フラッシュにフラッシュ制御信号を供給するステップとを含む
撮像方法。
Each photoelectric conversion element arranged in the row direction and the column direction accumulates signal charges obtained by photoelectrically converting subject light; and
A predetermined interval of two frame periods or more is set as an output interval of a read instruction signal instructing reading of the accumulated signal charge, and after the completion of reading of the signal charge by the first read instruction signal, Setting the output timing of the flash control signal for causing the flash to emit so that the period from the start of the flash emission to the end thereof is included in the period until the read instruction signal input of 2;
Supplying the readout instruction signal to the image sensor in synchronization with an input synchronization signal and at the set predetermined interval;
Receiving an input of a flash emission instruction for causing the flash to emit;
An imaging method, comprising: supplying the flash control signal to the flash based on the input flash emission instruction and the set output timing of the flash control signal.
JP2008264332A 2008-10-10 2008-10-10 Moving image imaging apparatus and imaging method Expired - Fee Related JP4883073B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008264332A JP4883073B2 (en) 2008-10-10 2008-10-10 Moving image imaging apparatus and imaging method
US12/574,754 US8248520B2 (en) 2008-10-10 2009-10-07 Imaging apparatus and imaging method
CN2009101793669A CN101729782B (en) 2008-10-10 2009-10-10 Imaging apparatus and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008264332A JP4883073B2 (en) 2008-10-10 2008-10-10 Moving image imaging apparatus and imaging method

Publications (2)

Publication Number Publication Date
JP2010093729A true JP2010093729A (en) 2010-04-22
JP4883073B2 JP4883073B2 (en) 2012-02-22

Family

ID=42098516

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008264332A Expired - Fee Related JP4883073B2 (en) 2008-10-10 2008-10-10 Moving image imaging apparatus and imaging method

Country Status (3)

Country Link
US (1) US8248520B2 (en)
JP (1) JP4883073B2 (en)
CN (1) CN101729782B (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015004975A1 (en) * 2013-07-09 2015-01-15 オリンパスメディカルシステムズ株式会社 Image capture system
WO2017099517A1 (en) 2015-12-11 2017-06-15 삼성전자 주식회사 Imaging device and operation method for imaging device

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011244253A (en) * 2010-05-19 2011-12-01 Nikon Corp Imaging apparatus
KR101739380B1 (en) * 2011-04-11 2017-06-08 삼성전자주식회사 Digital image photographing apparatus and method for controlling the same
CN102761699A (en) * 2011-04-28 2012-10-31 泰沂科技股份有限公司 Method and device for synchronously projecting lamplight when camera device captures images
JP5811710B2 (en) * 2011-09-07 2015-11-11 ソニー株式会社 Imaging system and control method thereof
CN104243838B (en) * 2014-09-10 2018-01-16 广东欧珀移动通信有限公司 A kind of photographic method and device based on flash lamp

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001249396A (en) * 2000-03-02 2001-09-14 Olympus Optical Co Ltd Camera used concurrently for silver halide photography and electronic image pickup
JP2008079136A (en) * 2006-09-22 2008-04-03 Canon Inc Imaging device and its control method, program, and storage medium
JP2009124260A (en) * 2007-11-12 2009-06-04 Ricoh Co Ltd Imaging apparatus

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100189814B1 (en) * 1996-01-23 1999-06-01 이해규 Flash control method for an interline type ccd camera
JP4217342B2 (en) 1999-05-25 2009-01-28 オリンパス株式会社 Electronic camera and strobe device
JP3860367B2 (en) * 1999-09-14 2006-12-20 富士フイルムホールディングス株式会社 Imaging device
JP4447804B2 (en) 2001-06-01 2010-04-07 キヤノン株式会社 Image processing apparatus, image processing system, image processing method, storage medium, and program
JP2003174586A (en) * 2001-12-07 2003-06-20 Seiko Precision Inc Image pickup device and portable electronic appliance
JP2004147278A (en) 2001-12-28 2004-05-20 Fuji Photo Film Co Ltd Solid-state electronic imaging device and its driving method
CN1169352C (en) * 2001-12-28 2004-09-29 富士胶片株式会社 Solid electronic image inductor and control method thereof
JP2004056713A (en) * 2002-07-24 2004-02-19 Sharp Corp Portable device with photographing unit and exposure adjustment device
JP4574185B2 (en) * 2004-02-17 2010-11-04 キヤノン株式会社 Image pickup apparatus and flash device control method
JP4603836B2 (en) * 2004-08-31 2010-12-22 キヤノン株式会社 Imaging apparatus, control method therefor, program, and recording medium
JP2006352723A (en) * 2005-06-20 2006-12-28 Eastman Kodak Co Imaging apparatus, imaging system and synchronizing method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001249396A (en) * 2000-03-02 2001-09-14 Olympus Optical Co Ltd Camera used concurrently for silver halide photography and electronic image pickup
JP2008079136A (en) * 2006-09-22 2008-04-03 Canon Inc Imaging device and its control method, program, and storage medium
JP2009124260A (en) * 2007-11-12 2009-06-04 Ricoh Co Ltd Imaging apparatus

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015004975A1 (en) * 2013-07-09 2015-01-15 オリンパスメディカルシステムズ株式会社 Image capture system
US9962068B2 (en) 2013-07-09 2018-05-08 Olympus Corporation Image pickup system and control method of image pickup system
WO2017099517A1 (en) 2015-12-11 2017-06-15 삼성전자 주식회사 Imaging device and operation method for imaging device

Also Published As

Publication number Publication date
US20100091177A1 (en) 2010-04-15
CN101729782A (en) 2010-06-09
CN101729782B (en) 2012-08-22
US8248520B2 (en) 2012-08-21
JP4883073B2 (en) 2012-02-22

Similar Documents

Publication Publication Date Title
JP4789767B2 (en) Imaging apparatus and control method thereof
JP4587185B2 (en) IMAGING SYSTEM AND IMAGING DEVICE CONTROL METHOD
JP4883073B2 (en) Moving image imaging apparatus and imaging method
JP2007318581A (en) Imaging apparatus, photographing auxiliary light source emitting/imaging control method, and photographing auxiliary light source emitting/imaging control program
JP2010074313A (en) Imaging apparatus and method for controlling the same
JP2010062638A (en) Image capturing apparatus
JP2014143666A (en) Imaging device, imaging apparatus, control method of the same and control program
JP2012147187A (en) Imaging apparatus
JP2007300368A (en) Solid-state imaging device
JP4540650B2 (en) Imaging device
JP2020036073A (en) Imaging device and control method thereof
JP7292962B2 (en) Imaging device and its control method
JP5147652B2 (en) Imaging apparatus, control method thereof, and program
JP7277251B2 (en) Imaging device and its control method
JP2011182321A (en) Solid-state imaging apparatus, driving method and imaging apparatus
JP2020170985A (en) Imaging apparatus and control method thereof
US11974058B2 (en) Image capturing apparatus and control method thereof
US11595571B2 (en) Control apparatus, control method, image capturing apparatus, and image capturing system
US11496683B2 (en) Image capturing apparatus and control method thereof, and image capturing system
JP2014057196A (en) Imaging apparatus
JP2005260993A (en) Imaging apparatus and its signal processing method
JP4719566B2 (en) Imaging apparatus and processing method thereof
JP5412152B2 (en) Imaging method and imaging apparatus
JP2014155112A (en) Imaging apparatus and control method therefor
JP4898637B2 (en) Imaging apparatus and control method thereof

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100927

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110816

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111108

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111121

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees