JP2009260853A - Digital imaging equipment - Google Patents

Digital imaging equipment Download PDF

Info

Publication number
JP2009260853A
JP2009260853A JP2008109675A JP2008109675A JP2009260853A JP 2009260853 A JP2009260853 A JP 2009260853A JP 2008109675 A JP2008109675 A JP 2008109675A JP 2008109675 A JP2008109675 A JP 2008109675A JP 2009260853 A JP2009260853 A JP 2009260853A
Authority
JP
Japan
Prior art keywords
white balance
balance adjustment
image data
value
detection device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008109675A
Other languages
Japanese (ja)
Other versions
JP5012635B2 (en
Inventor
Nobuhiro Fujinawa
展宏 藤縄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2008109675A priority Critical patent/JP5012635B2/en
Publication of JP2009260853A publication Critical patent/JP2009260853A/en
Application granted granted Critical
Publication of JP5012635B2 publication Critical patent/JP5012635B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide digital imaging equipment for restraining power consumption by the actuation of a position detector used for determining a white balance adjustment value. <P>SOLUTION: A digital camera 1 has an imaging section 30, a position detector 19, and an entire control section (white balance adjustment section) 7 for adjusting white balance in image data outputted from the imaging section 30. The entire control section 7 actuates the position detector 19 only when it is difficult to determine whether the image data has been captured outdoors or indoors in the white balance adjustment of the image data, determines that the image data has been captured outdoors when radio waves can be received, and determines that the image data has been captured indoors and adjusts white balance in the image data when radio waves cannot be received even after a prescribed time. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、デジタル撮像機器に関する。   The present invention relates to a digital imaging device.

デジタルカメラやデジタルビデオカメラなどのデジタル撮像機器では、白い物体を白い物体として撮像記録することができるよう、照明光の色温度に合わせて、カラー(RGB)信号のゲインを調整するホワイトバランス調整(WBC)が行われる。このようなホワイトバランス調整は、時刻や場所等の照明条件に影響され易いため、同じ被写体でも照明条件によって異なる色に撮像記録されてしまうことがある。そのため、GPS(Global Positioning System)に代表される位置検出装置から得たデジタル撮像機器の位置を利用してホワイトバランス調整する撮像機器が開発されている(例えば、特許文献1参照)。
特開2005−328271号公報
In digital imaging devices such as digital cameras and digital video cameras, white balance adjustment (adjusting the gain of the color (RGB) signal according to the color temperature of the illumination light so that white objects can be captured and recorded as white objects) WBC) is performed. Since such white balance adjustment is easily affected by illumination conditions such as time and place, the same subject may be captured and recorded in different colors depending on the illumination conditions. For this reason, an imaging device that adjusts the white balance by using the position of a digital imaging device obtained from a position detection device typified by GPS (Global Positioning System) has been developed (see, for example, Patent Document 1).
JP 2005-328271 A

しかしながら、ホワイトバランス調整をするために位置検出装置で測位を行うと、測位動作のために電力が消費されるという課題があった。   However, when positioning is performed by the position detection device for white balance adjustment, there is a problem that power is consumed for positioning operation.

本発明はこのような課題に鑑みてなされたものであり、撮像された画像データのホワイトバランス調整において、この画像データが屋外で撮像されたものか屋内で撮像されたものかの判断が困難でホワイトバランス調整値が決定できないときにだけ位置検出装置を作動させて判断するように構成されたデジタル撮像機器を提供することを目的とする。   The present invention has been made in view of such problems, and in white balance adjustment of captured image data, it is difficult to determine whether the image data is captured outdoors or captured indoors. It is an object of the present invention to provide a digital imaging device configured to operate and make a determination only when a white balance adjustment value cannot be determined.

前記課題を解決するために、本発明に係るデジタル撮像機器は、撮像部と、衛星からの電波を受信して現在位置を測位する位置検出装置と、撮像部から出力された画像データから算出したホワイトバランス調整値からは、この画像データが屋外で撮像されたものか屋内で撮像されたものかの判断が困難であるときに、位置検出装置を作動させ、電波が受信できたときはホワイトバランス調整値を画像データが屋外で撮影されたときの値に修正し、所定の時間が経過しても電波が受信できないときはホワイトバランス調整値を画像データが屋内で撮影されたときの値に修正して、修正されたホワイトバランス調整値により画像データのホワイトバランス調整を行うホワイトバランス調整部と、を有する。   In order to solve the above problems, a digital imaging device according to the present invention is calculated from an imaging unit, a position detection device that receives a radio wave from a satellite and measures a current position, and image data output from the imaging unit. The white balance adjustment value activates the position detection device when it is difficult to determine whether this image data was taken outdoors or indoors. Adjust the adjustment value to the value when the image data was taken outdoors, and if the radio wave cannot be received after a specified time, the white balance adjustment value was corrected to the value when the image data was taken indoors. And a white balance adjustment unit that adjusts the white balance of the image data using the corrected white balance adjustment value.

このようなデジタル撮像機器において、ホワイトバランス調整部は、位置検出装置を作動させてホワイトバランス調整値を修正した後に、位置検出装置の作動を停止することが好ましい。このとき、ホワイトバランス調整部は、位置検出装置により、電波が受信できたときに、現在位置の測位をせずに位置検出装置の作動を停止することが好ましい。   In such a digital imaging device, it is preferable that the white balance adjustment unit stops the operation of the position detection device after the position detection device is operated to correct the white balance adjustment value. At this time, it is preferable that the white balance adjustment unit stops the operation of the position detecting device without measuring the current position when the position detecting device can receive the radio wave.

また、このようなデジタル撮像機器は、位置検出装置による測位情報を記憶する記憶部を有し、ホワイトバランス調整部は、位置検出装置を作動させて電波の受信を行ったときに、当該位置検出装置が作動された時刻及び電波が受信できたか否かを測位情報として記憶部に記憶するとともに、画像データのホワイトバランス調整値の算出において、この画像データが屋外で撮像されたものか屋内で撮像されたものかの判断が困難であるときに、現在時刻より前の所定の時間内に測位された測位情報が記憶部に記憶されているか否かを判断し、測位情報が記憶部に記憶されているときは、当該測位情報により画像データが屋外で撮像されたのか屋内で撮像されたのかを判断してホワイトバランス調整値を修正し、測位情報が記憶部に記憶されていないときは、位置検出装置を作動させて電波の受信の可否により画像データが屋外で撮像されたのか屋内で撮像されたのかを判断してホワイトバランス調整値を修正して、修正されたホワイトバランス調整値により画像データのホワイトバランス調整を行うことが好ましい。   Also, such a digital imaging device has a storage unit that stores positioning information from the position detection device, and the white balance adjustment unit detects the position when the position detection device is operated to receive radio waves. The time when the device was activated and whether or not radio waves could be received are stored in the storage unit as positioning information, and when calculating the white balance adjustment value of the image data, the image data was taken outdoors or taken indoors When it is difficult to determine whether it has been performed, it is determined whether or not the positioning information measured within a predetermined time before the current time is stored in the storage unit, and the positioning information is stored in the storage unit. If the image data is taken outdoors or indoors according to the positioning information, the white balance adjustment value is corrected, and the positioning information is stored in the storage unit. If not, operate the position detection device to determine whether the image data was taken outdoors or indoors depending on whether radio waves can be received, and correct the white balance adjustment value to correct the corrected white balance. It is preferable to adjust the white balance of the image data using the adjustment value.

あるいは、このようなデジタル撮像機器は、画像データから算出されたホワイトバランス調整値である直接値と、画像データが屋外で撮像されたのか屋内で撮像されたのかを判断した結果により修正されたホワイトバランス調整値である修正値とを対応付けて記憶する記憶部を有し、ホワイトバランス調整部は、位置検出装置を作動させて電波の受信を行ったときに、直接値と修正値とを対応付けて記憶部に記憶するとともに、画像データのホワイトバランス調整値の算出において、画像データから算出されたホワイトバランス調整値と、同一か若しくは近似する直接値が記憶部に記憶されているか否かを判断し、直接値が記憶されているときは、この直接値に対応する修正値を読み出して当該修正値により画像データのホワイトバランス調整を行い、直接値が記憶されていないときは、位置検出装置を作動させて電波の受信の可否により画像データが屋外で撮像されたのか屋内で撮像されたのかを判断してホワイトバランス調整値を修正して、修正されたホワイトバランス調整値により画像データのホワイトバランス調整を行うことが好ましい。   Alternatively, such a digital imaging device has a white value corrected based on a direct value that is a white balance adjustment value calculated from image data and a result of determining whether the image data is captured outdoors or indoors. It has a storage unit that stores the correction value, which is a balance adjustment value, in association with each other, and the white balance adjustment unit correlates the direct value with the correction value when the position detection device is operated to receive radio waves. In addition, in the calculation of the white balance adjustment value of the image data, whether or not a direct value that is the same as or approximate to the white balance adjustment value calculated from the image data is stored in the storage unit. When the direct value is stored, the correction value corresponding to the direct value is read out, and the white balance adjustment of the image data is performed based on the correction value. If the value is not directly stored, activate the position detection device to determine whether the image data was taken outdoors or indoors depending on whether radio waves can be received. It is preferable to perform correction and perform white balance adjustment of the image data with the corrected white balance adjustment value.

本発明に係るデジタル撮像機器を以上のように構成すると、画像データが屋外で撮像されたものか屋内で撮像されたものかの判断が困難でホワイトバランス調整値が決定できないときにだけ位置検出装置を作動させるので、このデジタル撮像機器における電力消費を抑制することができる。   When the digital imaging device according to the present invention is configured as described above, it is difficult to determine whether the image data is taken outdoors or taken indoors, and it is difficult to determine the white balance adjustment value. Therefore, power consumption in this digital imaging device can be suppressed.

以下、本発明の好ましい実施形態について図面を参照して説明する。まず、図1を用いてデジタル撮像機器の一例である測位機能を備えたデジタルカメラ1の構成について説明する。このデジタルカメラ1は、レンズ2、CCD若しくはC−MOS等で構成される撮像素子3、A/D変換回路4、及び、補正回路5からなる撮像部30と、バッファメモリ6と、このデジタルカメラ1全体の作動制御を行う全体制御部7と、操作部8と、VRAM等から構成される表示画像作成回路9と、LCD等で構成されるモニタ10と、を有して構成される。   Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. First, the configuration of a digital camera 1 having a positioning function, which is an example of a digital imaging device, will be described with reference to FIG. This digital camera 1 includes a lens 2, an image pickup device 3 composed of a CCD, a C-MOS, or the like, an A / D conversion circuit 4, an image pickup unit 30 including a correction circuit 5, a buffer memory 6, and the digital camera. 1 is configured to include an overall control unit 7 that performs overall operation control, an operation unit 8, a display image creation circuit 9 that includes a VRAM and the like, and a monitor 10 that includes an LCD and the like.

このデジタルカメラ1において、操作部(例えばレリーズボタン)8が操作されると、全体制御部7は、撮像素子3を制御して、レンズ2によりこの撮像素子3上に結像されている被写体の像を検出して電子信号に変換する。そして、全体制御部7は、撮像素子7から出力された電気信号をA/D変換器2でデジタル信号に変換し、さらに、補正回路5によりこのデジタル信号に対して輪郭補償、γ補正等の画像処理を行い、画像データとして一旦バッファメモリ6に格納する(この画像データを「画像処理後の画像データ」と呼ぶ)。そして、全体制御部7は、このバッファメモリ6に格納されている画像処理後の画像データからホワイトバランス調整値を求めてホワイトバランス調整を行い、再度バッファメモリ6に格納する(この画像データを「WBC後の画像データ」と呼ぶ)。さらに、全体制御部7は、バッファメモリ6に格納されているWBC後の画像データに対してJPEG圧縮のためのフォーマット処理(画像後処理)が行い、その後、この画像データはバッファメモリ6に一時的に格納される(この画像データを「フォーマット処理後の画像データ」と呼ぶ)。そして、バッファメモリ6に格納されているフォーマット処理後の画像データは、表示画像作成回路9により表示用の画像データに処理され、モニタ10に撮影結果として表示される。   In the digital camera 1, when an operation unit (for example, a release button) 8 is operated, the overall control unit 7 controls the image sensor 3 and the object imaged on the image sensor 3 by the lens 2. An image is detected and converted into an electronic signal. Then, the overall control unit 7 converts the electrical signal output from the image sensor 7 into a digital signal by the A / D converter 2, and further performs contour compensation, γ correction, etc. on the digital signal by the correction circuit 5. Image processing is performed, and the image data is temporarily stored in the buffer memory 6 (this image data is referred to as “image data after image processing”). Then, the overall control unit 7 obtains a white balance adjustment value from the image data after image processing stored in the buffer memory 6, performs white balance adjustment, and stores it again in the buffer memory 6 (this image data is stored in “ This is called “image data after WBC”). Further, the overall control unit 7 performs format processing (image post-processing) for JPEG compression on the post-WBC image data stored in the buffer memory 6, and then the image data is temporarily stored in the buffer memory 6. (This image data is referred to as “image data after formatting”). Then, the formatted image data stored in the buffer memory 6 is processed into display image data by the display image creating circuit 9 and displayed on the monitor 10 as a photographing result.

このデジタルカメラ1には、全体制御部7に接続され、フラッシュメモリ等で構成される内蔵メモリ11やカードインタフェース12を介してこのデジタルカメラ1に着脱可能なメモリカード13を有しており、バッファメモリ6に記憶されているフォーマット処理後の画像データは、これらの内蔵メモリ11やメモリカード13に格納される。また、被写体の画像を撮影するときに、被写体を照明するための閃光装置(フラッシュ)14が設けられており、その閃光動作は全体制御部7により制御される。また、アンプ15を介してスピーカ16から音声を出力したり、外部インタフェース17を介してバッファメモリ6に格納されているフォーマット処理後の画像データを外部のモニタ装置に出力したり、プリンタに印刷することが可能である。さらに、このデジタルカメラ1は、アンテナ18を介して衛星からの電波を受信して現在位置を計測可能な位置検出装置(GPSモジュール)19が設けられており、その作動は全体制御部7により制御される。なお、このデジタルカメラ1は、上述の各部に対して内蔵されている電池(乾電池や二次電池等)20から電力が供給されて作動するように構成されている。   This digital camera 1 has a built-in memory 11 constituted by a flash memory or the like and a memory card 13 that can be attached to and detached from the digital camera 1 via a card interface 12 and is connected to the overall control unit 7. The formatted image data stored in the memory 6 is stored in the built-in memory 11 or the memory card 13. In addition, a flash device (flash) 14 is provided for illuminating the subject when taking an image of the subject, and the flashing operation is controlled by the overall control unit 7. In addition, audio is output from the speaker 16 via the amplifier 15, the formatted image data stored in the buffer memory 6 is output to the external monitor device via the external interface 17, or printed on a printer. It is possible. Further, the digital camera 1 is provided with a position detection device (GPS module) 19 that can receive a radio wave from a satellite via an antenna 18 and measure a current position, and its operation is controlled by the overall control unit 7. Is done. The digital camera 1 is configured to operate with power supplied from a battery (dry battery, secondary battery, or the like) 20 built in each of the above-described units.

それでは、このようなデジタルカメラ1におけるホワイトバランス調整部である全体制御部7が、位置検出装置19を用いて最適なホワイトバランス調整を行う方法について3つの実施例に基づいて説明する。なお、上述のデジタルカメラ1で実行されるホワイトバランス調整において、ホワイトバランス調整値としては、例えば焦点検出領域として使用した512×512の領域の画像データを抽出し、この領域の画像データから求められたR信号用のホワイトバランス調整ゲインとB信号用のホワイトバランス調整ゲインとから構成され、撮影した被写体の画像処理後の画像データに基づいて画面を平均的に白くするように、すなわち、画面の平均的色温度を白に近づけるようにこのホワイトバランス調整値に基づいてホワイトバランス調整が行われる(いわゆる「オートホワイトバランス調整」と呼ばれる方式である)。   Now, a method in which the overall control unit 7 which is a white balance adjustment unit in the digital camera 1 performs the optimum white balance adjustment using the position detection device 19 will be described based on three examples. In the white balance adjustment executed by the digital camera 1 described above, as the white balance adjustment value, for example, image data of a 512 × 512 region used as a focus detection region is extracted and obtained from the image data of this region. The white balance adjustment gain for the R signal and the white balance adjustment gain for the B signal so that the screen is whitened on the average based on the image data of the photographed subject after image processing. White balance adjustment is performed based on this white balance adjustment value so that the average color temperature approaches white (this is a so-called “auto white balance adjustment”).

[第1実施例]
上述のように、撮像素子3から出力される被写体の像の電気信号は、デジタル信号に変換されて輪郭補償、γ補正等の画像処理が行われた後、ホワイトバランスの調整が行われる。このとき、図2に示すように、全体制御部7は、まず、バッファメモリ6に記憶されている画像処理後の画像データ(以下、単に「画像データ」と呼ぶ)からホワイトバランス調整値を算出する(ステップS100)。ところで、オートホワイトバランス調整において、緑色が多く含まれる画像データは、屋外の芝生による緑色なのか、屋内蛍光灯の輝線の影響なのかの判断が難しく、ホワイトバランス調整がうまく行かない場合がある。同様に、オレンジ色が多く含まれる画像データは、夕焼けのオレンジ色なのか、屋内電球照明の影響なのかの判断が難しい。そこで、ステップS100でホワイトバランス調整値を算出した結果から、画像データが屋外で撮影されたのか、屋内で撮影されたのかの判断が困難な条件に該当するかを判定する(ステップS110)。
[First embodiment]
As described above, the electrical signal of the subject image output from the image sensor 3 is converted into a digital signal and subjected to image processing such as contour compensation and γ correction, and then white balance is adjusted. At this time, as shown in FIG. 2, the overall control unit 7 first calculates a white balance adjustment value from image data after image processing (hereinafter simply referred to as “image data”) stored in the buffer memory 6. (Step S100). By the way, in auto white balance adjustment, it is difficult to determine whether image data containing a large amount of green is green due to an outdoor lawn or the influence of bright lines of an indoor fluorescent lamp, and white balance adjustment may not be successful. Similarly, it is difficult to determine whether image data containing a lot of orange is orange in the sunset or the influence of indoor light bulb illumination. Therefore, from the result of calculating the white balance adjustment value in step S100, it is determined whether it is difficult to determine whether the image data is taken outdoors or taken indoors (step S110).

全体制御部7は、ステップS110で、屋外/屋内の判断が困難な条件であると判定した場合は、位置検出装置19に電力を供給し、測位動作を開始させる(ステップS120)。そして、この位置検出装置19で衛星からの電波の受信を行い(ステップS130)、一定時間が経過するまで、所定の時間間隔でステップS130を繰り返し実行する(ステップS140)。全体制御部7は、ステップS130で位置検出装置19が衛星からの電波を検知したときは、このデジタルカメラ1が衛星からの電波を受信できる状態にある、すなわち、屋外にあると判断し、上述のステップS100で求めたホワイトバランス調整値を屋外で画像データが撮像されたときの値に修正する(ステップS160)。一方、ステップS140で一定時間経過しても衛星からの電波を検知できないときは、このデジタルカメラ1が衛星からの電波を受信できないに状態にある、すなわち、屋内にあると判断し、上述のステップS100で求めたホワイトバランス調整値を屋内で画像データが撮像されたときの値に修正する(ステップS150)。そして、全体制御部7は、位置検出装置19への電力供給を停止して測位動作を停止し(ステップS170)、修正されたホワイトバランス調整値に基づいてデジタル画像のホワイトバランス調整を行う(ステップS180)。なお、ステップS110で、屋外/屋内の判断が困難でないと判断した場合は、ステップS100で算出したホワイトバランス調整値に基づいてデジタル画像のホワイトバランス調整を行う(ステップS180)。   If it is determined in step S110 that the outdoor / indoor determination is difficult, the overall control unit 7 supplies power to the position detection device 19 and starts a positioning operation (step S120). Then, the position detection device 19 receives radio waves from the satellite (step S130), and repeatedly executes step S130 at predetermined time intervals until a predetermined time elapses (step S140). When the position detection device 19 detects the radio wave from the satellite in step S130, the overall control unit 7 determines that the digital camera 1 is in a state where it can receive the radio wave from the satellite, that is, is outdoors. The white balance adjustment value obtained in step S100 is corrected to a value when image data is captured outdoors (step S160). On the other hand, if the radio wave from the satellite cannot be detected even after a lapse of a certain time in step S140, it is determined that the digital camera 1 is incapable of receiving the radio wave from the satellite, that is, indoors, and the above steps are performed. The white balance adjustment value obtained in S100 is corrected to the value when the image data is captured indoors (step S150). Then, the overall control unit 7 stops the power supply to the position detection device 19 to stop the positioning operation (step S170), and performs white balance adjustment of the digital image based on the corrected white balance adjustment value (step S170). S180). If it is determined in step S110 that the outdoor / indoor determination is not difficult, the white balance adjustment of the digital image is performed based on the white balance adjustment value calculated in step S100 (step S180).

このように、まず画像データからホワイトバランス調整値を算出し、屋外/屋内の判断が困難な条件でないときはそのホワイトバランス調整値を用いてホワイトバランス調整を行い、判断が困難な条件であるときだけ位置検出装置19に電力を供給して衛星からの電波の受信の可否により屋外/屋内の判断をしてホワイトバランス調整値を修正した上でホワイトバランス調整を行うように構成することにより、位置検出装置19の受信動作を必要最小限とすることができ、不要な電力消費を抑制し、同時に、ホワイトバランス調整の精度を向上させることができる。なお、上述のステップS130において、位置検出装置19によるデジタルカメラ1の位置の正確な測位を行う必要はなく、衛星からの電波を少しでも受信できた時点で電波を検知したと判断することで、測位判断を短時間で行うことができるので、このデジタルカメラ1における撮影動作が待たされることがなく、さらに、電力消費の抑制にもつながる。   As described above, when the white balance adjustment value is first calculated from the image data and the outdoor / indoor determination is not difficult, white balance adjustment is performed using the white balance adjustment value, and the determination is difficult. Only by supplying power to the position detection device 19 and judging whether it is outdoor / indoor depending on whether or not radio waves can be received from the satellite, the white balance adjustment value is corrected and the white balance adjustment is performed. The reception operation of the detection device 19 can be minimized, unnecessary power consumption can be suppressed, and at the same time, the accuracy of white balance adjustment can be improved. In step S130 described above, it is not necessary to accurately measure the position of the digital camera 1 by the position detection device 19, and it is determined that the radio wave has been detected when the radio wave from the satellite can be received even a little. Since the positioning determination can be performed in a short time, the photographing operation in the digital camera 1 is not waited for, and the power consumption is further suppressed.

なお、このデジタルカメラ1において、撮影動作とは独立して、位置測定装置19が常に測位している場合には、その測位結果を用いて屋外/屋内の判断を行えば良く、また、所定の時間間隔で測位を行うように構成されている場合には、直前に測位を行っていたときにはその結果を用い、前回の測位から所定の時間以上が経過しているときには、上述の処理により必要に応じて測位を実行して屋外/屋内の判断をすれば良い。   In the digital camera 1, when the position measuring device 19 always measures the position independently of the shooting operation, the outdoor / indoor determination may be performed using the positioning result. If it is configured to perform positioning at time intervals, the result is used when positioning was performed immediately before, and when the predetermined time or more has passed since the previous positioning, it is necessary by the above processing. In response to this, positioning may be performed to determine outdoor / indoor.

[第2実施例]
上述の第1実施例では連続して撮影する場合に、画像データからでは、屋外/屋内の判断が困難な条件にある場合は、撮影毎に位置測定装置19が起動されてしまう。しかし、連続して同じ被写体を撮影するような場合には、屋外/屋内の判断が困難な条件にある被写体でも、毎回衛星からの電波を検出する必要はない。そのため、この第2実施例では、位置検出装置19で測位した結果を記憶部に相当するバッファメモリ6に記憶しておき、この結果を利用するように構成した場合について、図3を用いて説明する。
[Second Embodiment]
In the above-described first embodiment, in the case of continuous shooting, if the outdoor / indoor determination is difficult from the image data, the position measurement device 19 is activated for each shooting. However, when the same subject is continuously photographed, it is not necessary to detect radio waves from the satellite every time even for a subject that is difficult to judge outdoor / indoor. Therefore, in the second embodiment, a case where the result of positioning by the position detection device 19 is stored in the buffer memory 6 corresponding to the storage unit and the result is used will be described with reference to FIG. To do.

第1実施例の場合と同様に、全体制御部7は、まず、バッファメモリ6に記憶されている画像処理後の画像データからホワイトバランス調整値を算出する(ステップS200)。そして、ステップS200でホワイトバランス調整値を算出した結果から、画像データが屋外で撮影されたのか、屋内で撮影されたのかの判断が困難な条件に該当するかを判定し(ステップS210)、屋外/屋内の判断が困難でないと判定したときは、そのホワイトバランス調整値に基づいてデジタル画像のホワイトバランス調整を行う(ステップS280)。一方、ステップS210で、屋外/屋内の判断が困難であると判定したときは、次に、全体制御部7は、バッファメモリ6に事前に位置検出装置19で測位した結果があるかを調べる(ステップS212)。ここで、事前の測位結果の有無は、例えば、バッファメモリ6に測位した時刻を記憶しておき、この記憶された時刻と現在の時刻とを比較し、所定の時間内に測位されているときは測位結果があると判断し、それ以外は測位結果が無いと判断される。   As in the case of the first embodiment, the overall control unit 7 first calculates a white balance adjustment value from the image data after image processing stored in the buffer memory 6 (step S200). Then, from the result of calculating the white balance adjustment value in step S200, it is determined whether it is difficult to determine whether the image data was taken outdoors or taken indoors (step S210). / If it is determined that indoor determination is not difficult, white balance adjustment of the digital image is performed based on the white balance adjustment value (step S280). On the other hand, if it is determined in step S210 that outdoor / indoor determination is difficult, then the overall control unit 7 checks whether there is a result obtained by the position detection device 19 in the buffer memory 6 in advance ( Step S212). Here, the presence / absence of a prior positioning result is determined by, for example, storing the positioning time in the buffer memory 6, comparing the stored time with the current time, and positioning within a predetermined time. Determines that there is a positioning result, otherwise it is determined that there is no positioning result.

このステップS212で、事前の測位データがバッファメモリ6に無い場合は、全体制御部7は、位置検出装置19による測位動作を開始させ(ステップS220)、この位置検出装置19で衛星からの電波の受信を試み(ステップS230)、一定時間が経過するまで、所定の時間間隔でステップS230を繰り返し実行し(ステップS240)、電波を検知できないときは屋内と判断して上述のステップS200で求めたホワイトバランス調整値を屋内で画像データが撮像されたときの値に修正し(ステップS250)、電波を検知できたときは屋外と判断して上述のステップS200で求めたホワイトバランス調整値を屋外で画像データが撮像されたときの値に修正する(ステップS260)。そして、全体制御部7は、上述の位置検出装置19における測位結果(衛星からの電波を検知できたか否か)を測位時刻と合わせてバッファメモリ6に記憶し(ステップS265)、位置検出装置19の測位動作を停止し(ステップS270)、修正されたホワイトバランス調整値に基づいてデジタル画像のホワイトバランス調整を行う(ステップS280)。   If there is no previous positioning data in the buffer memory 6 in this step S212, the overall control section 7 starts the positioning operation by the position detecting device 19 (step S220), and the position detecting device 19 uses the radio wave from the satellite. Attempting reception (step S230), step S230 is repeatedly executed at a predetermined time interval until a predetermined time has passed (step S240). When radio waves cannot be detected, the white color obtained in step S200 is determined to be indoors. The balance adjustment value is corrected to the value when the image data is captured indoors (step S250), and when the radio wave can be detected, it is determined that the image is outdoors and the white balance adjustment value obtained in step S200 described above is imaged outdoors. The value is corrected to the value when the data was imaged (step S260). Then, the overall control unit 7 stores the positioning result (whether or not the radio wave from the satellite has been detected) in the above-described position detecting device 19 together with the positioning time in the buffer memory 6 (step S265), and the position detecting device 19 The positioning operation is stopped (step S270), and the white balance adjustment of the digital image is performed based on the corrected white balance adjustment value (step S280).

一方、全体制御部7は、ステップS212で事前の測位情報がバッファメモリ6に記憶されていると判断したときは、その測位結果を読み出して衛星からの電波を検知できたか否かを判定し、検知できなかったときは、屋内と判断して上述のステップS200で求めたホワイトバランス調整値を屋内で画像データが撮像されたときの値に修正し(ステップS216)、電波を検知できたときは屋外と判断して上述のステップS200で求めたホワイトバランス調整値を屋外で画像データが撮像されたときの値に修正し(ステップS218)、修正されたホワイトバランス調整値に基づいてデジタル画像のホワイトバランス調整を行う(ステップS280)。   On the other hand, when the overall control unit 7 determines in step S212 that the previous positioning information is stored in the buffer memory 6, the overall control unit 7 reads the positioning result and determines whether or not the radio wave from the satellite has been detected, If it was not detected, the white balance adjustment value determined in step S200 described above was corrected to the value when image data was captured indoors (step S216), and when radio waves could be detected The white balance adjustment value determined in the above-described step S200 after being determined to be outdoor is corrected to a value when image data is captured outdoors (step S218), and the white of the digital image is corrected based on the corrected white balance adjustment value. Balance adjustment is performed (step S280).

このように、位置検出装置19により測位をしたときは、その結果(電波の検知の有無と、測位した時刻)をバッファメモリ6に記憶しておくことにより、連続して同じ被写体を撮影するような場合でも、1枚目の撮影のときだけ測位すれば良いため、このデジタルカメラ1における撮影動作が待たされることがなく、さらに、位置検出装置19による電力消費を抑制することができる。   As described above, when positioning is performed by the position detection device 19, the same subject is continuously photographed by storing the results (whether or not radio waves are detected and the positioning time) in the buffer memory 6. Even in such a case, since positioning only needs to be performed at the time of photographing the first image, the photographing operation in the digital camera 1 is not waited, and power consumption by the position detection device 19 can be suppressed.

[第3実施例]
上述の第2実施例では、位置検出装置19により測位をしたときにその結果をバッファメモリ6に記憶しておき、連続して撮影するような場合には、記憶された測位結果を利用するように構成した場合について説明したが、この第3実施例では、ホワイトバランス調整値を記憶部であるバッファメモリ6に記憶しておき、この値を利用する場合について図4を用いて説明する。なお、この第3実施例において、バッファメモリ6には、画像データから算出されたホワイトバランス調整値(以降の説明ではこの値を「直接値」と呼ぶ)と、修正されたホワイトバランス調整値(「修正値」と呼ぶ)とが対応付けられて記憶されるように構成されているものとする。
[Third embodiment]
In the second embodiment described above, when positioning is performed by the position detection device 19, the result is stored in the buffer memory 6, and in the case of continuous shooting, the stored positioning result is used. In the third embodiment, a case where the white balance adjustment value is stored in the buffer memory 6 serving as a storage unit and this value is used will be described with reference to FIG. In the third embodiment, the buffer memory 6 stores a white balance adjustment value calculated from the image data (this value is referred to as “direct value” in the following description) and a corrected white balance adjustment value ( (Referred to as “correction value”).

この第3実施例においても、全体制御部7は、まず、バッファメモリ6に記憶されている画像処理後の画像データからホワイトバランス調整値を算出する(ステップS300)。そして、ステップS300でホワイトバランス調整値を算出した結果から、画像データが屋外で撮影されたのか、屋内で撮影されたのかの判断が困難な条件に該当するかを判定し(ステップS310)、屋外/屋内の判断が困難でないと判定したときは、そのホワイトバランス調整値に基づいてデジタル画像のホワイトバランス調整を行う(ステップS380)。一方、ステップS310で、屋外/屋内の判断が困難であると判定したときは、次に、全体制御部7は、このステップS300で算出されたホワイトバランス調整値と同じか、近似する直接値がバッファメモリ6に記憶されているかを判断する(ステップS312)。ここで、近似するとは、例えば、ステップS300で算出された値とバッファメモリ6に記憶されている直接値との差が所定の値以下の場合である。全体制御部7は、ステップS312で同じか近似する直接値がバッファメモリ6に記憶されていると判断したときは、その直接値に対応する修正値をバッファメモリ6から読み出し(ステップS314)、読み出した修正値に基づいてデジタル画像のホワイトバランス調整を行う(ステップS380)。   Also in the third embodiment, the overall control unit 7 first calculates a white balance adjustment value from the image data after image processing stored in the buffer memory 6 (step S300). Then, from the result of calculating the white balance adjustment value in step S300, it is determined whether it is difficult to determine whether the image data was shot outdoors or indoors (step S310). / If it is determined that indoor determination is not difficult, white balance adjustment of the digital image is performed based on the white balance adjustment value (step S380). On the other hand, if it is determined in step S310 that outdoor / indoor determination is difficult, then the overall control unit 7 has a direct value that is the same as or approximated to the white balance adjustment value calculated in step S300. It is determined whether it is stored in the buffer memory 6 (step S312). Here, “approximate” means, for example, a case where the difference between the value calculated in step S300 and the direct value stored in the buffer memory 6 is equal to or smaller than a predetermined value. When the overall control unit 7 determines in step S312 that the same or approximate direct value is stored in the buffer memory 6, the overall control unit 7 reads the correction value corresponding to the direct value from the buffer memory 6 (step S314), and reads Based on the corrected value, white balance adjustment of the digital image is performed (step S380).

全体制御部7は、ステップS312で、同じか近似する直接値がバッファメモリ6に記憶されていないと判断したときは、位置検出装置19による測位動作を開始させ(ステップS320)、この位置検出装置19で衛星からの電波の受信を試み(ステップS330)、一定時間が経過するまで、所定の時間間隔でステップS330を繰り返し実行し(ステップS340)、電波を検知できないときは屋内と判断して上述のステップS300で求めたホワイトバランス調整値を屋内で画像データが撮像されたときの値に修正し(ステップS350)、電波を検知できたときは屋外と判断して上述のステップS300で求めたホワイトバランス調整値を屋外で画像データが撮像されたときの値に修正する(ステップS360)。そして、全体制御部7は、位置検出装置19の測位動作を停止し(ステップS370)、ステップS300で算出されたホワイトバランス調整値(直接値)と、ステップS350若しくはステップS360で修正されたホワイトバランス調整値(修正値)とを対応付けてバッファメモリ6に記憶し(ステップS375)、修正されたホワイトバランス調整値に基づいてデジタル画像のホワイトバランス調整を行う(ステップS380)。   When determining that the same or approximate direct value is not stored in the buffer memory 6 in step S312, the overall control unit 7 starts the positioning operation by the position detecting device 19 (step S320), and this position detecting device. At step 19, an attempt is made to receive a radio wave from the satellite (step S330), and step S330 is repeatedly executed at a predetermined time interval until a predetermined time elapses (step S340). The white balance adjustment value obtained in step S300 is corrected to the value when image data is captured indoors (step S350). When radio waves can be detected, the white balance adjustment value is determined as outdoor and determined in step S300 described above. The balance adjustment value is corrected to a value when image data is captured outdoors (step S360). Then, the overall control unit 7 stops the positioning operation of the position detection device 19 (step S370), the white balance adjustment value (direct value) calculated in step S300, and the white balance corrected in step S350 or step S360. The adjustment value (correction value) is associated and stored in the buffer memory 6 (step S375), and the white balance adjustment of the digital image is performed based on the corrected white balance adjustment value (step S380).

このように、屋外/屋内の判断が困難な条件であるときに、位置検出装置19により測位をしたときは、ホワイトバランス調整値の直接値と修正値とをバッファメモリ6に記憶しておくことにより、連続して同じ被写体を撮影する場合や、過去に撮影したのと同じような環境下で撮影する場合には、過去のホワイトバランス調整値を利用することができるため、位置検出装置19による電力消費を抑制することができる。   As described above, when the position detection device 19 performs positioning under conditions where outdoor / indoor determination is difficult, the direct white balance adjustment value and the correction value are stored in the buffer memory 6. Thus, when the same subject is continuously photographed or when photographing in an environment similar to that photographed in the past, the past white balance adjustment value can be used. Power consumption can be suppressed.

デジタルカメラの構成を示すブロック図である。It is a block diagram which shows the structure of a digital camera. 第1実施例に係るホワイトバランス調整の処理を示すフローチャートである。It is a flowchart which shows the process of the white balance adjustment which concerns on 1st Example. 第2実施例に係るホワイトバランス調整の処理を示すフローチャートである。It is a flowchart which shows the process of the white balance adjustment which concerns on 2nd Example. 第3実施例に係るホワイトバランス調整の処理を示すフローチャートである。It is a flowchart which shows the process of the white balance adjustment which concerns on 3rd Example.

符号の説明Explanation of symbols

1 デジタルカメラ(デジタル撮像機器) 6 バッファメモリ(記憶部)
7 全体制御部(ホワイトバランス調整部) 19 位置検出装置 30 撮像部
1 Digital camera (digital imaging device) 6 Buffer memory (storage unit)
7 Overall Control Unit (White Balance Adjustment Unit) 19 Position Detection Device 30 Imaging Unit

Claims (5)

撮像部と、
衛星からの電波を受信して現在位置を測位する位置検出装置と、
前記撮像部から出力された画像データから算出したホワイトバランス調整値からは、前記画像データが屋外で撮像されたものか屋内で撮像されたものかの判断が困難であるときに、前記位置検出装置を作動させ、前記電波が受信できたときは前記ホワイトバランス調整値を前記画像データが屋外で撮影されたときの値に修正し、所定の時間が経過しても前記電波が受信できないときは前記ホワイトバランス調整値を前記画像データが屋内で撮影されたときの値に修正して、修正された前記ホワイトバランス調整値により前記画像データのホワイトバランス調整を行うホワイトバランス調整部と、を有することを特徴とするデジタル撮像機器。
An imaging unit;
A position detection device that receives radio waves from a satellite and measures the current position;
When it is difficult to determine whether the image data is taken outdoors or taken indoors from the white balance adjustment value calculated from the image data output from the imaging unit, the position detection device When the radio wave is received, the white balance adjustment value is corrected to the value when the image data was taken outdoors, and the radio wave cannot be received even after a predetermined time has passed. A white balance adjustment unit that corrects a white balance adjustment value to a value when the image data is taken indoors, and performs white balance adjustment of the image data by the corrected white balance adjustment value. A digital imaging device.
前記ホワイトバランス調整部は、
前記位置検出装置を作動させて前記ホワイトバランス調整値を修正した後に、前記位置検出装置の作動を停止することを特徴とする請求項1に記載のデジタル撮像機器。
The white balance adjustment unit
The digital imaging apparatus according to claim 1, wherein after the position detection device is operated to correct the white balance adjustment value, the operation of the position detection device is stopped.
前記ホワイトバランス調整部は、
前記位置検出装置により、前記電波が受信できたときに、前記現在位置の測位をせずに前記位置検出装置の作動を停止することを特徴とする請求項2に記載のデジタル撮像機器。
The white balance adjustment unit
The digital imaging apparatus according to claim 2, wherein when the radio wave is received by the position detection device, the operation of the position detection device is stopped without measuring the current position.
前記位置検出装置による測位情報を記憶する記憶部を有し、
前記ホワイトバランス調整部は、
前記位置検出装置を作動させて前記電波の受信を行ったときに、前記位置検出装置が作動された時刻及び前記電波が受信できたか否かを前記測位情報として前記記憶部に記憶するとともに、
前記画像データのホワイトバランス調整値の算出において、前記画像データが屋外で撮像されたものか屋内で撮像されたものかの判断が困難であるときに、現在時刻より前の所定の時間内に測位された前記測位情報が前記記憶部に記憶されているか否かを判断し、
前記測位情報が前記記憶部に記憶されているときは、前記測位情報により前記画像データが屋外で撮像されたのか屋内で撮像されたのかを判断して前記ホワイトバランス調整値を修正し、
前記測位情報が前記記憶部に記憶されていないときは、前記位置検出装置を作動させて前記電波の受信の可否により前記画像データが屋外で撮像されたのか屋内で撮像されたのかを判断して前記ホワイトバランス調整値を修正して、
修正された前記ホワイトバランス調整値により前記画像データのホワイトバランス調整を行うことを特徴とする請求項1〜3いずれか一項に記載のデジタル撮像機器。
A storage unit for storing positioning information by the position detection device;
The white balance adjustment unit
When the position detection device is operated to receive the radio wave, the time when the position detection device is operated and whether the radio wave has been received are stored in the storage unit as the positioning information, and
In the calculation of the white balance adjustment value of the image data, when it is difficult to determine whether the image data is taken outdoors or indoors, positioning is performed within a predetermined time before the current time. Determining whether or not the measured positioning information is stored in the storage unit;
When the positioning information is stored in the storage unit, the white balance adjustment value is corrected by determining whether the image data is captured outdoors or indoors based on the positioning information,
When the positioning information is not stored in the storage unit, the position detection device is operated to determine whether the image data is taken outdoors or indoors depending on whether the radio wave can be received. Correct the white balance adjustment value,
The digital imaging apparatus according to claim 1, wherein white balance adjustment of the image data is performed based on the corrected white balance adjustment value.
前記画像データから算出された前記ホワイトバランス調整値である直接値と、前記画像データが屋外で撮像されたのか屋内で撮像されたのかを判断した結果により修正された前記ホワイトバランス調整値である修正値とを対応付けて記憶する記憶部を有し、
前記ホワイトバランス調整部は、
前記位置検出装置を作動させて前記電波の受信を行ったときに、前記直接値と前記修正値とを対応付けて前記記憶部に記憶するとともに、
前記画像データのホワイトバランス調整値の算出において、前記画像データから算出されたホワイトバランス調整値と、同一か若しくは近似する直接値が前記記憶部に記憶されているか否かを判断し、
前記直接値が記憶されているときは、前記直接値に対応する前記修正値を読み出して前記修正値により前記画像データのホワイトバランス調整を行い、
前記直接値が記憶されていないときは、前記位置検出装置を作動させて前記電波の受信の可否により前記画像データが屋外で撮像されたのか屋内で撮像されたのかを判断して前記ホワイトバランス調整値を修正して、修正された前記ホワイトバランス調整値により前記画像データのホワイトバランス調整を行うことを特徴とする請求項1〜3いずれか一項に記載のデジタル撮像機器。
The correction that is the white balance adjustment value that is corrected based on the direct value that is the white balance adjustment value calculated from the image data and the result of determining whether the image data is taken outdoors or indoors A storage unit for storing values in association with each other;
The white balance adjustment unit
When the position detection device is operated to receive the radio wave, the direct value and the correction value are associated with each other and stored in the storage unit,
In calculating the white balance adjustment value of the image data, it is determined whether or not a direct value that is the same as or approximate to the white balance adjustment value calculated from the image data is stored in the storage unit;
When the direct value is stored, the correction value corresponding to the direct value is read and white balance adjustment of the image data is performed by the correction value,
When the direct value is not stored, the white balance adjustment is performed by operating the position detecting device to determine whether the image data is captured outdoors or indoors depending on whether the radio wave is received or not. 4. The digital imaging apparatus according to claim 1, wherein a value is corrected and white balance adjustment of the image data is performed using the corrected white balance adjustment value. 5.
JP2008109675A 2008-04-19 2008-04-19 Digital imaging equipment Expired - Fee Related JP5012635B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008109675A JP5012635B2 (en) 2008-04-19 2008-04-19 Digital imaging equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008109675A JP5012635B2 (en) 2008-04-19 2008-04-19 Digital imaging equipment

Publications (2)

Publication Number Publication Date
JP2009260853A true JP2009260853A (en) 2009-11-05
JP5012635B2 JP5012635B2 (en) 2012-08-29

Family

ID=41387667

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008109675A Expired - Fee Related JP5012635B2 (en) 2008-04-19 2008-04-19 Digital imaging equipment

Country Status (1)

Country Link
JP (1) JP5012635B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011136993A1 (en) * 2010-04-29 2011-11-03 Eastman Kodak Company Indoor/outdoor scene detection using gps

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004260286A (en) * 2003-02-24 2004-09-16 Fuji Photo Film Co Ltd Photographing apparatus
JP2004336326A (en) * 2003-05-07 2004-11-25 Canon Inc Image processor
JP2005328271A (en) * 2004-05-13 2005-11-24 Canon Inc Image pickup device
JP2007158887A (en) * 2005-12-07 2007-06-21 Sony Corp Imaging apparatus, data recording method, data display control method and computer program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004260286A (en) * 2003-02-24 2004-09-16 Fuji Photo Film Co Ltd Photographing apparatus
JP2004336326A (en) * 2003-05-07 2004-11-25 Canon Inc Image processor
JP2005328271A (en) * 2004-05-13 2005-11-24 Canon Inc Image pickup device
JP2007158887A (en) * 2005-12-07 2007-06-21 Sony Corp Imaging apparatus, data recording method, data display control method and computer program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011136993A1 (en) * 2010-04-29 2011-11-03 Eastman Kodak Company Indoor/outdoor scene detection using gps
US8665340B2 (en) 2010-04-29 2014-03-04 Intellectual Ventures Fund 83 Llc Indoor/outdoor scene detection using GPS

Also Published As

Publication number Publication date
JP5012635B2 (en) 2012-08-29

Similar Documents

Publication Publication Date Title
EP2357786B1 (en) Image pickup apparatus and controlling method therefor
JP2012100173A (en) Imaging device, imaging system, and imaging device control method
JP5012635B2 (en) Digital imaging equipment
JP2007171505A (en) Lens hood and camera
US7630621B2 (en) Interchangeable lens camera, camera body thereof and lens unit
JP2006171315A (en) Stroboscope controller, stroboscope control program, and stroboscope control method
JP2009260854A (en) Digital imaging equipment
JP2017092544A (en) Output control device, output control method and program
JP2009100244A (en) Imaging apparatus and imaging control program
JP2020205560A (en) Imaging apparatus and control method of the same
JP2008005034A (en) System and method for setting photographic conditions, photographing condition providing server, and photographic device
JP2007019946A (en) Image pickup device
JP2005080011A (en) Imaging method, imaging apparatus, program, and storage medium
JP2004048577A (en) Electronic still camera
JP2008199538A (en) Imaging apparatus
JP5609673B2 (en) Data processing device
JP4636393B2 (en) Imaging system, artificial light source and camera
JP2010268256A (en) Imaging apparatus
JP2008053954A (en) Digital camera
JP2005094363A (en) Photographing system
JP2003102018A (en) Electronic still camera, imaging method, computer- readable storage medium, and computer program
JP2003204559A (en) Camera for document and drawing
JP5120109B2 (en) Imaging device
JP4047346B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
CN117156231A (en) Image pickup apparatus, illumination apparatus, image pickup system, and control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110921

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120508

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120521

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150615

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5012635

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150615

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees