JP2021002771A - 撮像装置、制御方法及びプログラム - Google Patents

撮像装置、制御方法及びプログラム Download PDF

Info

Publication number
JP2021002771A
JP2021002771A JP2019115746A JP2019115746A JP2021002771A JP 2021002771 A JP2021002771 A JP 2021002771A JP 2019115746 A JP2019115746 A JP 2019115746A JP 2019115746 A JP2019115746 A JP 2019115746A JP 2021002771 A JP2021002771 A JP 2021002771A
Authority
JP
Japan
Prior art keywords
shutter mode
image sensor
image
global shutter
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019115746A
Other languages
English (en)
Other versions
JP7348756B2 (ja
Inventor
尊志 小林
Takashi Kobayashi
尊志 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019115746A priority Critical patent/JP7348756B2/ja
Priority to EP20180640.3A priority patent/EP3754970A1/en
Priority to US16/906,989 priority patent/US11743607B2/en
Priority to CN202010566077.0A priority patent/CN112118375B/zh
Publication of JP2021002771A publication Critical patent/JP2021002771A/ja
Application granted granted Critical
Publication of JP7348756B2 publication Critical patent/JP7348756B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/13306Circuit arrangements or driving methods for the control of single liquid crystal cells
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/53Constructional details of electronic viewfinders, e.g. rotatable or detachable
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/745Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/533Control of the integration time by using differing integration times for different sensor regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Nonlinear Science (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Blocking Light For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】グローバルシャッタモードを実現するのに有利な撮像装置を提供する。【解決手段】被写体を撮像する撮像装置であって、被写体からの光に対応する電荷を蓄積する撮像素子と、光に対する透過率を可変とし、撮像素子に前記光が入射する入射状態又は遮光する遮光状態を設定できるNDフィルタの透過率と、撮像素子の駆動を制御する制御部と、を有する。撮像素子の露光を開始する開始タイミングと、撮像素子の露光を終了する終了タイミングとが、撮像素子の各ラインでそれぞれ一致するグローバルシャッタモードと、当該グローバルシャッタモード以外のモードを設定できる。制御部は、グローバルシャッタモードを設定する場合と、グローバルシャッタモード以外のシャッタモードを設定する場合とで、撮像素子の各画素から電荷を読み出す読出方式を異ならせる。【選択図】図1

Description

本発明は、撮像装置、制御方法及びプログラムに関する。
映画撮影用のフィルムカメラでは、一般的に、フィルムのコマ送りに同期してフィルムへの開口窓の角度を調整して露光を制御するロータリーシャッタ方式が採用されている。一方、近年では、フィルムカメラのデジタル化に伴い、フィルムをコマ送りする必要がなくなり、撮像素子上で各画素の電荷の蓄積・リセットを制御することで露光時間を調整する電子シャッタ方式が一般的になっている。
電子シャッタ方式においては、コマ送りに同期して開口窓を移動させる必要はなく、撮像素子上の制御レジスタを電気信号で制御することが可能である。一方、CMOSイメージセンサなどのローリングシャッタ型固体撮像素子においては、撮像素子上での露光開始と露光終了のタイミングが水平ラインごとに異なるため、撮像で得られる画像の画質が劣化することがある。例えば、高速で移動する被写体の輪郭が歪んで見えたり、フラッシュ発光などの短時間の光量の変化が垂直方向のラインごとに異なる(露光状態が異なる)ことに起因してフラッシュバンド現象が現れたりして、画質の劣化をもたらす場合がある。また、蛍光灯などの周期的に光量が変化する光源下で撮像した場合に垂直方向に縞模様に似たノイズが発生する蛍光灯フリッカ現象なども、ローリングシャッタに起因する画質の劣化をもたらす。
このようなローリングシャッタ型固体撮像素子による画質の劣化を低減するために、撮像素子と液晶シャッタ(液晶素材)とを組み合わせて各ラインの露光開始と露光終了のタイミングを合わせる撮像方式が提案されている(特許文献1及び2参照)。かかる撮像方式は、一般的に、グローバルシャッタモードと呼ばれている。
特許文献1には、画像を生成する際に、全水平ラインの一括リセットにより露光開始時間を一致させ、液晶シャッタを制御して撮像素子の全画素を遮光した後に各水平ラインの画素から信号(画像信号)を読み出す技術が開示されている。かかる技術によれば、撮像素子上の一括リセットにより各水平ラインの露光開始タイミングを一致させることができる。また、画像信号の読み出し自体のタイミングは一致していないが、液晶シャッタにより撮像素子の全画素を遮光してから水平ラインごとに画像信号を読み出しているため、実質的には、露光終了タイミングの一致が実現されている。
特許文献2には、露光開始タイミング及び露光終了タイミングを実質的に液晶シャッタで制御する技術が開示されている。かかる技術では、液晶シャッタにより撮像素子の全画素を遮光した状態で水平ラインごとに電荷の蓄積を開始し、全水平ラインの蓄積が開始された時点で液晶シャッタの透明度をあげることで、各水平ラインの露光開始タイミングを一致させている。また、所望の時間だけ露光を行った後で、液晶シャッタにより撮像素子の全画素を遮光し、水平ラインごとに電荷を読み出すことで、実質的に、各水平ラインの露光終了タイミングを一致させている。
特開2008−180810号公報 特表2016−506625号公報
特許文献1及び2に開示された技術では、露光タイミング(露光開始タイミングや露光終了タイミング)に差が生じる期間においては、液晶シャッタにより撮像素子の全画素を遮光し続けているため、この期間は撮像素子を露光することができない。そのため、所望の露光時間に加えて、露光タイミングの差の分だけ撮像素子の蓄積時間を延ばす必要がある。これは、被写体を繰り返し撮像し続ける動画撮像では、フレームレートに応じた撮像周期のなかで露光に用いる時間が制限されることを意味する。従って、露光タイミングの差の大きさ次第では、設定可能なフレームレートが制限されることになってしまう。
本発明は、このような従来技術の課題に鑑みてなされ、グローバルシャッタモードを実現するのに有利な撮像装置を提供することを例示的目的とする。
上記目的を達成するために、本発明の一側面としての撮像装置は、被写体を撮像する撮像装置であって、前記被写体からの光に対応する電荷を蓄積する撮像素子と、前記光に対する透過率を可変とし、前記撮像素子に前記光が入射する入射状態、又は、前記撮像素子に対する前記光の入射を遮光する遮光状態を設定できるNDフィルタの透過率と、前記撮像素子の駆動を制御する制御部と、を有し、前記撮像装置が設定可能なシャッタモードとして、前記NDフィルタと前記撮像素子の駆動を制御することで、前記撮像素子の露光を開始する開始タイミングと、前記撮像素子の露光を終了する終了タイミングとが、前記撮像素子の各ラインでそれぞれ一致するグローバルシャッタモードと、当該グローバルシャッタモード以外のモードを設定でき、前記制御部は、前記シャッタモードとして、前記グローバルシャッタモードを設定する場合と、前記グローバルシャッタモード以外のシャッタモードを設定する場合とで、前記撮像素子の各画素から電荷を読み出す読出方式を異ならせることを特徴とする。
本発明の更なる目的又はその他の側面は、以下、添付図面を参照して説明される実施形態によって明らかにされるであろう。
本発明によれば、例えば、グローバルシャッタモードを実現するのに有利な撮像装置を提供することができる。
本発明の一側面としての撮像装置の構成を示す概略図である。 一般的なグローバルシャッタモードを説明するための図である。 複数の読出方式のそれぞれに関する具体的な数値例を示す図である。 ユーザインタフェース(UI)の一例を示す図である。 読出方式を設定する処理を説明するためのフローチャートである。 複数の読出方式のそれぞれに関する具体的な数値例を示す図である。 複数の読出方式のそれぞれに関する具体的な数値例を示す図である。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。更に、添付図面においては、同一もしくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
図1は、本発明の一側面としての撮像装置1の構成を示す概略図である。撮像装置1は、被写体を撮像して、例えば、被写体の動画像を得ることが可能な撮像装置であって、本実施形態では、デジタルカメラとして具現化される。撮像装置1は、レンズ群10と、液晶パネル11と、撮像素子12と、信号処理部13と、画像処理部14と、記録処理部15と、記録媒体16とを有する。更に、撮像装置1は、露出制御部17と、フォーカス制御部18と、ズーム制御部19と、主制御部20と、操作部21と、記憶部22と、メモリ23とを有する。
レンズ群10は、絞りを用いて露出を制御するための機構やフォーカス動作及びズーム動作を制御するための機構を含む。レンズ群10は、被写体からの光(入射光)を、液晶パネル11を介して、撮像素子上に導いて光学像を形成する。この際、レンズ群10に含まれる絞りを駆動させたり、液晶パネル11における液晶の透明度(減光率)を変更したり、撮像素子12の各画素での電荷の蓄積時間や電気信号の増幅率を制御したりすることで、撮像画像の露出(明るさ)を制御する。なお、レンズ群10としては、所謂レンズ一体型の撮像装置として、撮像装置1が備える構成であってもよい。また、レンズ群10を備えた交換レンズユニットを撮像装置1に着脱可能な構成であってもよい。この場合、一般的にマウントと称される結合部分を撮像装置1及び交換レンズユニットがそれぞれ備え、かかるマウントを介して、両者が着脱可能な関係であればよい。
液晶パネル11は、被写体からの光に対する透過率を可変とし、撮像素子12に光が入射する入射状態、又は、撮像素子12に対する光の入射を遮光する遮光状態を設定するためのNDフィルタ(Neutral Density Filter)として機能する。本実施形態では、液晶パネル11は、レンズ群10と撮像素子12との間に配置されているが、これに限定されるものではなく、透過率に応じて光を減光可能であればよい。例えば、液晶パネル11は、レンズ群10の外側(レンズ群10よりも被写体側)に配置されていてもよいし、レンズ群10の内部に配置されてレンズとともに光軸方向に移動する構成であってもよい。また、本実施形態では、電気的に透過率を制御可能な液晶パネル11を例に説明するが、液晶素材である必要はなく、電気的に高速で透過率を変更可能であれば他の物性のシャッタであってもよい。更に、液晶パネル11の駆動方式についてもTN(Twisted Nematic)方式に限定されるものではなく、他の駆動方式であってもよい。更に、本実施形態では、液晶パネル11を撮像装置1の内部に備える構成について説明したが、これに限定されるものではない。例えば、液晶パネル11を内蔵したユニットを撮像装置1に着脱可能な構成であってもよい。例えば、ユーザビリティの向上を実現するために、上述したマウントを備えたマウントユニット自体を撮像装置1に対して着脱可能な構成において、かかるマウントユニットの内部に液晶パネル11を備える構成であればよい。
撮像素子12は、マトリクス状に配列された複数の画素を含み、被写体からの光に対応する電荷を蓄積する。信号処理部13は、撮像素子12の各画素から読み出された電荷を画像信号(電気信号)に変換して画像処理部14に出力する。画像処理部14は、信号処理部13から出力された画像信号に対して、ゲイン補正などの輝度補正処理、ホワイトバランス補正などの色補正処理、その他の信号処理などを行う。また、画像処理部14は、出力デバイスに応じて、画像信号に対して非線形変換処理を行う。記録処理部15は、画像処理部14から出力された画像信号に対して信号の符号化を行い、記録に適した形式やサイズの画像信号に変換する。記録媒体16は、記録処理部15から出力された記録可能な形式の画像信号を記録する。
主制御部20は、CPUに代表されるプロセッサを含み、記憶部22に記憶されたプログラムを実行して、撮像装置1の各部を制御して撮像装置1を動作させる(上述した一連の処理の流れを制御する)。記憶部22は、電気的に消去及び記憶可能な不揮発性の記憶媒体であって、例えば、主制御部20の動作用の定数やプログラムなどを記憶(格納)する。メモリ23は、例えば、記憶部22から読み出されたプログラムなどを展開するワークメモリとして機能する。
主制御部20は、操作部21を介して、ユーザからの操作を受け付ける。主制御部20は、操作部21で受け付けた操作に対応する各種の撮像モードや被写体の明るさに基づいて、露出制御部17、フォーカス制御部18及びズーム制御部19を介して、露出、フォーカス及びズームに関する設定を行う。なお、本実施形態では、主制御部20とは別に露出制御部17、フォーカス制御部18及びズーム制御部19を設けているが、主制御部20と露出制御部17、フォーカス制御部18及びズーム制御部19とを一体的に構成してもよい。
主制御部20は、本実施形態では、撮像素子12に対するシャッタモードとして、グローバルシャッタモードを提供する。グローバルシャッタモードとは、撮像素子12の各画素での電荷の蓄積を開始する露光開始タイミング、及び、撮像素子12の各画素での電荷の蓄積を終了する露光終了タイミングを一致させるシャッタモードである。主制御部20は、液晶パネル11の透過率と、撮像素子12の各画素での電荷の蓄積及び読み出しとを制御することでグローバルシャッタモードを提供する。
図2を参照して、撮像素子12の駆動(電荷の蓄積及び読み出し)の制御と、液晶パネル11の駆動(濃度(透過率))の制御とを組み合わせて実現される一般的なグローバルシャッタモードを説明する。図2の上部には、撮像素子12における各ラインの画素での露光開始タイミングと、撮像素子12における各ラインの画素での露光終了タイミングとが示されている。なお、露光終了タイミングは、撮像素子12における各ラインの画素に蓄積された電荷の読み出しを開始するタイミングでもある。ここでは、撮像装置1に設定されているフレームレートに応じた最大の露光時間を実現する場合を例に説明する。
まず、撮像素子12の駆動について着目する。主制御部20は、撮像素子12に対してフレームレートに応じた垂直同期信号Vdを入力する。主制御部20から入力された垂直同期信号Vdに同期して、撮像素子12は、最上部のラインの画素から、順次、電荷の蓄積を開始する。そして、主制御部20から次の垂直同期信号Vdが入力される直前のタイミングにおいて、撮像素子12は、最上部のラインの画素から、順次、電荷の蓄積を終了し、電荷(画像信号)の読み出しが開始される。
次に、液晶パネル11の駆動について着目する。図2の下部には、撮像素子12の駆動に応じた液晶パネル11の濃度(透過率)の変化が示されている。液晶パネル11は、撮像素子12の各画素での電荷の蓄積が順次開始される前のタイミングにおいて、濃度を最大にして撮像素子12の全体を遮光する(即ち、着色により撮像素子12に対する光の入射を遮光する遮光状態とする)。そして、液晶パネル11は、撮像素子12の最下部のラインの画素での電荷の蓄積が開始されたタイミングにおいて、濃度を最小にして撮像素子12に光を入射させる(即ち、消色により撮像素子12に光が入射する入射状態とする)。液晶パネル11の濃度が最小になると、即ち、消色が完了すると、撮像素子12の各画素は同時に露光される。この際、液晶パネル11は、PWM(Pulse Width Modulation)による電圧変化に応答し、濃度を高速で(瞬間的に)変化させることが可能である。但し、液晶パネル11の濃度を高速で変化させることが可能であっても、実際には微小な時間を要しているため、その間に、撮像素子12の各画素が露光されて電荷を蓄積してしまう。液晶パネル11の消色の期間は、液晶パネル11の濃度が中間濃度であるとして、実質的に、消色の期間の半分の期間は、撮像素子12の各画素が露光されているとみなすことができる。
撮像素子12の各画素が同時に露光され、所望の露光時間が経過すると、液晶パネル11は、濃度を最大にして撮像素子12の全体を遮光する。かかる着色の際も、実際には微小な時間を要しているため、その間に、撮像素子12の各画素が露光されて電荷を蓄積してしまう。従って、液晶パネル11の着色の期間は、液晶パネル11の濃度が中間濃度であるとして、実質的に、着色の期間の半分の期間は、撮像素子12の各画素が露光されているとみなすことができる。液晶パネル11による撮像素子12の全体の遮光が完了すると、撮像素子12の最上部のラインの画素から、順次、電荷の読み出しを開始する。
このように、主制御部20は、撮像素子12の駆動と液晶パネル11の駆動とを同期して制御する。これにより、ローリングシャッタ型の撮像素子12においても、各ラインの画素での露光開始タイミング、及び、各ラインの画素での露光終了タイミングを一致させ、グローバルシャッタモードを実現することができる。
図2において、1つの垂直同期信号Vdに対応する期間における露光時間に着目すると、撮像素子12を遮光状態とする期間や液晶パネル11の着色及び消色に要する時間に対応する期間は、上述したように、撮像素子12を露光することができない。従って、グローバルシャッタモードにおいては、撮像素子12を露光可能な時間が大きく制限される。また、撮像素子12を露光可能な時間が制限されるということは、被写体を撮像して画像を取得する周期(撮像周期)、即ち、フレームレートの制限にもつながる。このように、グローバルシャッタモードでは、撮像装置1に設定可能なフレームレートが制限されてしまう。
そこで、本実施形態では、撮像素子12に対するシャッタモードとして、グローバルシャッタモードを提供する場合と、グローバルシャッタモード以外のシャッタモードを提供する場合とで、撮像素子12の各画素から電荷を読み出す読出方式を異ならせる。例えば、主制御部20は、グローバルシャッタモードを提供する場合において、撮像装置1に設定されているフレームレート又は露光時間に基づいて、撮像素子12の各画素から電荷を読み出す際の読出方式を決定する。読出方式に関しては、フレームレート及び露光時間が互いに異なる複数の読出方式が記憶部22に予め記憶されている。主制御部20は、記憶部22に記憶された複数の読出方式から、撮像装置1に設定されているフレームレート又は露光時間を満たす1つの読出方式を選択することで、撮像素子12の各画素から電荷を読み出す際の読出方式を決定する。これにより、上述したようなグローバルシャッタモードにおける課題を解決することができる。
グローバルシャッタモードでは、上述したように、液晶パネル11の着色及び消色の期間と、撮像素子12の各ラインの画素での露光開始タイミングの差及び露光終了タイミングの差の期間とに準じて制御可能な露光時間が制限される。特に、撮像素子12の各ラインの画素での露光開始タイミングの差及び露光終了タイミングの差の期間は長く、露光時間への影響が大きい。従って、撮像素子12の各ラインの画素での露光開始タイミングの差及び露光終了タイミングの差の期間を小さくすることが露光時間及びフレームレートの制限を減らすことにつながる。
ローリングシャッタ型の撮像素子12において電荷を読み出す画素の数と、それに要する露光開始タイミングの差及び露光終了タイミングの差との関係の具体的な数値例を図3に示す。ここでは、映画撮影で標準的に用いられる24fpsをフレームレートとすると、1秒間に24枚の画像を周期的に撮像するため、1つの垂直同期信号Vdに対応する期間は、41.7msec(1/24sec)となる。
撮像画像のサイズが水平方向(水平画素数)で4500[pix]、垂直方向(垂直画素数)で2532[pix]であり、露光開始タイミングの差及び露光終了タイミングの差が12.5[msec]となる読出方式RM1を考える。この場合、露光可能時間は、図3に示すように、0[msec]〜19.7[msec]となる。
露光開始タイミングの差及び露光終了タイミングの差は、撮像素子12から電荷を読み出す際の読出方式によって変化する。例えば、読出方式RM2では、読出方式RM1と比較して、画像信号のビット数を14ビットから12ビットに減らしているため(ビット深度を異ならせているため)、露光開始タイミングの差及び露光終了タイミングの差が小さい読出方式となる。このような読出方式を設定することで、グローバルシャッタモード以外のシャッタモードを提供する場合における読出方式と比較して、露光開始タイミングの差及び露光終了タイミングの差が小さい読出方式を実現することができる。
また、一般的には、電子防振や幾何変形などの画像処理のために、記録媒体16に記録すべき画像のサイズを超えて余剰画素を含んだ画素から電荷を読み出し、画像処理部14で画質向上に利用する場合がある。このような場合、余剰画素を減らし、記録媒体16に記録すべき画像のサイズ、即ち、QFHD画像(水平画素数3840[pix]、垂直画素数2160[pix])を読み出すことが可能である。これにより、図3に示すように、読出方式RM2と同様に、露光開始タイミングの差及び露光終了タイミングの差が小さい読出方式RM3を実現することができる。
伝統的なフィルムカメラにおいては、コマ送り時の開口窓の開口角度を基準として露光時間を表現していた。その際、標準的には、フレームレートの半分の時間となる180度が基準となる露光時間として重宝されてきた。図3に示すように、読出方式RM1においては、基準として用いられてきた露光時間である180[angle]を設定(選択)することができない。一方、本実施形態のように、グローバルシャッタモードにおいて、読出方式RM2や読出方式3などのローリングシャッタの小さな読出方式に変更することで、撮像装置1に設定可能な露光時間の範囲を拡大することが可能となる。これにより、基準となる露光時間180[angle]を設定可能とし、ユーザの利用性を向上させることができる。
これまでは、グローバルシャッタモードを選択(提供)した場合に、ローリングシャッタの小さな読出方式に変更することで、露光時間及びフレームレートの制限を減らすことができることについて説明した。但し、露光時間及びフレームレートの制限を減らすために、画像処理に必要な余剰画素を減らしたり、画像信号のビット深度を減らしたりすることは、撮像画像の画質の劣化につながる可能性がある。ユーザが設定したいフレームレートやシャッタ速度によっては、グローバルシャッタモードを選択した場合であっても、ローリングシャッタの小さな読出方式に変更する必要がないこともある。従って、撮像画像の画質の劣化とフレームレート又はシャッタ速度とのバランスを考えて、読出方式を決定(選択)するとよい。
図4は、グローバルシャッタモードを提供する際のモードをユーザに選択させるユーザインタフェース(UI)の一例を示す図である。かかるUIは、主制御部20の制御下において、例えば、タッチパネルなどの表示装置を含む操作部21を介して、ユーザに提供される。UIでは、グローバルシャッタモードにおいて、撮像素子12の各画素から電荷を読み出して得られる画像の画質を優先する画質優先モード(第1モード)、又は、フレームレートを優先するフレームレート優先モード(第2モード)をユーザに選択させる。
画質優先モードでは、予め設定されている画像のサイズに応じた範囲で実現可能なフレームレート又はシャッタ速度を設定可能とする。例えば、図3に示す読出方式RM1を例とすると、水平画像サイズが4.5Kに設定されている場合、設定可能な露光時間は、0〜19.7msecであり、約45fpsまでのフレームレートが設定可能である。但し、実際には、フレームレートとして50fpsや59.94fpsを設定したいユースケースもある。また、設定可能な最大のフレームレートとして45fpsを設定することはできるが、設定可能なシャッタ速度が限りなく速く、利用性が低くなってしまうユースケースもある。このような場合に対応するために、本実施形態では、設定可能なフレームレートを優先するモードとして、フレームレート優先モードを選択可能としている。フレームレート優先モードでは、フレームレートに制限は設けずに、撮像装置1に設定されたフレームレートに応じて、撮像素子12から電荷を読み出す際の読出方式を変更する。例えば、フレームレート優先モードでは、撮像装置1に設定されたフレームレートを満たす読出方式のうち、撮像画像の画質が最大となる読出方式が設定(選択)される。
図5を参照して、フレームレート優先モードにおいて、読出方式を設定する処理について説明する。S100において、主制御部20は、撮像装置1に設定されているフレームレートを取得する。S101において、主制御部20は、撮像装置1に設定されている露光時間(シャッタ速度)を取得する。S102において、主制御部20は、S100で取得したフレームレートと、S101で取得した露光時間とを用いて、1つの垂直同期信号Vdに対応する期間における余裕時間を算出する。具体的には、1つの垂直同期信号Vdに対応する期間をフレームレートの逆数として算出し、そこから、S101で取得した露光時間と、液晶パネル11の着色及び消色に要する時間を減算する。このようにして算出された時間は、1つの垂直同期信号Vdに対応する期間で残っている余裕時間であり、撮像素子12からの電荷の読み出しに費やすことができる時間に相当する。S103において、主制御部20は、S102で算出した余裕時間に基づいて、撮像装置1(例えば、記憶部22)に予め記憶されている複数の読出方式から、撮像画像の画質が最大となる読出方式を設定する。
ここで、具体的な数値を参照しながら複数の読出方式から1つの読出方式を設定する処理を説明する。読出方式と、設定可能なフレームレートとの関係の一例を図6に示す。読出方式RM1、RM3乃至RM7は、それぞれ、画像のサイズと画像信号のビット深度とが異なる。記録媒体16に記録すべき画像がQFHD画像である場合、撮像装置1に設定されているフレームレート及びシャッタ速度に応じて、読出方式RM1、RM3乃至RM5から最大の画質を実現することができる読出方式を設定する。例えば、フレームレートを29.97fps、シャッタ速度を1/100secに設定した場合には、読出方式RM3が設定される。読出方式RM3では、フレームレート29.97fpsにおいては1/75秒まで設定可能であり、撮像画像の画質が最もよい読出方式となる。
また、読出方式4や読出方式5が設定された場合でも、QFHD画像未満の読み出し画素数となるが、例えば、画像処理におけるアップコンバートによりQFHD画像を生成することで記録媒体16に記録すべき画像のサイズを維持することができる。
記録媒体16に記録すべき画像のサイズをFHD画像(水平画素数1920[pix]、垂直画素数1080[pix])、フレームレートを50fps、シャッタ速度を1/250secとする場合を考える。この場合に適した読出方式の一例を図7に示す。読出方式RM4、RM5’、RM6及びRM7は、それぞれ、画像のサイズと画像信号のビット深度とが異なる。読出方式RM4は、FHD画像以上の画像サイズ(余剰画素)を撮像素子12から読み出すことになるが、その余剰画素を用いてFHD画像を生成するオーバーサンプリング処理により画質を向上させてもよい。フレームレート50fpsにおける1つの垂直同期信号Vdに対応する期間が20msec、シャッタ速度1/250sec(4msec)、液晶パネル11の着色及び消色に要する時間9.5msecから、読出時間が6.5msec以下である必要がある。この場合、読出方式5’が設定される。
このように、フレームレート優先モードにおいて、撮像装置1に設定されたフレームレート及びシャッタ速度に応じて最適な画質が得られる読出方式を設定することで、グローバルシャッタモードを実現しながら任意のフレームレートが設定可能となる。
本実施形態では、液晶素材などの電気的に透過率を制御可能な物性シャッタとローリングシャッタ型固体撮像素子とを組み合わせ、任意のフレームレートで記録可能な撮像装置1について説明した。また、撮像素子12から電荷を読み出す際の具体的な読出方式の仕様を一例として示しながら説明したが、読出時間や画素数、ビット深度など仕様の異なる撮像素子に対しても本実施形態は適用可能である。また、読出時間の異なる読出方式として、画素数やビット深度を条件として制御仕様を説明したが、他の条件により読出方式が異なっていてもよい。例えば、積層構造の撮像素子による読み出しを利用して読出時間を短縮する方法、1つの画素から感度を変えながら複数回読み出す方式を切り替える方法、焦点検出用の視差を発生させる画像の読出方式を切り替える方法などでもよい。また、本実施形態では、画像の出力先については省略したが、出力先としては、再生機器、撮像装置、その他の機器であってもよく、本発明を制限するものではない。
本発明は、上述の実施形態の1つ以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1つ以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
1:撮像装置 11:液晶パネル 12:撮像素子 20:主制御部

Claims (10)

  1. 被写体を撮像する撮像装置であって、
    前記被写体からの光に対応する電荷を蓄積する撮像素子と、
    前記光に対する透過率を可変とし、前記撮像素子に前記光が入射する入射状態、又は、前記撮像素子に対する前記光の入射を遮光する遮光状態を設定できるNDフィルタの透過率と、前記撮像素子の駆動を制御する制御部と、を有し、
    前記撮像装置が設定可能なシャッタモードとして、前記NDフィルタと前記撮像素子の駆動を制御することで、前記撮像素子の露光を開始する開始タイミングと、前記撮像素子の露光を終了する終了タイミングとが、前記撮像素子の各ラインでそれぞれ一致するグローバルシャッタモードと、当該グローバルシャッタモード以外のモードを設定でき、
    前記制御部は、前記シャッタモードとして、前記グローバルシャッタモードを設定する場合と、前記グローバルシャッタモード以外のシャッタモードを設定する場合とで、前記撮像素子の各画素から電荷を読み出す読出方式を異ならせることを特徴とする撮像装置。
  2. 前記グローバルシャッタモードを設定する場合の方が、前記グローバルシャッタモード以外のシャッタモードを設定する場合における読出方式よりも、前記撮像素子の各ラインでの前記開始タイミングの差及び前記終了タイミングの差が小さいことを特徴とする請求項1に記載の撮像装置。
  3. 前記制御部は、前記グローバルシャッタモードを設定する場合と、前記グローバルシャッタモード以外のシャッタモードを設定する場合とで、前記撮像素子において電荷を読み出す画素の数を異ならせることを特徴とする請求項1又は2に記載の撮像装置。
  4. 前記制御部は、前記グローバルシャッタモードを設定する場合と、前記グローバルシャッタモード以外のシャッタモードを設定する場合とで、前記撮像素子において電荷を読み出す垂直方向の画素の数を異ならせることを特徴とする請求項1又は2に記載の撮像装置。
  5. 前記制御部は、前記グローバルシャッタモードを設定する場合と、前記グローバルシャッタモード以外のシャッタモードを設定する場合とで、前記撮像素子の各画素から電荷を読み出して得られる画像のビット深度を異ならせることを特徴とする請求項1又は2に記載の撮像装置。
  6. 前記制御部は、前記グローバルシャッタモードを設定する場合において、前記撮像装置に設定されているフレームレート又は露光時間に基づいて、前記撮像素子の各画素から電荷を読み出す読出方式を決定することを特徴とする請求項1乃至5のうちいずれか1項に記載の撮像装置。
  7. フレームレート及び露光時間が互いに異なる複数の読出方式を記憶する記憶部を更に有し、
    前記制御部は、前記記憶部に記憶された複数の読出方式から、前記撮像装置に設定されているフレームレート又は露光時間を満たす1つの読出方式を選択することを特徴とする請求項6に記載の撮像装置。
  8. 前記グローバルシャッタモードを設定する場合に、前記撮像素子の各画素から電荷を読み出して得られる画像の画質を優先する第1モード、又は、フレームレートを優先する第2モードを選択可能であることを特徴とする請求項1乃至7のうちいずれか1項に記載の撮像装置。
  9. 被写体からの光に対応する電荷を蓄積する撮像素子を備えた撮像装置の制御方法であって、
    前記光に対する透過率を可変とし、前記撮像素子に前記光が入射する入射状態、又は、前記撮像素子に対する前記光の入射を遮光する遮光状態を設定できるNDフィルタと、前記撮像素子の駆動を制御する制御工程を有し、
    前記制御工程では、前記NDフィルタの透過率と前記撮像素子の駆動を制御することで、前記撮像素子の露光を開始する開始タイミングと、前記撮像素子の露光を終了する終了タイミングとが、前記撮像素子の各ラインでそれぞれ一致するグローバルシャッタモードと、当該グローバルシャッタモード以外のモードを設定でき、
    前記グローバルシャッタモードが設定されている場合と、前記グローバルシャッタモード以外のシャッタモードが設定されている場合とで、前記撮像素子の各画素から電荷を読み出す読出方式が異なることを特徴とする制御方法。
  10. 請求項9に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
JP2019115746A 2019-06-21 2019-06-21 撮像装置、制御方法及びプログラム Active JP7348756B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019115746A JP7348756B2 (ja) 2019-06-21 2019-06-21 撮像装置、制御方法及びプログラム
EP20180640.3A EP3754970A1 (en) 2019-06-21 2020-06-17 Electric apparatus, control method, and program
US16/906,989 US11743607B2 (en) 2019-06-21 2020-06-19 Electric apparatus, control method and non-transitory computer-readable storage medium
CN202010566077.0A CN112118375B (zh) 2019-06-21 2020-06-19 电子设备和控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019115746A JP7348756B2 (ja) 2019-06-21 2019-06-21 撮像装置、制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2021002771A true JP2021002771A (ja) 2021-01-07
JP7348756B2 JP7348756B2 (ja) 2023-09-21

Family

ID=71108383

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019115746A Active JP7348756B2 (ja) 2019-06-21 2019-06-21 撮像装置、制御方法及びプログラム

Country Status (4)

Country Link
US (1) US11743607B2 (ja)
EP (1) EP3754970A1 (ja)
JP (1) JP7348756B2 (ja)
CN (1) CN112118375B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024502815A (ja) * 2020-12-30 2024-01-23 ストライカー コーポレイション 医療用撮像におけるアーティファクトを軽減するためのシステム及び方法
US11765472B2 (en) * 2021-08-31 2023-09-19 Zebra Technologies Corporation Devices, system, and methods using transflective mirrors with rolling shutter sensors

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007189528A (ja) * 2006-01-13 2007-07-26 Canon Inc 撮像装置
JP2008187615A (ja) * 2007-01-31 2008-08-14 Canon Inc 撮像素子、撮像装置、制御方法、及びプログラム
JP2016025511A (ja) * 2014-07-22 2016-02-08 キヤノン株式会社 撮像素子、その制御方法およびコンピュータプログラム、並びに撮像装置
JP2017208612A (ja) * 2016-05-16 2017-11-24 三星ダイヤモンド工業株式会社 撮像装置および画像管理システム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7453514B2 (en) * 2003-05-07 2008-11-18 Pure Digital Technologies, Inc. Digital photography device having a rolling shutter
JP2008011298A (ja) 2006-06-30 2008-01-17 Fujitsu Ltd 固体撮像装置及びその制御方法
KR101549404B1 (ko) * 2008-11-18 2015-09-02 삼성전자주식회사 플래시 발광 제어 방법 및 장치, 및 이을 이용한 디지털 촬영 장치
JP5704957B2 (ja) * 2011-02-22 2015-04-22 キヤノン株式会社 動画撮影装置及びその制御方法
JP5794176B2 (ja) * 2012-03-02 2015-10-14 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
EP2984520B1 (en) 2013-04-05 2018-11-28 Red.Com, Llc Optical filtering for cameras
JP6220148B2 (ja) * 2013-04-26 2017-10-25 キヤノン株式会社 撮像装置およびその制御方法
CN110086980B (zh) * 2013-05-31 2022-06-24 株式会社尼康 电子设备
KR20150033192A (ko) * 2013-09-23 2015-04-01 삼성전자주식회사 리드아웃 모드 변경 가능한 디지털 촬영 장치 및 그 제어 방법
JP6700731B2 (ja) * 2015-11-13 2020-05-27 キヤノン株式会社 投影装置および投影システム
US10775605B2 (en) * 2016-06-16 2020-09-15 Intel Corporation Combined biometrics capture system with ambient free IR
JP2018142778A (ja) * 2017-02-27 2018-09-13 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム
JP6884064B2 (ja) * 2017-07-26 2021-06-09 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP7308440B2 (ja) * 2017-09-28 2023-07-14 パナソニックIpマネジメント株式会社 撮像装置、およびカメラシステム
KR102558488B1 (ko) * 2017-12-06 2023-07-20 소니 세미컨덕터 솔루션즈 가부시키가이샤 고체 촬상 장치, 고체 촬상 장치의 제어 방법 및 컴퓨터 프로그램
JP7369933B2 (ja) * 2019-07-22 2023-10-27 パナソニックIpマネジメント株式会社 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007189528A (ja) * 2006-01-13 2007-07-26 Canon Inc 撮像装置
JP2008187615A (ja) * 2007-01-31 2008-08-14 Canon Inc 撮像素子、撮像装置、制御方法、及びプログラム
JP2016025511A (ja) * 2014-07-22 2016-02-08 キヤノン株式会社 撮像素子、その制御方法およびコンピュータプログラム、並びに撮像装置
JP2017208612A (ja) * 2016-05-16 2017-11-24 三星ダイヤモンド工業株式会社 撮像装置および画像管理システム

Also Published As

Publication number Publication date
JP7348756B2 (ja) 2023-09-21
CN112118375A (zh) 2020-12-22
CN112118375B (zh) 2023-02-28
US11743607B2 (en) 2023-08-29
US20200404198A1 (en) 2020-12-24
EP3754970A1 (en) 2020-12-23

Similar Documents

Publication Publication Date Title
US11637955B2 (en) Image-displaying device and method for controlling image-displaying device
JP3860367B2 (ja) 撮像装置
JP2007264196A (ja) ストロボ制御装置及び方法
JP2007251382A (ja) 撮像装置
KR101700366B1 (ko) 디지털 촬영 장치 및 이의 제어 방법
JP2008092440A (ja) カメラおよび画像処理プログラム
CN112118375B (zh) 电子设备和控制方法
JP2008053931A (ja) 撮像装置
JP5138521B2 (ja) 撮像装置及び撮像方法
JP2010068046A (ja) 撮像装置
JP2007081629A (ja) 撮像装置
JP2006253970A (ja) 撮像装置、シェーディング補正データ作成方法およびプログラム
JP7545334B2 (ja) 撮像装置、制御方法、プログラム
JP4335648B2 (ja) デジタルカメラ及びデジタルカメラの撮像方法
WO2021241014A1 (ja) 撮像装置、撮像方法
JP6604216B2 (ja) 撮像装置
JP2019080261A (ja) 撮像装置
JP7336889B2 (ja) 撮像装置、制御方法及びプログラム
JP2004287183A (ja) デジタルカメラ
JP2017009815A (ja) 焦点検出装置、焦点検出方法、およびカメラシステム
JP4838644B2 (ja) 撮像装置及びその制御方法、及びプログラム
JP2013186369A (ja) 画像表示装置および画像表示方法
JP2018057024A (ja) 撮像装置
JP6562021B2 (ja) 撮像表示装置、画像処理装置、撮像装置および撮像表示装置の制御方法
JP6123935B2 (ja) 撮像表示装置、撮像装置、画像処理装置および撮像表示装置の制御方法

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230810

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230908

R151 Written notification of patent or utility model registration

Ref document number: 7348756

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151