JP2013175855A - 表示制御装置、表示制御方法および記録媒体 - Google Patents

表示制御装置、表示制御方法および記録媒体 Download PDF

Info

Publication number
JP2013175855A
JP2013175855A JP2012038213A JP2012038213A JP2013175855A JP 2013175855 A JP2013175855 A JP 2013175855A JP 2012038213 A JP2012038213 A JP 2012038213A JP 2012038213 A JP2012038213 A JP 2012038213A JP 2013175855 A JP2013175855 A JP 2013175855A
Authority
JP
Japan
Prior art keywords
display control
enlarged
image
frame
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012038213A
Other languages
English (en)
Other versions
JP5957948B2 (ja
JP2013175855A5 (ja
Inventor
Yoshihiro Otsuka
義博 大塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012038213A priority Critical patent/JP5957948B2/ja
Priority to US13/767,936 priority patent/US9691362B2/en
Priority to CN2013100515624A priority patent/CN103297673A/zh
Publication of JP2013175855A publication Critical patent/JP2013175855A/ja
Publication of JP2013175855A5 publication Critical patent/JP2013175855A5/ja
Application granted granted Critical
Publication of JP5957948B2 publication Critical patent/JP5957948B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/045Zooming at least part of an image, i.e. enlarging it or shrinking it
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

【課題】デジタルズームで拡大される領域とピント確認のために拡大される領域との関係を明確に表現することができる表示制御装置、表示制御方法および記録媒体を提供する。
【解決手段】入力画像に、該入力画像中におけるデジタルズームの対象となる領域を示す第1の枠と、入力画像中で拡大の対象となる領域を示す第2の枠を重畳表示するように表示制御を行う表示制御装置である。
【選択図】図2

Description

本技術は、表示制御装置、表示制御方法および記録媒体に関する。
撮像装置においては、デジタルズーム時には撮像可能な領域をパネルなどの表示デバイス上にスルー画として表示し、デジタルズームする領域以外の非撮像領域はパネル上には表示しないのが通常である。したがって、デジタルズーム時には、非撮像領域の状況はパネルを通じては把握することができない。
一方、ピントを調整するために焦点位置が最適に表示可能な固定の倍率で表示するモードでは、デジタルズームの倍率に関係なく、指定された表示位置が固定倍率で拡大表示される。
そこで、撮像可能領域とデジタルズーム領域の相対関係をスルー画上に表示する枠によって表現する技術が提案されている(特許文献1)。
一方、非デジタルズーム時にどの領域がピント拡大されるかを表現する技術も提案されている(特許文献2)。
特開2011−229172号公報 特許第3534101号公報
特許文献1に記載の技術では、撮像可能領域とデジタルズーム領域の相対関係はスルー画上に枠を表示することにより表現できているが、一部拡大を行う際にどの領域が拡大されるかは表現することができていない。
また、特許文献2に記載の技術では非デジタルズーム時にどの領域が一部拡大されるかについては表現できているが、デジタルズーム時に撮像可能な領域と一部拡大される領域の位置関係については表現できていない。
本技術は、このような点に鑑みてなされたものであり、デジタルズームで拡大される領域と、一部拡大される領域との関係を明示的に表現することができる表示制御装置、表示制御方法および記録媒体を提供することを目的とする。
上述した課題を解決するために、第1の技術は、入力画像に、該入力画像中におけるデジタルズームの対象となる領域を示す第1の枠と、入力画像中で拡大の対象となる領域を示す第2の枠を重畳表示するように表示制御を行う表示制御装置である。
また、第2の技術は、入力画像に、入力画像中におけるデジタルズームの対象となる領域を示す第1の枠と、入力画像中で拡大の対象となる領域を示す第2の枠を重畳表示するように表示制御を行う表示制御方法である。
また、第3の技術は、入力画像に、入力画像中におけるデジタルズームの対象となる領域を示す第1の枠と、入力画像中で拡大の対象となる領域を示す第2の枠を重畳表示するように表示制御を行う表示制御方法をコンピュータに実行させる画像処理プログラムが記録されたコンピュータにより読み取り可能な記録媒体である。
本技術によれば、デジタルズームで拡大される領域と一部拡大される領域との関係を明確に表現することができる。
図1は、本技術の第1の実施の形態に係る表示制御装置の構成を示すブロック図である。 図2は、表示制御装置を備える撮像装置の構成を示すブロック図である。 図3は、表示制御装置によって行われる表示制御処理の流れを示すフローチャートである。 図4Aは、表示制御の第1の具体例における非デジタルズーム表示画面であり、図4Bはデジタルズーム表示画面であり、図4Cは拡大領域指定画面であり、図4Dは拡大表示画面である。 図5Aは、表示制御の第2の具体例における非デジタルズーム表示画面であり、図5Bはデジタルズーム表示画面であり、図5Cは拡大領域指定画面であり、図5Dは拡大表示画面である。 図6は、本技術の第2の実施の形態に係る表示制御装置によって行われる表示制御処理の流れを示すフローチャートである。 図7Aは、第2の実施の形態に係る表示制御の具体例の非デジタルズーム表示画面であり、図7Bはデジタルズーム表示画面であり、図7Cは拡大領域指定画面であり、図7Dは拡大表示画面である。 図8Aは、拡大表示画面であり、図8Bは拡大表示画面のインジケータが変化した状態を示すものである。 図9Aは、拡大表示画面であり、図9Bは拡大領域が移動した状態の拡大表示画面を示すものである。
以下、本技術の実施の形態について図面を参照しながら説明する。ただし、本技術は以下の実施の形態のみに限定されるものではない。なお、説明は以下の順序で行う。
<1.第1の実施の形態>
[1−1.表示制御装置の構成]
[1−2.表示制御装置の機能を備える撮像装置の構成]
[1−3.表示制御処理]
<2.第2の実施の形態>
[2−1.表示制御処理]
<3.変形例>
<1.第1の実施の形態>
[1−1.表示制御装置の構成]
図1は、本技術に係る表示制御装置1の構成を示すブロック図である。表示制御装置1は、例えば、デジタルスチルカメラ、デジタルビデオカメラなどの撮像装置、カメラ機能を備えるスマートフォン、携帯電話機、携帯ゲーム機などの電子機器に搭載され、画像、映像を撮像する際に用いられる。
表示制御装置1は、例えば、CPU(Central Processing Unit)、RAM(Random Access Memory)およびROM(Read Only Memory)などにより所定のプログラムが実行されることなどにより実現される。ROMには、CPUにより読み込まれ動作されるプログラムなどが記憶されている。RAMはCPUのワークメモリとして用いられる。CPUはROMに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって表示制御装置として機能を実行する。
ただし、表示制御装置1は、プログラムによって実現されるのみでなく、表示制御装置の機能を有するハードウェアにより専用の装置として実現されてもよい。
表示制御装置1は、外部の表示部2に接続されており、表示部2における表示の制御を行うものである。表示制御装置1には表示部2において表示される画像データが外部から入力される。表示制御装置1による表示制御の詳細は後述する。表示部2は、例えば、撮像装置において、スルー画、撮像済の画像または動画、各種設定画面などを表示する表示手段である。表示部2としては例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro Luminescence)パネルなどがある。
また、表示制御装置1は外部の入力部3に接続されている。入力部3は、例えば、撮像装置に設けられた、撮像画像の記録の開始を指示するためのレリーズボタン、ズーム調整用の操作子、表示部と一体に構成されたタッチスクリーン、その他各種ボタンなどである。入力部3に対して入力がなされると、その入力に応じた制御信号が生成されて表示制御装置に出力される。そして、表示制御装置1はその制御信号に対応した表示制御を行う。このようにして、表示制御装置1は入力部3を介して各種入力を受け付ける。
[1−2.表示制御装置の機能を備える撮像装置の構成]
以下、上述した表示制御装置1の機能を備える撮像装置10の構成の一例について説明する。図2は撮像装置10の全体構成を示すブロック図である。
撮像装置10は、光学撮像系11、撮像素子12、タイミングジェネレータ13、前処理回路14、カメラ処理回路15、画像メモリ16、制御部17、表示部18、入力部19、R/W(リーダ/ライタ)20および記憶媒体21から構成されている。これらのうち、光学撮像系11、タイミングジェネレータ13、前処理回路14、カメラ処理回路15、画像メモリ16、入力部19およびR/W20は制御部17に接続されている。また、制御部17は所定のプログラムを実行することによりデジタルズーム処理部22、表示制御部23として機能する。表示制御部23は図1における表示制御装置1に相当するものである。また、表示部18は図1における表示部2に相当し、入力部19は図1における入力部3に相当するものである。
光学撮像系11は、被写体からの光を撮像素子12に集光するためのレンズ、レンズを移動させてピント合わせやズーミングを行うための駆動機構、シャッター機構、アイリス機構などから構成されている。これらは制御部17からの制御信号に基づいて駆動する。光学撮像系11を介して得られた被写体の光画像は、撮像デバイスとしての撮像素子12上に結像される。
撮像素子12は、タイミングジェネレータ13から出力されるタイミング信号に基づいて駆動され、被写体からの入射光を光電変換して電荷量に変換し、アナログ撮像信号として出力する。撮像素子12から出力されるアナログ撮像信号は前処理回路14に出力される。撮像素子12としては、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などが用いられる。タイミングジェネレータ13は、制御部17の制御に従い撮像素子12に対してタイミング信号を出力する。
前処理回路14は、撮像素子12から出力されたアナログ撮像信号に対して、CDS(Correlated Double Sampling)処理によりS/N(Signal/Noise)比を良好に保つようにサンプルホールドなどを行う。さらに、AGC(Auto Gain Control)処理により利得を制御し、A/D(Analog/Digital)変換を行ってデジタル画像信号を出力する。
カメラ処理回路15は、前処理回路14からの画像信号に対して、ホワイトバランス調整処理や色補正処理、ガンマ補正処理、Y/C変換処理、AE(Auto Exposure)処理などの信号処理を施す。
画像メモリ16は、揮発性メモリ、例えば、DRAM(Dynamic Random Access Memory)で構成されるバッファメモリであり、前処理回路14およびカメラ処理回路15によって所定の処理が施された画像データを一時的に蓄えておくものである。
制御部17は、例えばCPU、RAMおよびROMなどから構成されている。ROMには、CPUにより読み込まれて動作されるプログラムなどが記憶されている。RAMは、CPUのワークメモリとして用いられる。CPUは、ROMに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置10全体の制御を行う。また、制御部17は所定のプログラムを実行することにより、デジタルズーム処理部22、表示制御部23として機能する。
制御部17は、ユーザから入力部20に対してピント合わせの操作入力がなされた場合には、光学撮像系11に制御信号を送信し、駆動機構を動作させてピント合わせを行う。
デジタルズーム処理部22は、撮像素子12により取得され、カメラ処理回路15などにより所定の処理が施された画像においてユーザにより指定された領域を拡大する処理を行うものである。なお、デジタルズームとは光学的に取得された画像の一部をデジタル処理により切り出して拡大する機能である。デジタルズームされた画像は、表示部においてスルー画として表示可能である。また、デジタルズームした状態でユーザによりレリーズ操作がなされた場合にはデジタルズームされた状態の画像が撮像済の画像として保存される。
表示制御部23は図1を参照して説明したように、表示部18における表示制御を行うものである。表示制御部23には、撮像素子12により取得され、カメラ処理回路15などにより所定の処理が施された画像が入力画像データとして入力される。
表示部18は、例えば、LCD、PDP、有機ELパネルなどの画像表示手段である。表示部は、制御部17から供給された画像信号を受け、表示制御部23の制御のもと、撮像中のスルー画、記憶媒体21に記録された画像、各種設定画面などを表示する。
入力部19は、例えば、電源オン/オフ切り替えのための電源ボタン、撮像画像の記録の開始を指示するためのレリーズボタン、ズーム調整用の操作子、表示部18と一体に構成されたタッチスクリーンなどからなる入力手段である。入力部19に対して入力がなされると、その入力に応じた制御信号が生成されて制御部17に出力される。そして、制御部17はその制御信号に対応した演算処理や制御を行う。
本実施の形態においては、表示制御部23は入力部19を介して、デジタルズーム倍率、デジタルズーム領域の指定、拡大領域指定モードへの移行、拡大領域の位置の指定、拡大領域決定などのユーザからの入力を受け付ける。
R/W20には、撮像により生成された画像データなどを記録する記録媒体22が接続されるインターフェースである。R/W20は、制御部17から供給されたデータを記憶媒体21に書き込み、また、記憶媒体21から読み出したデータを制御部17に出力する。記憶媒体21は、例えば、ハードディスク、メモリースティック(ソニー株式会社の登録商標)、SDメモリーカードなどの大容量記憶媒体である。画像は例えばJPEGなどの規格に基づいて圧縮された状態で保存される。また、保存された画像に関する情報、撮像日時などの付加情報を含むEXIF(Exchangeable Image File Format)データもその画像に対応付けられて保存される。
[1−3.表示制御処理]
次に、図3および図4を参照して、表示制御部23によって行われる処理について説明する。図3は、表示制御部23によって行われる処理の流れを示すフローチャートである。図4は、表示制御部23によって行われる表示の具体例を示すものである。なお、表示制御部23は図2に示した撮像装置10に搭載され、表示制御部23による処理がその撮像装置10において行われる場合を例にして説明を行う。
処理開始の時点で、図4Aに示されるように、表示部18にはスルー画として被写体が非デジタルズーム状態(倍率1.0倍)で表示されているものとする。そして、まず、ステップS101で、入力部19は、ユーザによるデジタルズームの操作入力を受け付ける。
デジタルズームの操作入力がなされると、デジタルズーム処理部22によりデジタルズーム処理がなされる。そして、ステップS102で表示制御部23は、図4Bに示されるように、デジタルズームされた画像をスルー画として表示部18に表示する。ユーザは、このデジタルズームされた被写体をスルー画上で確認することにより、画角、構図、画像に含めるべき被写体などを決定することができる。
次にステップS103で、表示制御部23は入力部19を介して、ユーザからの拡大領域指定モードへの移行の指示を受け付ける。次にステップS104で、表示制御部23は、図4Cに示されるように、スルー画の表示を非デジタルズーム状態(倍率1.0倍)にする。さらに、ステップS105で、図4Cにおいて実線の枠で示されるように、デジタルズームの領域を示す枠(以下、デジタルズーム領域枠110と称する。)をスルー画として表示されている画像上に重畳表示する。デジタルズーム領域枠110は特許請求の範囲における「第1の枠」に相当するものである。
これにより、ユーザは、デジタルズームで拡大される領域の大きさ、位置などを把握しながら同時に、デジタルズームで拡大される領域外の非撮像領域の状況もスルー画を通じて把握することができる。
さらに拡大領域指定モードでは、表示制御部23はステップS106で、拡大領域を指定するための枠(以下、拡大領域指定枠120と称する。)をスルー画として表示されている画像上に重畳表示する。図4Cにおいては、拡大領域指定枠120は破線で示されている。拡大領域指定枠120は特許請求の範囲における「第2の枠」に相当するものである。
拡大領域指定枠120は、入力部19が受け付けるユーザの操作に応じてデジタルズーム領域枠110内で任意の位置に移動可能なものである。
なお、デジタルズーム領域枠110と拡大領域指定枠120には異なる色を付すなどして視覚的に容易に区別できるようにするとよい。
次にステップS107で、入力部19を介してユーザによる拡大領域指定枠120の移動の指示を受け付けると、処理はステップS108に進む(ステップS107のYes)。そして、ステップS108で、表示制御部23はその指示内容に応じて拡大領域指定枠120を移動させる。
スルー画において、デジタルズーム領域枠110外の領域は撮像しても画像に収まらない非撮像領域であり、デジタルズーム領域枠110内は画像に収まる撮像領域であり、拡大領域指定枠120内が拡大表示される領域である。
次に処理はステップS109に進む。なお、上述のステップS107で入力部19に対してユーザによる拡大領域指定枠120の移動の入力がない場合にも同様に処理はステップS109に進む(ステップS107のNo)。
次にステップS109で、入力部19を介してユーザによる拡大領域の決定を指示する入力を受け付けると、処理はステップS110に進む(ステップS109のYes)。
次にステップS110で表示制御部23は、図4Dに示されるように、画像の拡大領域指定枠120内の領域をスルー画の大きさまで拡大して表示部18に表示する。この拡大表示画面は例えば、画像の拡大領域指定枠120内をデジタルズームすることにより実現される。
この拡大表示画面では、ユーザが所望する被写体が表示部18において大きく表示される。この拡大表示画面はユーザの撮像を補助する用途に用いることができる。例えば、拡大表示画面を見ながらピント合わせを行うことにより、ユーザは所望の被写体に正確にピントを合わせることができる。
さらに、拡大表示画面においては、ステップS111で表示制御部23は、スルー画の端(図4Dにおいては左下)にデジタルズーム領域枠110と拡大領域指定枠120との位置関係を示すインジケータ130を重畳表示する。このインジケータ130は、デジタルズーム領域枠110に対応する第1の小枠111と、拡大領域指定枠120に対応する第2の小枠121とから構成されている。図4Dにおいては、第1の小枠111は実線で、第2の小枠121は破線で示されている。
第1の小枠111と第2の小枠121との位置および大きさの関係は、デジタルズーム領域枠110と拡大領域指定枠120との位置および大きさの関係に対応している。すなわち、第1の小枠111と第2の小枠121とが小さいサイズで、デジタルズーム領域枠110と拡大領域指定枠120との関係を示している。
なお、拡大表示画面においても、表示制御部23は入力部19を介して拡大領域指定枠110の移動の指示を受け付け可能としてもよい。拡大表示画面において、入力部19が拡大領域の移動の指示を受け付けると、表示制御部23はスルー画における拡大領域の表示をユーザの入力に応じて移動させる。これにより、拡大表示する領域を変更することができる。
また、拡大表示画面において、入力部19を介して拡大領域の移動を指示する入力を受け付けた場合、表示制御部23は、インジケータ130における第2の小枠121の位置を移動させるとよい。これにより、デジタルズーム領域枠110および拡大領域指定枠が表示されていない状態であってもデジタルズーム領域と拡大領域との相対位置関係を容易に把握することが可能となる。なお、インジケータ130においては、デジタルズーム領域を示す第1の小枠111はその位置が固定されている。
そして、次にステップS112で、入力部19を介してユーザから拡大表示終了指示を受け付けると、表示制御部23による処理は終了となる(ステップS112のYes)。なお、拡大表示終了の指示がなされた場合に、撮像装置10において撮像が行われ、図4Bに示されるデジタルズーム状態の画像が撮像済画像として取得されるようにしてもよい。
なお、拡大表示画面をピント合わせに用いる場合において、ピントが合ったと判断した時点でユーザが撮像装置10のレリーズ操作を行った場合には、撮像装置10はそのまま撮像を行うよい。ただし、拡大表示画面において、ピントが合ったと判断した時点でユーザがピント決定を指示する入力を行った場合、一度、図4Bに示されるデジタルズーム表示状態に戻り、ユーザがスルー画においてデジタルズームの状態を確認できるようにしてもよい。この場合、ユーザはデジタルズーム状態を確認した後にレリーズ操作を行って撮像を行う。
図5は、表示制御部23によって行われる表示制御の第2の具体例を示すものである。
図5Aは、表示部18において、スルー画として被写体が非デジタルズーム状態(倍率1.0倍)で表示されている状態である。ユーザが入力部19に対してデジタルズームの操作入力を行うと、表示制御部23は、図5Bに示されるようにデジタルズームされた画像をスルー画として表示部18に表示する。
次に、入力部19を介して拡大領域指定モードへの移行の入力指示を受け付けると、表示制御部23は、図5Cに示されるように、スルー画の表示を非デジタルズーム状態(倍率1.0倍)にする。さらに、デジタルズームされている領域を示すデジタルズーム領域枠110をスルー画上に重畳表示する。図5Cにおいて、デジタルズーム領域枠110は実線で示されている。
さらに、拡大領域指定モードでは、表示制御部23は、拡大領域を指定するための拡大領域指定枠120をスルー画上に重畳表示する。図5Cにおいて、拡大領域指定枠120は破線で示されている。スルー画において、デジタルズーム領域枠110外の領域は撮像しても画像に収まらない非撮像領域であり、デジタルズーム領域枠110内は撮像済画像に収まる撮像領域であり、拡大領域指定枠120内が拡大表示される領域である。
図5に示す例は、図4に示した例に比べて、デジタルズームの倍率が高いため、図5Cにおいては、図4Cに比べてデジタルズーム領域枠110が小さくなっており、デジタルズーム領域枠110と拡大領域指定枠120の大きさが接近している。
拡大領域指定枠120の位置が決定し、ユーザが拡大領域指定枠120の位置の決定入力を行うと、表示制御部23は、図4Dに示されるように、決定された拡大領域指定枠120内の画像をスルー画の大きさまで拡大して表示する。この拡大表示画面では、ユーザが所望する被写体が表示部18に大きく表示される。よって、この状態でスルー画を見ながらピント合わせを行うことにより、ユーザは正確に所望の被写体に正確にピントを合わせることができる。なお、この拡大表示画面も拡大領域指定枠120の画像をデジタルズームすることにより実現される。
また、拡大表示画面においては、表示制御部23は、スルー画の端(図5Dにおいては左下)にデジタルズーム領域枠110と拡大領域指定枠と120の位置関係を示すインジケータ130を重畳表示する。このインジケータ130は、デジタルズーム領域枠110を示す第1の小枠111と、拡大領域指定枠を示す第2の小枠121とから構成されている。第1の小枠111は実線で、第2の小枠121は破線で示されている。
拡大表示画面においても入力部19は、拡大領域の移動の指示を受け付けることが可能である。入力部19が、拡大表示画面において拡大領域の移動の指示を受け付けると、表示制御部23は、スルー画における拡大領域の表示をユーザの入力に応じて移動させる。これにより、拡大表示する被写体を変更することができる。
また、拡大表示画面におけるユーザにからの拡大領域の移動の指示に応じて、表示制御部23はインジケータ130における第2の小枠121を移動させる。これにより、デジタルズーム領域枠110および拡大領域指定枠120が表示されていない状態であってもデジタルズーム領域と拡大領域との相対位置関係を容易に把握することが可能となる。なお、インジケータ130においては、デジタルズーム領域を示す第1の小枠111はその位置が固定されている。
図5に示す例においては、図5Aと図4Aとを比較してわかるように非デジタルズーム状態(倍率1.0倍)における表示範囲が広くなっている。そして、図5Bと図4Bとを比較してわかるようにデジタルズーム領域は同程度の大きさである。したがって、図5Cおいては図4Cに比べて、デジタルズーム領域枠110と拡大領域指定枠120との大きさが近づいている。
なお、図4C、図5Cに示されるデジタルズーム領域枠110および拡大領域指定枠120が重畳表示されている状態において、デジタルズーム領域枠110の位置、サイズを変更することにより、デジタルズームの対象となる領域を変更できるようにしてもよい。
以上のように、第1の実施の形態においては、画像の拡大を行う際に、デジタルズームされた領域内におけるどこの領域が拡大されるかを容易に把握することができる。また、拡大表示画面においては、デジタルズーム領域と拡大領域との位置関係がインジケータ130で表示されるので、いかなるときであってもデジタルズーム領域と拡大領域との相対位置関係を容易に把握することができる。
<2.第2の実施の形態>
[2−1.表示制御処理]
次に、本技術の第2の実施の形態について説明する。図6は第2の実施の形態に係る表示制御部23の処理の流れを示すフローチャートである。また、図7は、表示制御部23によって行われる表示の具体例を示すものである。なお、表示制御装置の機能を備える撮像10の構成は、第1の実施の形態と同様であるため、その説明を省略する。
詳しくは後述するが、第2の実施の形態は、拡大表示画面においてもデジタルズームの対象となる領域を変更することが可能な点で第1の実施の形態と異なる。さらに、インジケータ230に縮小画像が含まれる点でも第1の実施の形態と異なる。
なお、図6のフローチャートにおいては、ステップS101乃至ステップS110までは第1の実施の形態と同様である。
処理開始の時点で、図7Aに示されるように、表示部にはスルー画として被写体が非デジタルズーム状態(倍率1.0倍)で表示されているものとする。そして、ステップS101で、入力部19を介してユーザからのデジタルズームの操作入力を受け付けると、ステップS102で表示制御部23は、図7Bに示されるようにデジタルズームされた画像をスルー画として表示部18に表示する。
次にステップS103で、入力部19を介してユーザからの拡大領域指定モードへの移行の指示が入力されると、ステップS104で表示制御部23は、図7Cに示されるように、スルー画の表示を非デジタルズーム状態(倍率1.0倍)にする。そして、ステップS105で、表示制御部23はデジタルズーム領域枠210をスルー画上に重畳表示する。さらに、表示制御部23はステップS106で、拡大領域指定枠220をスルー画上に重畳表示する。図7Cにおいては、デジタルズーム領域枠210は実線で示され、拡大領域指定枠220は破線で示されている。
次にステップS107で、入力部19を介してユーザからの拡大領域の移動の指示を受け付けると、処理はステップS108に進み(ステップS107のYes)、表示制御部23はその指示に応じて拡大領域指定枠220を移動させる。
次に処理はステップS110に進む。なお、上述のステップS108で入力部19に対してユーザによる拡大領域指定枠220の移動の入力がない場合にも同様に処理はステップS110に進む(ステップS108のNo)。
次にステップS109で、入力部19を介してユーザからの拡大領域指定枠220の位置が決定したことの操作入力を受け付けると、処理はステップS110に進む(ステップS109のYes)。そしてステップS110で、表示制御部23は、図7Dに示されるように、決定された拡大領域指定枠220内の画像をスルー画の大きさまで拡大して表示する。
次にステップS201で、表示制御部23は、拡大表示されている拡大領域指定枠220内の画像上の端(図7Dにおいては左下)にデジタルズーム領域枠210と拡大領域指定枠220220との位置関係を示すインジケータ230を重畳表示する。このインジケータ230は、非デジタルズーム状態(倍率1.0倍)のスルー画の縮小画像240と、その縮小画像240上に重畳表示された、デジタルズーム領域枠210を示す第1の小枠211と、拡大領域指定枠220を示す第2の小枠221とから構成されている。図7Dにおいては、第1の小枠211は実線で示され、第2の小枠221は破線で示されている。表示制御部23は、入力画像の縮小画像を生成して、インジケータ230の構成要素として拡大表示されている画像上に重畳表示する。
第1の実施の形態とは異なり、インジケータ230には、非デジタルズーム状態(倍率1.0倍)のスルー画の縮小画像240が含まれており、その縮小画像240上に第1の小枠211と第2の小枠221とが重畳表示されている。これにより、インジケータ230は、図7Cに示される非デジタルズーム状態(倍率1.0倍)のスルー画にデジタルズーム領域枠210と拡大領域指定枠220とが重畳表示された状態を再現していることとなる。
これによりユーザは、拡大表示画面においてもデジタルズームがどの領域をズームしているのかということを容易に把握することができる。さらに、拡大表示画面においても拡大領域がデジタルズーム領域のどこに位置しているかを容易に把握することができる。
インジケータ230表示後、処理はステップS202に進む。ステップS202で、入力部19に対してユーザからのデジタルズームの対象となる領域の変更を指示する入力があった場合、処理はステップS203に進む(ステップS202のYes)。そしてステップS203で、表示制御部23は、図8Aの状態から図8Bの状態に至るように、インジケータ230における第1の小枠211を変更されたデジタルズームの領域に合わせて変更する。これにより、スルー画として拡大領域が拡大されて表示されている状態であってもデジタルズームの領域がどのように変わったかを容易に把握することができる。よって、拡大表示画面であっても被写体全体の位置、構成、配置などを考慮しながら拡大領域を変更することができる。
ただし、スルー画は拡大領域を拡大表示している状態であるため、デジタルズームの対象となる領域が変更されてもスルー画の表示は変わらない。ただし、この状態でユーザがレリーズ操作行った場合には、変更後のデジタルズームの領域に基づいて撮像が行われる。
ステップS202で、入力部19に対してユーザによるデジタルズームの領域の変更を指示する入力がなかった場合、処理はステップS204に進む(ステップS202のNo)。次にステップS204で、入力部19に対してユーザによる拡大領域の位置の変更を指示する入力があった場合、処理はステップS205に進む(ステップS204のYes)。
そしてステップS205で、表示制御部23は、ユーザの入力に応じて拡大領域を移動させる。拡大領域が移動した結果、図9に示されるように、スルー画に表示される被写体も変化する。
図9Aは、図7Dに示される表示状態と同じものであり、スルー画が拡大表示画面である場合を示すものである。図9Aの状態で、ユーザにより拡大領域の移動を指示する入力がなされると(図9においては左方向に移動指示)、表示制御部23は、図9Bに示されるように、入力された移動量に従い、インジケータ230における第2の小枠221を左方向に移動させる。
さらに、図9Bに示されるように、ユーザにより入力された移動量の分だけスルー画が左方向に移動している。このように第2の実施の形態においては、インジケータ230に非デジタルズームの縮小画像240が含まれており、拡大領域の移動に伴い、その縮小画像240上で拡大領域を示す第2の枠が移動する。これによりユーザは、スルー画として拡大領域が拡大表示されている状態であっても、被写体全体の位置、構成、配置などを考慮しながら拡大領域を変更することができる。
なお、図9においては、拡大領域を左方向に移動させたが、これはあくまで説明のための例示であり、上下左右斜めあらゆる方向に移動可能である。
また、ステップS202およびステップS203のデジタルズームに関する処理と、ステップS204とステップS205の拡大領域に関する処理の順序は図7のフローチャートの順序に限られない。先に拡大領域に関する処理を行うようにしてもよいし、両処理を並列的に同時に行なってもよい。
次に処理はステップS206に進み、入力部19に対して拡大領域決定の入力がなされると、表示制御部23が搭載された撮像装置において撮像が行われて撮像済画像が取得される。
なお、拡大領域決定入力後から撮像前までに、スルー画をデジタルズーム表示状態を戻し、ユーザがスルー画においてデジタルズームの状態を確認できるようにしてもよいのは第1の実施の形態と同様である。この場合、ユーザはデジタルズーム状態を確認した後シャッターを押下して撮像を行う。
なお、ステップS206で入力部19に対して拡大表示終了指示が入力されない場合、処理はステップS202に進む(ステップS206のNo)。そして、入力部19を介して拡大表示終了を指示する入力がされるまで、ステップS202からステップS206までの処理が繰り返される。入力部19を介してユーザから拡大表示終了指示を受け付けると、表示制御部23による処理は終了となる(ステップS206のYes)。
このように、本技術の第2の実施の形態においては、拡大表示画面において、非デジタルズーム状態の画像の縮小画像240が重畳表示されるので、ピント合わせを行いながら同時に、被写体全体についても把握することができる。また、拡大表示画面においてもデジタルズームの対象となる領域の変更が可能となっている。これにより、ピント位置を固定した状態で、撮像可能な画角を変更し、画像の構図を変更することなどが可能となる。
ピント用拡大領域指定画面と拡大表示画面でデジタルズームの領域を変更可能とすることで、スルー画上でピントを合わせた状態で、デジタルズームの領域の変更による画角調整することができる。これにより、マクロ撮像時等の構図選定等で、ユーザの撮像の幅が広がることが期待できる。
なお、上述の表示制御装置の処理機能はコンピュータによって実現することができる。その場合、この表示制御装置が有すべき機能の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上述の処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、光ディスク、半導体メモリなどのコンピュータで読み取り可能な記録媒体に記録しておくことができる。
プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクや半導体メモリなどの可搬型記録媒体が提供または販売される。また、プログラムをサーバに格納しておき、ネットワークを介してそのプログラムを提供することもできる。
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバから転送されたプログラムを自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
<3.変形例>
以上、本技術の一実施の形態について具体的に説明したが、本技術は上述の実施形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
上述の実施の形態では、表示制御装置1をデジタルスチルカメラなどの撮像装置に適用する場合について説明したが、それ以外の撮像装置に対しても本技術を適用することができる。例えば、デジタルビデオカメラや、カメラ機能を備える携帯電話機、カメラ機能を備える携帯ゲーム機などにも適用可能である。
また、表示制御装置1は、ネットワークカメラと、ネットワークカメラからの画像をネットワークを介して受信するパーソナルコンピュータなどの受信端末とからなるいわゆるネットワークカメラシステムに適用することも可能である。この場合、受信端末側が表示制御装置1の機能を備え、領域特定処理の結果をネットワークカメラに送信するようにしてもよい。また、ネットワークカメラが表示制御装置1の機能を備え、指定領域としての被写体を追尾しながら取得した画像を受信端末に送信するようにしてもよい。
なお、本技術は以下のような構成も取ることができる。
(1)入力画像に、該入力画像中におけるデジタルズームの対象となる領域を示す第1の枠と、前記入力画像中で拡大の対象となる領域を示す第2の枠を重畳表示するように表示制御を行う
表示制御装置。
(2)前記第1の枠及び前記第2の枠を重畳表示している状態で、前記拡大の対象となる領域を指定するための指示を受け付ける
前記(1)に記載の表示制御装置。
(3)前記拡大の対象となる領域を指定するための指示を受け付けると、前記入力画像中の前記拡大の対象となる領域を拡大画像として表示する
前記(2)に記載の表示制御装置。
(4)前記拡大画像を表示している状態で、前記デジタルズームの対象となる領域と前記拡大の対象となる領域との位置関係を表すインジケータを表示するように制御する
前記(3)に記載の表示制御装置。
(5)前記インジケータは、前記第1の枠に対応する第1の小枠と、前記第2の枠に対応する第2の小枠とから構成されている
前記(4)に記載の表示制御装置。
(6)前記入力画像を縮小した縮小画像を生成し、前記拡大画像に前記縮小画像を重畳表示し、さらに前記縮小画像に前記インジケータを重畳表示するように制御する
前記(4)または(5)に記載の表示制御装置。
(7)前記拡大画像を表示した状態で、前記デジタルズームの対象となる領域を指定するための指示を受け付ける
前記(3)から(6)のいずれかに記載の表示制御装置。
(8)前記第1の枠と前記第2の枠を重畳表示している状態で、前記デジタルズームの対象となる領域を指定するための指示を受け付ける
前記(1)から(7)のいずれかに記載の表示制御装置。
(9)前記デジタルズームした画像を表示している状態で、前記拡大をするための指示を検出すると、前記第1の枠及び前記第2の枠を重畳表示するように制御する
前記(1)から(8)のいずれかに記載の表示制御装置。
(10)前記拡大は、フォーカス確認のための拡大である
前記(1)から(9)のいずれかに表示制御装置。
(11)被写体を撮像する撮像部をさらに有する
前記(1)から(10)のいずれかに記載の表示制御装置。
(12)入力画像に、該入力画像中におけるデジタルズームの対象となる領域を示す第1の枠と、前記入力画像中で拡大の対象となる領域を示す第2の枠を重畳表示するように表示制御を行う
表示制御方法。
(13)入力画像に、該入力画像中におけるデジタルズームの対象となる領域を示す第1の枠と、前記入力画像中で拡大の対象となる領域を示す第2の枠を重畳表示するように表示制御を行う
表示制御方法をコンピュータに実行させる画像処理プログラムが記録されたコンピュータにより読み取り可能な記録媒体。
1・・・表示制御装置
23・・表示制御部

Claims (13)

  1. 入力画像に、該入力画像中におけるデジタルズームの対象となる領域を示す第1の枠と、前記入力画像中で拡大の対象となる領域を示す第2の枠を重畳表示するように表示制御を行う
    表示制御装置。
  2. 前記第1の枠及び前記第2の枠を重畳表示している状態で、前記拡大の対象となる領域を指定するための指示を受け付ける
    請求項1に記載の表示制御装置。
  3. 前記拡大の対象となる領域を指定するための指示を受け付けると、前記入力画像中の前記拡大の対象となる領域を拡大画像として表示する
    請求項2に記載の表示制御装置。
  4. 前記拡大画像を表示している状態で、前記デジタルズームの対象となる領域と前記拡大の対象となる領域との位置関係を表すインジケータを表示するように制御する
    請求項3に記載の表示制御装置。
  5. 前記インジケータは、前記第1の枠に対応する第1の小枠と、前記第2の枠に対応する第2の小枠とから構成されている
    請求項4に記載の表示制御装置。
  6. 前記入力画像を縮小した縮小画像を生成し、前記拡大画像に前記縮小画像を重畳表示し、さらに前記縮小画像に前記インジケータを重畳表示するように制御する
    請求項4に記載の表示制御装置。
  7. 前記拡大画像を表示した状態で、前記デジタルズームの対象となる領域を指定するための指示を受け付ける
    請求項3に記載の表示制御装置。
  8. 前記第1の枠と前記第2の枠を重畳表示している状態で、前記デジタルズームの対象となる領域を指定するための指示を受け付ける
    請求項1に記載の表示制御装置。
  9. 前記デジタルズームした画像を表示している状態で、前記拡大をするための指示を検出すると、前記第1の枠及び前記第2の枠を重畳表示するように制御する
    請求項1に記載の表示制御装置。
  10. 前記拡大は、フォーカス確認のための拡大である
    請求項1に記載の表示制御装置。
  11. 被写体を撮像する撮像部をさらに有する
    請求項1に記載の表示制御装置。
  12. 入力画像に、該入力画像中におけるデジタルズームの対象となる領域を示す第1の枠と、前記入力画像中で拡大の対象となる領域を示す第2の枠を重畳表示するように表示制御を行う
    表示制御方法。
  13. 入力画像に、該入力画像中におけるデジタルズームの対象となる領域を示す第1の枠と、前記入力画像中で拡大の対象となる領域を示す第2の枠を重畳表示するように表示制御を行う
    表示制御方法をコンピュータに実行させる表示制御プログラムが記録されたコンピュータにより読み取り可能な記録媒体。
JP2012038213A 2012-02-24 2012-02-24 表示制御装置、表示制御方法および記録媒体 Active JP5957948B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012038213A JP5957948B2 (ja) 2012-02-24 2012-02-24 表示制御装置、表示制御方法および記録媒体
US13/767,936 US9691362B2 (en) 2012-02-24 2013-02-15 Display control apparatus, display control method, and recording medium displaying frames indicating portions of an image
CN2013100515624A CN103297673A (zh) 2012-02-24 2013-02-17 显示控制装置、显示控制方法和记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012038213A JP5957948B2 (ja) 2012-02-24 2012-02-24 表示制御装置、表示制御方法および記録媒体

Publications (3)

Publication Number Publication Date
JP2013175855A true JP2013175855A (ja) 2013-09-05
JP2013175855A5 JP2013175855A5 (ja) 2015-02-26
JP5957948B2 JP5957948B2 (ja) 2016-07-27

Family

ID=49002371

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012038213A Active JP5957948B2 (ja) 2012-02-24 2012-02-24 表示制御装置、表示制御方法および記録媒体

Country Status (3)

Country Link
US (1) US9691362B2 (ja)
JP (1) JP5957948B2 (ja)
CN (1) CN103297673A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022201819A1 (ja) 2021-03-26 2022-09-29 ソニーグループ株式会社 撮像装置、および撮像装置制御方法、並びにプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5293587B2 (ja) 2009-12-16 2013-09-18 ソニー株式会社 表示制御装置、表示制御方法、プログラム
JP6078943B2 (ja) 2011-02-28 2017-02-15 ソニー株式会社 画像処理装置および方法、並びに、プログラム
CN105578275A (zh) * 2015-12-16 2016-05-11 小米科技有限责任公司 视频显示方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009177345A (ja) * 2008-01-22 2009-08-06 Canon Inc 撮像装置
JP2010045625A (ja) * 2008-08-13 2010-02-25 Hoya Corp 撮像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6803931B1 (en) * 1999-11-04 2004-10-12 Kendyl A. Roman Graphical user interface including zoom control box representing image and magnification of displayed image
JP3534101B2 (ja) 2001-10-18 2004-06-07 ミノルタ株式会社 デジタルカメラ
JP3927571B2 (ja) * 2004-10-25 2007-06-13 株式会社日立国際電気 画像表示プログラム
JP2009284309A (ja) * 2008-05-23 2009-12-03 Casio Comput Co Ltd 撮像装置、表示制御プログラム及び表示制御方法
KR101857564B1 (ko) * 2009-05-15 2018-05-15 삼성전자 주식회사 휴대 단말기의 이미지 처리 방법
JP5293587B2 (ja) 2009-12-16 2013-09-18 ソニー株式会社 表示制御装置、表示制御方法、プログラム
JP6078943B2 (ja) 2011-02-28 2017-02-15 ソニー株式会社 画像処理装置および方法、並びに、プログラム
JP5223950B2 (ja) 2011-06-21 2013-06-26 カシオ計算機株式会社 撮像装置、表示制御プログラム及び表示制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009177345A (ja) * 2008-01-22 2009-08-06 Canon Inc 撮像装置
JP2010045625A (ja) * 2008-08-13 2010-02-25 Hoya Corp 撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022201819A1 (ja) 2021-03-26 2022-09-29 ソニーグループ株式会社 撮像装置、および撮像装置制御方法、並びにプログラム

Also Published As

Publication number Publication date
CN103297673A (zh) 2013-09-11
US20130222421A1 (en) 2013-08-29
JP5957948B2 (ja) 2016-07-27
US9691362B2 (en) 2017-06-27

Similar Documents

Publication Publication Date Title
US9830947B2 (en) Image-capturing device
RU2518215C2 (ru) Устройство управления отображением и его способ управления
JP4288612B2 (ja) 画像処理装置および方法、並びにプログラム
JP5363157B2 (ja) 撮影装置およびライブビュー表示方法
JP2007295183A (ja) 画像再生装置、画像再生方法、画像再生プログラム及び撮像装置
TW200808044A (en) Imaging apparatus and computer readable recording medium
JP2014222801A (ja) 撮像装置、撮像方法、プログラム
JP2010081535A (ja) 撮像装置、撮像方法、及びプログラム
JP2009021880A (ja) 遠隔撮影システム
JP2012222495A (ja) 画像処理装置、画像処理方法、及びプログラム
JP5957948B2 (ja) 表示制御装置、表示制御方法および記録媒体
JP2010268019A (ja) 撮影装置
JP2011040896A (ja) 撮像装置及びその制御方法
JP2006344168A (ja) 画像表示装置及び撮影装置
JP2009290819A (ja) 撮影装置、撮影制御プログラム、並びに画像再生装置、画像再生プログラム
JP2009081530A (ja) 撮像装置、及び撮影方法
US9160872B2 (en) Display control apparatus and display control method
JP4788172B2 (ja) 撮像装置及びプログラム
JP2013084084A (ja) 電子機器および電子機器の制御プログラム
US20230217105A1 (en) Imaging device, imaging control device, control method of imaging device, and program
JP4853447B2 (ja) デジタルカメラと、そのフォーカス制御システム、フォーカス制御方法、フォーカス制御プログラム
JP2008067136A (ja) 撮像装置及び撮像方法
JP2005278003A (ja) 画像処理装置
JP2013219440A (ja) 撮像装置
JP5648563B2 (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150107

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160606

R151 Written notification of patent or utility model registration

Ref document number: 5957948

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250