JP2023142262A - 画像生成装置、画像生成方法、及び画像生成プログラム - Google Patents

画像生成装置、画像生成方法、及び画像生成プログラム Download PDF

Info

Publication number
JP2023142262A
JP2023142262A JP2022049072A JP2022049072A JP2023142262A JP 2023142262 A JP2023142262 A JP 2023142262A JP 2022049072 A JP2022049072 A JP 2022049072A JP 2022049072 A JP2022049072 A JP 2022049072A JP 2023142262 A JP2023142262 A JP 2023142262A
Authority
JP
Japan
Prior art keywords
image
light
exposure
camera
image generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022049072A
Other languages
English (en)
Inventor
尉氏 田中
Yasushi Tanaka
裕之 水上
Hiroyuki Mizukami
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2022049072A priority Critical patent/JP2023142262A/ja
Priority to US18/187,369 priority patent/US20230308766A1/en
Priority to EP23163387.6A priority patent/EP4250756A1/en
Priority to CN202310289170.5A priority patent/CN116805986A/zh
Publication of JP2023142262A publication Critical patent/JP2023142262A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Position Input By Displaying (AREA)
  • Image Processing (AREA)

Abstract

【課題】背景領域までも高画質な描画画像を得ることができる画像生成装置、画像生成方法、及び画像生成プログラムを提供する。【解決手段】指示装置が発する光を撮像するカメラ、及び前記カメラにより撮像された撮像画像から前記光を検出した検出状況に基づいて描画画像を生成するプロセッサを備えた画像生成装置であって、前記プロセッサは、前記カメラに、撮像面全体の露出を変更させ前記撮像画像を撮像させ、露出を変更した状態で撮影された前記撮像画像から前記光を検出し、前記光の検出状況に基づいて生成した前記描画画像を、前記光の背景となった背景領域の明るさを補正して記録させる画像生成装置。【選択図】図１

Description

本開示は、画像生成装置、画像生成方法、及び画像生成プログラムに関する。
従来、ライトペン等の光を撮影し、得られた画像から光を検出する技術が知られている。例えば、特許文献１には、ポインタ光をカメラにより撮影し、得られた画像に基づいてディスプレイ上のポインタ光をコンピュータによりトラッキングするポインタ光トラッキング方法が記載されている。
特許文献１に記載の技術では、カメラのシャッタースピード等を調整して、ポインタ光が強く写し出された画像を取得することで、ポインタ光の検出を容易にしている。
ＷＯ２００６／０８５５８０号
特許文献１に記載の技術では、ポインタ光が強く写し出された画像では、ポインタ光が検出し易くなるものの背景領域の画質が低下する場合があった。
本開示は、以上の事情を鑑みて成されたものであり、背景領域までも高画質な描画画像を得ることができる画像生成装置、画像生成方法、及び画像生成プログラムを提供することを目的とする。
上記目的を達成するために、本開示の第１の態様の画像生成装置は、指示装置が発する光を撮像するカメラ、及びカメラにより撮像された撮像画像から光を検出した検出状況に基づいて描画画像を生成するプロセッサを備えた画像生成装置であって、プロセッサは、カメラに、撮像面全体の露出を変更させ撮像画像を撮像させ、露出を変更した状態で撮像された撮像画像から光を検出し、光の検出状況に基づいて生成した描画画像を、光の背景となった背景領域の明るさを補正して記録させる。
本開示の第２の態様の画像生成装置は、第１の態様の画像生成装置において、プロセッサは、撮像面全体の露出の変更量に基づいて、感度を調整する。
本開示の第３の態様の画像生成装置は、第１の態様または第２の態様の画像生成装置において、背景領域の明るさは、撮像面全体の露出を変更する直前の撮像画像の明るさと等しい明るさである。
また、上記目的を達成するために、本開示の第４の態様の画像生成装置は、指示装置が発する光を撮像するカメラ、及びカメラにより撮像された撮像画像から光を検出した検出状況に基づいて描画画像を生成するプロセッサを備えた画像生成装置であって、プロセッサは、カメラに、撮像面全体の露出を変更させ撮像画像を撮像させ、撮像画像において光の背景となった背景画像を、カメラに露出を調整して撮像させ、光を検出した検出状況に基づいて描画した描画画像と、背景画像とを合成させて合成画像を生成する。
本開示の第５の態様の画像生成装置は、第４の態様の画像生成装置において、プロセッサは、撮像面全体の露出を変更する前の状態まで、露出を戻して背景画像を撮像させる。
本開示の第６の態様の画像生成装置は、第４の態様または第５の態様の画像生成装置において、プロセッサは、描画画像の生成を行う描画モードへの移行の指示を受け付け、指示に基づいて描画モードに移行する場合、撮像面全体の露出を、撮影環境に応じて特定される標準露出から変更する。
本開示の第７の態様の画像生成装置は、第６の態様の画像生成装置において、プロセッサは、指示を受け付けた場合、指示装置に光を発生させる発光指示信号を送信する。
本開示の第８の態様の画像生成装置は、第１の態様から第７の態様のいずれか１態様の画像生成装置において、プロセッサは、撮像画像から光が検出できない場合に、撮像面全体の露出を変更させる。
本開示の第９の態様の画像生成装置は、第８の態様の画像生成装置において、撮像面全体の露出を変更は、露出を下げる方向への変更である。
本開示の第１０の態様の画像生成装置は、第１の態様から第９の態様のいずれか１態様の画像生成装置において、プロセッサは、カメラのシャッタースピード及び絞りの少なくとも一方を調整することで撮像面全体の露出を変更する。
本開示の第１１の態様の画像生成装置は、第１の態様から第１０の態様のいずれか１態様の画像生成装置において、光は、予め定められた波長の光であり、プロセッサは、光の輝度と、予め定められた波長に応じた色とに基づいて、撮像画像から光を検出する。
本開示の第１２の態様の画像生成装置は、第１の態様から第１１の態様のいずれか１態様の画像生成装置において、指示装置は、空間描画用の描画デバイスである。
本開示の第１３の態様の画像生成装置は、第１の態様から第１２の態様のいずれか１態様の画像生成装置において、指示装置は、画像生成装置により生成された画像を印刷するプリント機能を備えている。
上記目的を達成するために、本開示の第１４の態様の画像生成方法は、指示装置が発する光を撮像するカメラ、及びカメラにより撮像された撮像画像から光を検出した検出状況に基づいて描画画像を生成するプロセッサを備えた画像生成装置のプロセッサが、カメラに、撮像面全体の露出を変更させ撮像画像を撮像させ、露出を変更した状態で撮像された撮像画像から光を検出し、光の検出状況に基づいて生成した描画画像を、光の背景となった背景領域の明るさを補正して記録させる方法である。
上記目的を達成するために、本開示の第１５の態様の画像生成方法は、指示装置が発する光を撮像するカメラ、及びカメラにより撮像された撮像画像から光を検出した検出状況に基づいて描画画像を生成するプロセッサを備えた画像生成装置のプロセッサが、カメラに、撮像面全体の露出を変更させ撮像画像を撮像させ、撮像画像において光の背景となった背景画像を、カメラに露出を調整して撮像させ、光を検出した検出状況に基づいて描画した描画画像と、背景画像とを合成させて描画画像を生成する方法である。
上記目的を達成するために、本開示の第１６の態様の画像生成プログラムは、指示装置が発する光を撮像するカメラ、及びカメラにより撮像された撮像画像から光を検出した検出状況に基づいて描画画像を生成するプロセッサを備えた画像生成装置のプロセッサに、カメラに、撮像面全体の露出を変更させ撮像画像を撮像させ、露出を変更した状態で撮像された撮像画像から光を検出し、光の検出状況に基づいて生成した描画画像を、光の背景となった背景領域の明るさを補正して記録させる処理を実行させるためのものである。
上記目的を達成するために、本開示の第１７の態様の画像生成プログラムは、指示装置が発する光を撮像するカメラ、及びカメラにより撮像された撮像画像から光を検出した検出状況に基づいて描画画像を生成するプロセッサを備えた画像生成装置のプロセッサに、カメラに、撮像面全体の露出を変更させ撮像画像を撮像させ、撮像画像において光の背景となった背景画像を、カメラに露出を調整して撮像させ、光を検出した検出状況に基づいて描画した描画画像と、背景画像とを合成させて描画画像を生成する処理を実行させるためのものである。
本開示によれば、背景領域までも高画質な描画画像を得ることができる。
実施形態の空間描画システムの構成の一例を示す構成図である。 実施形態の描画用デバイスのハードウェア構成の一例を示すブロック図である。 実施形態の描画用デバイスの構成の一例を示す機能ブロック図である。 実施形態のスマートフォンのハードウェア構成の一例を示すブロック図である。 第１実施形態のスマートフォンの構成の一例を示す機能ブロック図である。 第１実施形態の作用を説明するための図である。 第１実施形態のスマートフォンにより実行される画像生成処理及び描画用デバイスにより実行される描画制御処理の一例を示すフローチャートである。 第２実施形態のスマートフォンの構成の一例を示す機能ブロック図である。 第２実施形態の作用を説明するための図である。 第２実施形態のスマートフォンにより実行される画像生成処理及び描画用デバイスにより実行される描画制御処理の一例を示すフローチャートである。 第３実施形態の作用を説明するための図である。 第３実施形態のスマートフォンにより実行される画像生成処理及び描画用デバイスにより実行される描画制御処理の一例を示すフローチャートである。 描画デバイスのその他の例を示す図である。
以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。
［第１実施形態］
図１を参照して、本実施形態の空間描画システム１の構成を説明する。図１に示すように、本実施形態の空間描画システム１は、描画用デバイス１０及びスマートフォン１２を備える。描画用デバイス１０及びスマートフォン１２は、ネットワーク１９を介して有線通信または無線通信により接続されている。
図２を参照して、本実施形態の描画用デバイス１０の構成を説明する。本実施形態の描画用デバイス１０は、描画を行うユーザが把持し、光源２６から光を発する描画用デバイス１０を動かすことで、光源２６から発する光（図１、光２参照）により、空間に描画を行うためのデバイスである。一例として、本実施形態では、ライトペン型の描画用デバイス１０について説明する。本実施形態の描画用デバイス１０が本開示の画像生成装置の一例である。
一方、スマートフォン１２は、描画用デバイス１０の光源２６から発する光を撮像するカメラ４７を備える。スマートフォン１２は、カメラ４７により撮影された撮影画像が～描画用デバイス１０の光源２６が端光を検出し、検出状況に基づいて描画画像を生成する機能を有する。本実施形態のスマートフォン１２が本開示の指示装置の一例である。
なお、一例として本実施形態では、描画用デバイス１０を用いて描画を行うユーザと、スマートフォン１２により、描画用デバイス１０が発する光を撮像して描画画像を生成するユーザとは、異なるユーザである。本実施形態では両ユーザの区別を行うため、描画用デバイス１０により描画を行うユーザを「描画ユーザ」といい、スマートフォン１２により撮像及び描画画像の生成を行うユーザを「撮像ユーザ」という。
まず、描画用デバイス１０の詳細について説明する。図２には、描画用デバイス１０における、空間描画に係わる機能に関する構成の一例を表したブロック図が示されている。図２に示すように、描画用デバイス１０は、プロセッサ２０、メモリ２２、Ｉ／Ｆ（InterFace）部２３、記憶部２４、光源２６、及び入力装置２８を備える。プロセッサ２０、メモリ２２、Ｉ／Ｆ部２３、記憶部２４、光源２６、及び入力装置２８は、システムバスやコントロールバス等のバス２９を介して相互に各種情報の授受が可能に接続されている。
プロセッサ２０は、記憶部２４に記憶された描画制御プログラム２５を含む各種のプログラムをメモリ２２へ読み出し、読み出したプログラムにしたがった処理を実行する。メモリ２２は、プロセッサ２０が処理を実行するためのワークメモリである。記憶部２４には、描画制御プログラム２５や、その他の各種情報等が記憶される。記憶部２４の具体例としては、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等が挙げられる。
Ｉ／Ｆ部２３は、無線通信または有線通信により、スマートフォン１２との間で各種情報の通信を行う。描画スイッチ２８Ａを含む入力装置２８はユーザインタフェースとして機能する。描画スイッチ２８Ａは、描画ユーザが描画を行う場合に各種の指示を入力するために操作するスイッチであり、描画用デバイス１０の本体表面に設けられている。
光源２６は、描画のための光を発するものであり、例えば、ＬＥＤ（Light Emitting Diode）が挙げられる。一例として本実施形態では、高輝度タイプのＬＥＤを用いている。また、スマートフォン１２における光源２６の光の検出率を向上させるため、イエローグリーン等のような混色ではなく、ピュアグリーンの発光色を有するＬＥＤを採用している。また、光漏れが少ないことが好ましいため、指向性が高い光源を採用している。
図３には、本実施形態の描画用デバイス１０の機能に係る構成の一例を表す機能ブロック図が示されている。図３に示すように描画用デバイス１０は、点灯制御部３０、スイッチ状態受付部３２、及び描画指示出力部３４を備える。一例として本実施形態の描画用デバイス１０は、プロセッサ２０が記憶部２４に記憶されている描画制御プログラム２５を実行することにより、プロセッサ２０が点灯制御部３０、スイッチ状態受付部３２、及び描画指示出力部３４として機能する。
点灯制御部３０は、光源２６の点灯及び消灯を制御する機能を有する。一例として本実施形態の点灯制御部３０は、スマートフォン１２から出力された点灯指示が入力された場合、光源２６を点灯させる制御を行う。本実施形態の点灯指示が、本開示の発光指示信号の一例である。また、点灯制御部３０は、スマートフォン１２から出力された消灯指示が入力された場合、光源２６を消灯させる制御を行う。
スイッチ状態受付部３２は、描画ユーザによって操作された描画スイッチ２８Ａの操作状態を受け付ける機能を有する。一例として本実施形態では、描画ユーザが描画用デバイス１０により描画を開始する場合、光源２６の点灯後に、描画スイッチ２８Ａを操作して、描画開始を指示する。なお、以下では描画スイッチ２８Ａを操作して描画開始を指示することを、「描画スイッチ２８Ａをオンにする」等という。また、本実施形態では、描画ユーザが描画用デバイス１０による描画を終了する場合、描画スイッチ２８Ａを操作して、描画終了を指示する。なお、以下では描画スイッチ２８Ａを操作して描画終了を指示することを、「描画スイッチ２８Ａをオフにする」等という。
描画指示出力部３４は、スイッチ状態受付部３２が受け付けた描画スイッチ２８Ａの状態に応じた描画開始指示及び描画終了指示をスマートフォン１２へ出力する機能を有する。具体的には、スイッチ状態受付部３２が描画スイッチ２８Ａの操作状態として、描画スイッチ２８Ａをオンにすることを受け付けた場合、描画指示出力部３４は、描画開始指示をスマートフォン１２へ出力する。また、スイッチ状態受付部３２が描画スイッチ２８Ａの操作状態として、描画スイッチ２８Ａをオフにすることを受け付けた場合、描画指示出力部３４は、描画終了指示をスマートフォン１２へ出力する。なお、本実施形態では、描画開始指示及び描画終了指示を総称する場合、「描画指示」という。
次に、スマートフォン１２の詳細について説明する。図４には、スマートフォン１２における、描画画像の生成に係わる機能に関する構成の一例を表したブロック図が示されている。図４に示すように、スマートフォン１２は、プロセッサ４０、メモリ４２、Ｉ／Ｆ部４３、記憶部４４、ディスプレイ４６、カメラ４７、及び入力装置４８を備える。プロセッサ４０、メモリ４２、Ｉ／Ｆ部４３、記憶部４４、ディスプレイ４６、カメラ４７、及び入力装置４８は、システムバスやコントロールバス等のバス４９を介して相互に各種情報の授受が可能に接続されている。
プロセッサ４０は、記憶部４４に記憶された画像生成プログラム４５を含む各種のプログラムをメモリ４２へ読み出し、読み出したプログラムにしたがった処理を実行する。メモリ４２は、プロセッサ４０が処理を実行するためのワークメモリである。記憶部４４には、画像生成プログラム４５や、その他の各種情報等が記憶される。記憶部４４の具体例としては、ＨＤＤやＳＳＤ等が挙げられる。
Ｉ／Ｆ部４３は、無線通信または有線通信により、描画用デバイス１０との間で各種情報の通信を行う。ディスプレイ４６及び入力装置４８はユーザインタフェースとして機能する。ディスプレイ４６は、カメラ４７が撮像した撮像画像をライブビュー表示したり、描画に関する各種の情報を提供したりする。ディスプレイ４６は特に限定されるものではなく、液晶モニタ及びＬＥＤモニタ等が挙げられる。また、入力装置４８は、描画に関する各種の指示を入力するために撮像ユーザによって操作される。入力装置４８は特に限定されるものではなく、例えば、キーボード、タッチペン、及びマウス等が挙げられる。本実施形態の入力装置４８は、カメラ４７のシャッターボタンを含む。なお、スマートフォン１２では、ディスプレイ４６と入力装置４８とを一体化したタッチパネルディスプレイを採用している。
図５には、本実施形態のスマートフォン１２の機能に係る構成の一例を表す機能ブロック図が示されている。図５に示すようにスマートフォン１２は、描画モード管理部５０、描画デバイス制御部５２、撮影制御部５４、光検出部５８、描画指示取得部６０、描画画像生成部６２、表示制御部６４、及び描画画像記録部６６を備える。一例として本実施形態のスマートフォン１２は、プロセッサ４０が記憶部４４に記憶されている画像生成プログラム４５を実行することにより、プロセッサ４０が描画モード管理部５０、描画デバイス制御部５２、撮影制御部５４、光検出部５８、描画指示取得部６０、描画画像生成部６２、表示制御部６４、及び描画画像記録部６６として機能する。
描画モード管理部５０は、描画モードへの移行、及び描画モードの終了を管理する機能を有する。一例として、本実施形態の描画モード管理部５０は、撮像ユーザが入力装置４８により行った描画モードへの移行指示を受け付けた場合、詳細を後述する描画モードへ移行する。また、描画モード管理部５０は、撮像ユーザが入力装置４８により行った描画モードの終了指示を受け付けた場合、詳細を後述する描画モードを終了する。
描画デバイス制御部５２は、描画用デバイス１０を制御する機能を有する。一例として本実施形態の描画デバイス制御部５２は、描画モードに移行した場合、描画用デバイス１０の光源２６を点灯させるための点灯指示を出力する。また、描画デバイス制御部５２は、描画モードを終了した場合、描画用デバイス１０の光源２６を消灯させるための消灯指示を出力する。
撮影制御部５４は、露出制御部５６を備え、カメラ４７による撮像画像の撮像を制御する機能を有する。一例として本実施形態のカメラ４７は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子（図示省略）を備え、ＲＧＢのカラー画像の撮像が可能とされている。なお、本実施形態では、カメラ４７の撮像素子により撮像された画像を「撮像画像」という。撮影制御部５４は、描画モード中、動画像として複数フレームの撮像画像を撮像する。
露出制御部５６は、カメラ４７による撮像画像の撮像における露出の制御を行う機能を有する。一例として、本実施形態の露出制御部５６は、カメラ４７のシャッタースピード及び絞りの少なくとも一方を調整することで露出を調整する機能を有する。
光検出部５８は、カメラ４７が撮像した撮像画像から、描画用デバイス１０の光源２６の光を検出する機能を有する。厳密には、光検出部５８は、撮像画像に写る、光源２６の光を表す画像を検出する機能を有する。例えば、描画ユーザは、光源２６が点灯した状態の描画用デバイス１０を動かすことにより、空間に描画を行うため、光検出部５８は、一連の撮像画像から、光源２６の軌跡を検出する。なお、本実施形態では、描画用デバイス１０の光源２６について、上述したように光の色及び輝度が予め定められている。そのため、光検出部５８は、予め定められている光の色及び輝度に基づいて、撮像画像から光源２６の光を検出する。光検出部５８が検出した光の検出状況は、光検出部５８及び描画画像生成部６２に出力される。
描画指示取得部６０は、描画用デバイス１０から出力された描画指示を取得する機能を有する。具体的には、描画指示取得部６０は、描画用デバイス１０から出力され、スマートフォン１２に入力された描画開始指示及び描画終了指示を取得する。描画指示取得部６０が取得した描画開始指示及び描画終了指示は、描画画像生成部６２に出力される。
描画画像生成部６２は、光検出部５８の検出状況に基づいて、描画画像を生成する機能を有する。一例として、本実施形態の描画画像生成部６２は、入力装置４８により撮像ユーザが指示した描画条件に応じた画像を、光検出部５８が検出した描画用デバイス１０の光源２６の光の軌跡に応じて描画することで描画画像を生成する。入力装置４８により撮像ユーザが指示する描画条件としては、描画される線の色、明度、太さ、及び点線または実線等の線の種類のうちの少なくとも一つが挙げられるが、特に限定されるものではない。例えば、撮像ユーザが、描画条件として、「ピンク色」、「太線」、「高明度」、及び「実線」を指示した場合、描画画像生成部６２は、光検出部５８が検出した光の軌跡に応じて、高明度のピンク色で、太線、かつ実線を描画する。なお、以下では、説明の便宜上、このように、描画画像生成部６２が光の軌跡に応じて線画を描画した場合について説明する。
表示制御部６４は、描画画像生成部６２が生成した描画画像をディスプレイ４６に表示させる機能を有する。なお、本実施形態の表示制御部６４は、描画モード中は、カメラ４７のライブビュー画像として、描画画像生成部６２が生成した描画画像をディスプレイ４６に表示させる。
描画画像記録部６６は、描画画像生成部６２が生成した描画画像を、光検出部５８が検出した光の背景となった背景領域の明るさを補正し、明るさが補正された描画画像を記憶部４４に記録する機能を有する。一例として、本実施形態の描画画像記録部６６は、描画モードが終了すると、露出制御部５６により露出を下げることで暗くなった背景領域の明るさを、描画画像の感度を上げることで補正する。描画画像生成部６２が感度を上げる方法としては、描画画像のゲインを所定量、上げることが挙げられる。換言すると、描画画像生成部６２が感度を上げる方法としては、描画画像の各画素の信号値を所定量、大きくすることが挙げられる。なお、描画画像記録部６６は、描画画像のうちの背景領域のみの明るさを補正してもよいし、描画画像全体を補正してもよい。
次に、本実施形態の空間描画システム１の作用を説明する。
図６に示すように、光源２６が点灯した状態の描画用デバイス１０により描画ユーザが描画を行っている場合、スマートフォン１２のカメラ４７が撮像する撮像画像８０には、光源２６Ａの光が写る。図６に示した撮像画像８０は、描画ユーザの画像を表す描画ユーザＵ１と、光源２６の画像を表す光源２６Ａと、その光の軌跡の画像を表す光の軌跡９０と、背景領域９２とを含む。背景となる周囲の環境が比較的明るく、周囲の明るさと、光源２６の明るさとの差が比較的小さい場合、光検出部５８が撮像画像８０から光の軌跡９０を検出できない場合がある。
そこで、露出制御部５６により、撮像面全体の露出を下げる調整を行うと、図６に示すように、撮像画像８２は全体が暗くなる。周囲の環境に比べて光源２６は明るく輝度が高いため、撮像画像８２において、光の軌跡９０の方が、背景領域９２よりも相対的に輝度が高くなる。これにより、光検出部５８は、撮像画像８２から光の軌跡９０を検出できるようになる。
しかしながら、撮像画像８２は、背景領域９２が本来の明るさよりも暗くなってしまう。例えば、図６に示した例では、撮像画像８０における背景領域９２よりも撮像画像８２における背景領域９２の方が暗い。そのため、描画画像生成部６２が、撮像画像８２から光の軌跡９０を検出して生成する描画画像８６では、線画９４は、光の軌跡９０に応じて精度良く描画されているものの、背景領域９２が暗くなってしまう。そこで、描画画像記録部６６は、上述したように描画画像８６における背景領域９２の明るさを補正して明るくする。例えば、描画画像記録部６６は、描画画像８６における背景領域９２の明るさを、露出を下げる前の撮像画像８０における背景領域９２の明るさと等しい明るさに補正し、背景領域９２の明るさが補正された描画画像８８を生成する。なお、ここで「等しい」とは、誤差等を許容するものであり、完全に一致していることに限定されない。図６に示すように、描画画像８８では、線画９４が、光の軌跡９０に応じて精度良く描画されており、また背景領域９２が明るくなっている。描画画像記録部６６は、背景領域９２の明るさを補正後の描画画像８８を記憶部４４に記録させる。
さらに、スマートフォン１２及び描画用デバイス１０の各動作について説明する。図７には、スマートフォン１２により実行される画像生成処理、及び描画用デバイス１０により実行される描画制御処理の一例を示すフローチャートが示されている。スマートフォン１２は、記憶部４４に記憶されている画像生成プログラム４５を実行することにより、図７に示した画像生成処理を実行する。また、描画用デバイス１０は、記憶部２４に記憶されている描画制御プログラム２５を実行することにより、図７に示した描画制御処理を実行する。
空間描画システム１により描画を行う場合、まず、撮像ユーザがスマートフォン１２の入力装置４８により、描画モードへの移行を指示する。
そのため、スマートフォン１２では、ステップＳ１００で描画モード管理部５０が描画モードへ移行するか否かを判定する。描画モードへの移行の指示がなされるまでステップＳ１００の判定が否定判定となる。一方、描画モードへの移行の指示がなされると描画モードに移行し、ステップＳ１００の判定が肯定判定となり、ステップＳ１０２へ移行する。次のステップＳ１０２から描画開始指示が入力（ステップＳ１１２参照）されるまでの期間が、描画待機期間である。
ステップＳ１０２で描画デバイス制御部５２は、描画用デバイス１０に点灯指示を出力する。スマートフォン１２から点灯指示が出力されると、描画用デバイス１０では、ステップＳ２００で点灯指示が入力され、次のステップＳ２０２で点灯制御部３０が光源２６を点灯させる。
スマートフォン１２では、次のステップＳ１０４で露出制御部５６が上述したようにカメラ４７の露出を低下させる。一例として、本実施形態では、カメラ４７により通常、撮影環境に応じて撮影のために特定される標準的な露出（標準露出）から、予め定められた量、露出を低下させる。なお、具体的にどの程度露出を低下させるかは、カメラ４７の撮像素子等に応じて、設計的にまたは実験的に、撮像面全体の明るさが光源２６の検出が可能となる明るさに基づいて定めればよい。
次のステップＳ１０６で撮影制御部５４は、カメラ４７により撮像画像の撮像を開始させる。カメラ４７は、撮影制御部５４の制御に応じて、所定のフレームレートで複数の撮像画像を撮像する。また、撮影制御部５４は、ディスプレイ４６に、ライブビュー画像として撮像画像の表示を開始する。
次のステップＳ１０８で光検出部５８は、撮像画像から光源２６の光の検出を開始する。次のステップＳ１１０で露出制御部５６は、光検出部５８が撮像画像から光源２６の光を検出できなかった場合、さらにカメラ４７の露出を下げる制御を行う。例えば、想定されていた環境より撮影環境が明るすぎた場合、上記ステップＳ１０４で露出を下げて撮像された撮像画像から光源２６の光が検出できない場合がある。そのため、本実施形態では、ステップＳ１１０で、露出制御部５６がカメラ４７の露出をさらに下げる制御を行う。なお、カメラ４７の露出をどこまで下げるかは特に限定されず、例えば、撮像画像から光源２６の光が検出できるようなるまで露出を下げてもよい。また例えば、下限値を定めておき、露出の下限値に達しても未だ、撮像画像から光源２６の光が検出できない場合、警告等を報知する形態としてもよい。
このように、スマートフォン１２では、描画待機期間に、カメラ４７の露出の制御がなされ、撮像画像から光源２６の光の検出が可能となる。
一方、描画用デバイス１０では、光源２６が点灯した後、描画の準備が整うと、描画スイッチ２８Ａを操作してオン状態にする。ステップＳ２０４でスイッチ状態受付部３２が、描画スイッチ２８Ａがオン状態とされたことを受け付けると、次のステップＳ２０６で描画指示出力部３４は、描画開始指示をスマートフォン１２へ出力する。
描画用デバイス１０から描画開始指示が出力されると、スマートフォン１２では、ステップＳ１１２で描画指示取得部６０が、スマートフォン１２に入力された描画開始指示を取得する。描画指示取得部６０が描画開始指示を取得すると、描画待機期間が終了し、描画期間に移行し、描画中となる。
次のステップＳ１１４で描画画像生成部６２は、上述したように、光検出部５８の検出状況に基づいて、描画画像の生成を開始する。次のステップＳ１１６で表示制御部６４は、ディスプレイ４６にライブビュー画像として描画画像生成部６２が生成した描画画像の表示を開始する。ステップＳ１１４で生成される描画画像は、上記ステップＳ１０８等でカメラ４７の露出を下げたことにより、上述した描画画像８６（図６参照）のように、背景領域９２が暗い状態の画像である。そのため、ディスプレイ４６にライブビュー画像として表示されている描画画像の背景領域は暗い状態である。
このように、スマートフォン１２では、描画期間は、カメラ４７により撮像された撮像画像から光検出部５８が検出した光の検出状況に基づいて描画画像生成部６２が描画画像を生成して、ディスプレイ４６にライブビュー画像として表示させる。
一方、描画用デバイス１０により描画を行っている描画ユーザは、描画が終了した場合、若しくは、一端、描画を中止する場合、描画スイッチ２８Ａを操作してオフ状態にする。ステップＳ２０４でスイッチ状態受付部３２が、描画スイッチ２８Ａがオフ状態とされたことを受け付けると、次のステップＳ２１０で描画指示出力部３４は、描画終了指示をスマートフォン１２へ出力する。
描画用デバイス１０から描画終了指示が出力されると、スマートフォン１２では、ステップＳ１１８で描画指示取得部６０が、スマートフォン１２に入力された描画終了示を取得する。描画指示取得部６０が描画終了指示を取得すると、次のステップＳ１２０で描画画像生成部６２は、描画画像の生成を終了する。描画画像生成部６２が描画画像の生成を終了すると、描画期間が終了する。
なお、描画用デバイス１０により描画を行っている描画ユーザは、撮影空間の別の領域に描画を行いたい場合等、一端、描画スイッチ２８Ａをオフ状態にしてから、描画を行い体別の領域に描画用デバイス１０を移動させて、描画スイッチ２８Ａを再びオン状態にして描画を開始する。そのため、描画用デバイス１０のスイッチ状態受付部３２は、描画スイッチ２８Ａがオン状態とされたことを受け付けたか否かを判定する。描画スイッチ２８Ａがオン状態とされたことを受け付けない場合、ステップＳ２１２の判定が否定判定となり、ステップＳ２１４へ移行する。一方、描画スイッチ２８Ａがオン状態とされたことを受け付けた場合、ステップＳ２１２の判定が肯定判定となり、ステップＳ２０６に戻り、上記ステップＳ２０６～Ｓ２１０の処理を繰り返す。
そのため、スマートフォン１２では、上記ステップＳ１２０で描画画像の生成を終了した後、ステップＳ１２２で描画開始指示が入力されたか否かを判定する。上述したように、描画ユーザが描画スイッチ２８Ａを再びオン状態にした場合、描画用デバイス１０からスマートフォン１２へ描画開始指示が再び出力される。描画指示取得部６０が描画開始指示を再び取得した場合、ステップＳ１２２の判定が肯定判定となり、ステップＳ１１４に戻り、再び描画期間に移行して、ステップＳ１１４～Ｓ１２０の処理を繰り返す。一方、描画指示取得部６０が描画開始指示を取得しない場合、ステップＳ１２２の判定が肯定判定となり、ステップＳ１２４へ移行する。
ステップＳ１２４で描画モード管理部５０は描画モードを終了するか否かを判定する。一例として本実施形態では、撮像ユーザが、入力装置４８に含まれるシャッターボタンを押下すると、描画モードが終了する。そのため、シャッターボタンが押下されていない場合、ステップＳ１２４の判定が否定判定となり、ステップＳ１２２に戻る。一方、シャッターボタンが押下された場合、ステップＳ１２４の判定が肯定判定となり、ステップＳ１２６へ移行する。
ステップＳ１２６で撮影制御部５４は、カメラ４７に撮像画像の撮像を終了させ、光検出部５８は、光の検出を終了する。また、表示制御部６４は、ディスプレイ４６に表示させていたライブビュー画像の表示を終了する。
次のステップＳ１２８で描画デバイス制御部５２は、描画用デバイス１０に消灯指示を出力する。スマートフォン１２から消灯指示が出力されると、描画用デバイス１０では、ステップＳ２１４で消灯指示が入力され、次のステップＳ２１６で点灯制御部３０が光源２６を消灯させる。ステップＳ２１６の処理が終了すると、描画用デバイス１０では、図７に示した描画制御処理が終了する。
一方、スマートフォン１２では、次のステップＳ１３０で描画画像記録部６６が描画画像の背景領域の明るさを補正し、明るさが補正された描画画像を記憶部４４に記録する。本実施形態の描画画像記録部６６は、上述した描画画像８８（図６参照）のように、露出を下げることで暗くなった背景領域の明るさを、描画画像の感度を上げることで、標準露出により撮影された撮影画像の明るさと同等に補正する。ステップＳ１３０の処理が終了すると、スマートフォン１２では、図７に示した画像生成処理が終了する。なお、画像生成処理を終了する前に、明るさを補正した描画画像をディスプレイ４６に表示させてもよい。
以上説明したように、本実施形態のスマートフォン１２は、描画用デバイス１０が発する光を撮像するカメラ４７、及びカメラ４７により撮像された撮像画像から光を検出した検出状況に基づいて描画画像を生成するプロセッサ４０を備える。プロセッサ４０は、カメラ４７に、撮像面全体の露出を変更させ撮像画像を撮像させ、露出を変更した状態で撮影された撮像画像から光を検出し、光の検出状況に基づいて生成した描画画像を、光の背景となった背景領域の明るさを補正して記録させる。
このように本実施形態のスマートフォン１２では、露出を下げることにより暗くなった描画画像の背景画像の明るさを補正しているため背景領域までも高画質な描画画像を得ることができる。
［第２実施形態］
第１実施形態では、描画画像の背景領域の明るさを補正していたのに対して、本実施形態では、露出を低下させずに背景領域の画像を撮像することにより、背景領域までも高画質な描画画像を得る形態について説明する。
なお、本実施形態の描画用デバイス１０の構成は第１実施形態（図２、図３参照）と同様であるため、説明を省略する。
一方、スマートフォン１２は、ハードウェア構成は第１実施形態（図４参照）と同様であるが、機能的構成が一部異なっている。図８には、本実施形態のスマートフォン１２の機能に係る構成の一例を表す機能ブロック図が示されている。図８に示すようにスマートフォン１２は、描画画像生成部６２に代えて描画画像生成部６３を備え、描画画像記録部６６に代えて合成画像生成部６８を備える点が第１実施形態のスマートフォン１２（図５参照）と異なっている。
本実施形態の描画画像生成部６３は、光検出部５８の検出状況に基づいて、描画画像を生成する機能を有する点で第１実施形態の描画画像生成部６２と同様である。しかしながら、本実施形態の描画画像生成部６３は、光の検出状況に応じた描画のみを描画画像として保存する機能を有する。一例として、本実施形態の表示制御部６４は、描画期間中には、光の検出状況に応じた描画のみがなされた描画画像を撮像画像に重畳させて、ディスプレイ４６にライブビュー画像として表示させる。
また、合成画像生成部６８は、描画画像生成部６３が生成した光の検出状況に応じた描画のみを含む描画画像と、適正な露出でカメラ４７により撮像された撮像画像とを合成させた合成画像を、背景を含む描画画像として生成する機能を有する。
本実施形態の空間描画システム１の作用を、図９を参照して説明する。
第１実施形態において図６を参照して説明したのと同様に、撮像画像８０から光の軌跡９０が検出できない場合、撮像面全体の露出を下げ、撮像画像８２を得ることで、光の軌跡９０が検出できるようになる。
本実施形態の描画画像生成部６２は、光の軌跡９０の検出状況に応じた描画のみを描画画像８９として、１つのレイヤとして保存しておく。この描画画像８９には、背景画像は含まれない。
一方、描画モードを終了する場合、露出制御部５６により露出を元の状態に戻した後、撮影制御部５４は、カメラ４７に撮像画像を撮像させる。そのため、撮像画像８１では、光の軌跡９０が見難いものの、背景領域９２は、撮像面全体の露出を下げる前と同等の明るさである。そこで、合成画像生成部６８は、描画画像８９と、撮像画像８１とを合成し、合成画像９９を生成する。合成画像９９は、線画９４が、光の軌跡９０に応じて精度良く描画されており、また背景領域９２が元の明るさとなっている。
さらに、本実施形態のスマートフォン１２及び描画用デバイス１０の各動作について説明する。図１０には、スマートフォン１２により実行される画像生成処理、及び描画用デバイス１０により実行される描画制御処理の一例を示すフローチャートが示されている。なお、描画用デバイス１０により実行される描画制御処理は、第１実施形態の描画用デバイス１０により実行される描画制御処理（図７参照）と同様であるため、説明を省略する。一方、スマートフォン１２により実行される画像生成処理は、図１０に示すように、ステップＳ１１４の代わりにステップＳ１１５を備え、ステップＳ１２４とＳ１２６との間にステップＳ１２５の処理を備え、ステップＳ１３０に代えてステップＳ１３１の処理を備える点で、第１実施形態のスマートフォン１２が実行する画像生成処理（図７参照）と異なっている、
本実施形態のスマートフォン１２は、ステップＳ１１５で描画画像生成部６３は、描画画像の生成を開始すると、上述したように、光の検出状況に応じた描画のみを描画画像として背景画像とは別のレイヤに保存する。
また、描画モードが終了するとステップＳ１２５で撮影制御部５４は、露出制御部５６によりカメラ４７の露出を戻して撮像画像として背景画像を撮像させる。一例として露出制御部５６は、ステップＳ１０４で露出を下げる前の標準露出まで、カメラ４７の露出を戻す。
また、ステップＳ１３１で合成画像生成部６８は、上述したように、描画画像生成部６３により生成され、別のレイヤとして保存されていた、光の検出状況に応じた描画のみの描画画像と、ステップＳ１２５で撮像させた背景画像である撮像画像とを合成して、合成画像を生成する。なお、生成した合成画像は、記憶部４４に記憶させる。ステップＳ１３１の処理が終了すると、スマートフォン１２では、図１０に示した画像生成処理が終了する。
以上説明したように、本実施形態のスマートフォン１２は、描画用デバイス１０が発する光を撮像するカメラ４７、及びカメラ４７により撮像された撮像画像から光を検出した検出状況に基づいて描画画像を生成するプロセッサ４０を備える。プロセッサ４０は、カメラ４７に、撮像面全体の露出を下げ前記撮像画像を撮像させ、撮像画像において光の背景となった背景画像を、カメラに露出を上げて撮像させ、光を検出した検出状況に基づいて描画した描画画像と、背景画像とを重畳させて合成画像を生成する。
このように本実施形態のスマートフォン１２では、光の検出状況に応じた描画のみの描画画像と、露出を上げて撮影された背景画像とを合成しているため背景領域までも高画質な描画画像を得ることができる。
［第３実施形態］
第１及び第２実施形態では、カメラ４７の撮像面全体の露出を下げることで、描画用デバイス１０の発する光を検出し易くする形態について説明した。これに対して、本実施形態では、さらに、撮像面全体の露出を上げることで、描画用デバイス１０の発する光を検出し易くする場合について説明する。
なお、本実施形態の描画用デバイス１０の構成は第１実施形態（図２、図３参照）と同様であるため、説明を省略する。
一方、スマートフォン１２は、ハードウェア構成は第１実施形態（図４参照）と同様であるが、露出制御部５６及び描画画像記録部６６の機能が一部異なっている。
上述したように露出制御部５６は、周囲の環境が明るいため、撮像画像から光源２６の光が検出できない、若しくは検出し難い場合、撮像面全体の露出を下げる調整を行う。本実施形態の露出制御部５６は、さらに、描画用デバイス１０の光源２６の状況により、撮像画像から光源２６の光が検出できない、若しくは検出し難い場合、撮像面全体の露出を上げる調整を行う。
また、上述したように描画画像記録部６６は、露出制御部５６が撮像面全体の露出を下げる調整を行った場合、描画モードが終了すると、露出制御部５６により露出を下げることで暗くなった背景領域の明るさを、描画画像の感度を上げることで補正する。本実施形態の描画画像記録部６６は、さらに、露出制御部５６が撮像面全体の露出を上げる調整を行った場合、描画モードが終了すると、露出制御部５６により露出を上げることで明るくなった背景領域の明るさを、描画画像の感度を下げることで補正する。描画画像生成部６２が感度を下げる方法としては、描画画像のゲインを所定量、下げることが挙げられる。換言すると、描画画像生成部６２が感度を下げる方法としては、描画画像の各画素の信号値を所定量、小さくすることが挙げられる。
次に、本実施形態の空間描画システム１の作用を説明する。
図１１に示すように、光源２６が点灯した状態の描画用デバイス１０により描画ユーザが描画を行っている場合、スマートフォン１２のカメラ４７が撮像する撮像画像８３には、光源２６Ａの光が写る。図１１に示した撮像画像８３は、描画ユーザの画像を表す描画ユーザＵ１と、光源２６の画像を表す光源２６Ａと、その光の軌跡の画像を表す光の軌跡９１と、背景領域９３とを含む。光源２６からカメラ４７に照射される光の光量が本来の光量よりも少なくなる場合がある。例えば、光源２６が経年劣化や故障等により、発光する光量が、本来の光量よりも少ない場合、光源２６からカメラ４７に照射される光の光量が本来の光量よりも少なくなる。また、発光する光量は本来の光量であるが光源２６の表面が汚れている場合等も、光源２６からカメラ４７に照射される光の光量が本来の光量よりも少なくなる。このような場合、光検出部５８が撮像画像８３から光の軌跡９１を検出できない場合がある。
そこで、露出制御部５６により、撮像面全体の露出を上げる調整を行うと、図１１に示すように、撮像画像８４の全体が明るくなる。周囲の環境に比べて光源２６は明るく輝度が高いため、背景領域９３において、光の軌跡９１の方が、背景領域９３よりも相対的に輝度が高くなる。これにより、光検出部５８は、撮像画像８４から光の軌跡９１を検出できるようになる。
しかしながら、撮像画像８４は、背景領域９３が本来の明るさよりも明るくなってしまう。例えば、図１１に示した例では、撮像画像８３における背景領域９３よりも撮像画像８４における背景領域９３の方が明るい。そのため、描画画像生成部６２が、撮像画像８４から光の軌跡９１を検出して生成する描画画像８５では、線画９５は、光の軌跡９１に応じて精度良く描画されているものの、背景領域９３が暗くなってしまう。そこで、描画画像記録部６６は、上述したように描画画像８５における背景領域９３の明るさを補正して暗くする。例えば、描画画像記録部６６は、描画画像８５における背景領域９３の明るさを、露出を上げる前の撮像画像８３における背景領域９３の明るさと等しい明るさに補正し、背景領域９３の明るさが補正された描画画像８７を生成する。なお、ここでも「等しい」とは、誤差等を許容するものであり、完全に一致していることに限定されない。図１１に示すように、描画画像８７では、線画９５が、光の軌跡９１に応じて精度良く描画されており、また背景領域９３が暗くなっている。描画画像記録部６６は、背景領域９３の明るさを補正後の描画画像８７を記憶部４４に記録させる。
さらに、本実施形態のスマートフォン１２及び描画用デバイス１０の各動作について説明する。図１２には、スマートフォン１２により実行される画像生成処理、及び描画用デバイス１０により実行される描画制御処理の一例を示すフローチャートが示されている。お、描画用デバイス１０により実行される描画制御処理は、第１実施形態の描画用デバイス１０により実行される描画制御処理（図７参照）と同様であるため、説明を省略する。一方、スマートフォン１２により実行される画像生成処理は、図１２に示すように、ステップＳ１１０の代わりにステップＳ１０９及びＳ１１１を備える点で、第１実施形態のスマートフォン１２が実行する画像生成処理（図７参照）と異なっている、
なお、本実施形態のスマートフォン１２は、ステップＳ１０４で露出制御部５６が上述したようにカメラ４７の露出を低下させる場合に、想定する下限値まで露出を低下させる。
その後、図１２に示すように、ステップＳ１０９で光検出部５８は、撮像画像から光源２６の光の検出ができたか否かを判定する。撮像画像から光源２６の光を検出できた場合、ステップＳ１０９の判定が否定判定となり、ステップＳ１１２へ移行する。一方、撮像画像から光源２６の光を検出できなかった場合、ステップＳ１０９の判定が肯定判定となり、ステップＳ１１１へ移行する。
上述したように、光源２６からカメラ４７に照射される光の光量が本来の光量よりも少ないため撮像画像から光源２６の光を検出できない場合、このように露出を低下させても撮像画像から光源２６の光を検出できない。
そこでステップＳ１１１で露出制御部５６が上述したようにカメラ４７の露出を上昇させる。一例として、本実施形態では、カメラ４７により通常、撮影環境に応じて撮影のために特定される標準的な露出（標準露出）から、想定する上限値まで露出を上昇させる。なお、露出を上昇させる方法は、本形態に限定されない。例えば、予め定められた量、露出を上昇させる形態としてもよく、具体的にどの程度露出を上昇させるかは、カメラ４７の撮像素子等に応じて、設計的にまたは実験的に、光源２６の光が可能となる明るさに基づいて定めればよい。また、徐々に露出を上昇させ、その都度、撮像画像から光源２６の光を検出できるかいなか判定する形態としてもよい。
このように、本実施形態のスマートフォン１２では、描画待機期間に、カメラ４７の露出を低下する制御（ステップＳ１０４）または露出を上昇する制御（ステップＳ１１１）がなされ、撮像画像から光源２６の光の検出が可能となる。
そのため本実施形態では、ステップＳ１３０で描画画像記録部６６は、ステップＳ１０４の処理により撮像面全体の露出を下げた場合、露出を下げることで暗くなった背景領域の明るさを、描画画像の感度を上げることで、標準露出により撮影された撮影画像の明るさと同等に補正する。また、描画画像記録部６６は、ステップＳ１１１の処理により撮像面全体の露出を上げた場合、露出を上げることで明るくなった背景領域の明るさを、描画画像の感度を下げることで、標準露出により撮影された撮影画像の明るさと同等に補正する。このようにして描画画像記録部６６は、明るさが補正された描画画像を記憶部４４に記録する。
以上説明したように、本実施形態のスマートフォン１２のプロセッサ４０は、カメラ４７の撮像面全体の露出を下げる制御を行うことにより、撮像画像から光源２６の光を検出できる。また、プロセッサ４０は、カメラ４７の撮像面全体の露出を下げる制御を行っても、撮像画像から光源２６の光を検出できない場合、カメラ４７の撮像面全体の露出を上げる制御を行うことにより、撮像画像から光源２６の光を検出できる。また、プロセッサ４０は、カメラ４７に、撮像面全体の露出を変更させ撮像画像を撮像させ、露出を変更した状態で撮影された撮像画像から光を検出し、光の検出状況に基づいて生成した描画画像を、光の背景となった背景領域の明るさを補正して記録させる。
このように本実施形態のスマートフォン１２では、露出を下げることにより暗くなった描画画像の背景画像の明るさを補正する、または露出を上げることにより明るくなった描画画像の背景画像の明るさを補正しているため背景領域までも高画質な描画画像を得ることができる。
なお、上記各形態では描画用デバイス１０が、ライトペンの形態である場合について説明したが、描画用デバイスの形態は、特に限定されず、光により描画の指示を行うことが可能な指示装置であればよい。例えば、図１３に示すように、プリント機能を有する描画用デバイス１１であってもよい。図１３に示した描画用デバイス１１は、スマートフォン１２により生成された描画画像を受信し、受信した描画画像をインスタントフィルムに印刷する機能を有する。
また、撮像面全体の露出を下げるタイミングは上記したタイミングに限定されない。例えば、上記画像生成処理（図７、図１０参照）のステップＳ１０８及びステップＳ１１０のいずれか一方のみとしてもよい。また例えば、光の検出を開始してから、光が検出できなかった場合のみ露出を下げる形態としても良い。また例えば、描画中も適宜、光が検出できなかった場合のみ露出を下げる形態としても良い。また例えば、描画モードに移行する前に、キャリブレーション的に光が検出できる状態まで、露出を下げる制御を行う形態としてもよい。また同様に、撮像面全体の露出を上げるタイミングは上記したタイミングに限定されない。上記第３実施形態では、露出を下げても光が検出できなかった場合に、露出を上げる制御を行っていたが、露出を上げる制御のみを行う形態としてもよい。例えば、撮影環境が暗い場合は、露出を上げる制御のみを行う形態としてもよい。また例えば、光の検出を開始してから、光が検出できなかった場合のみ露出を上げる形態としても良い。また例えば、描画中も適宜、光が検出できなかった場合のみ露出を上げる形態としても良い。また例えば、描画モードに移行する前に、キャリブレーション的に光が検出できる状態まで、露出を上げる制御を行う形態としてもよい。
また、上記各形態では、スマートフォン１２が描画用デバイス１０の光源２６の点灯及び消灯を制御する形態について説明したが、本形態に限定されず、描画用デバイス１０自身が、光源２６の点灯及び消灯の少なくとも一方を制御する形態であってもよい。
また、上記形態において、例えば、描画用デバイス１０の点灯制御部３０、スイッチ状態受付部３２、及び描画指示出力部３４や、スマートフォン１２の描画モード管理部５０、描画デバイス制御部５２、撮影制御部５４、露出制御部５６、光検出部５８、描画指示取得部６０、描画画像生成部６２、描画画像生成部６３、表示制御部６４、描画画像記録部６６、及び合成画像生成部６８といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。
また、上記各形態では描画制御プログラム２５が記憶部２４に、また、画像生成プログラム４５が記憶部４４に予め記憶（インストール）されている態様を説明したが、これに限定されない。描画制御プログラム２５及び画像生成プログラム４５は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、描画制御プログラム２５及び画像生成プログラム４５は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
１ 空間描画システム
１０ 描画用デバイス
１２ スマートフォン
１９ ネットワーク
２０、４０ プロセッサ
２２、４２ メモリ
２３、４３ Ｉ／Ｆ部
２４、４４ 記憶部
２５ 描画制御プログラム
２６、２６Ａ 光源
２８、４８ 入力装置、２８Ａ 描画スイッチ
２９、４９ バス
３０ 点灯制御部
３２ スイッチ状態受付部
３４ 描画指示出力部
４５ 画像生成プログラム
４６ ディスプレイ
４７ カメラ
５０ 描画モード管理部
５２ 描画デバイス制御部
５４ 撮影制御部
５６ 露出制御部
５８ 光検出部
６０ 描画指示取得部
６２、６３ 描画画像生成部
６４ 表示制御部
６６ 描画画像記録部
６８ 合成画像生成部
８０、８１、８２、８３、８４ 撮像画像
８５、８６、８７、８８、８９ 描画画像
９０、９１ 光の軌跡
９２、９３ 背景領域
９４、９５ 線画
９９ 合成画像
Ｕ１ 描画ユーザ

Claims (17)

  1. 指示装置が発する光を撮像するカメラ、及び前記カメラにより撮像された撮像画像から前記光を検出した検出状況に基づいて描画画像を生成するプロセッサを備えた画像生成装置であって、
    前記プロセッサは、
    前記カメラに、撮像面全体の露出を変更させ前記撮像画像を撮像させ、
    露出を変更した状態で撮影された前記撮像画像から前記光を検出し、
    前記光の検出状況に基づいて生成した前記描画画像を、前記光の背景となった背景領域の明るさを補正して記録させる
    画像生成装置。
  2. 前記プロセッサは、前記撮像面全体の露出の変更量に基づいて、感度を調整する
    請求項１に記載の画像生成装置。
  3. 前記背景領域の明るさは、前記撮像面全体の露出を変更する直前の前記撮像画像の明るさと等しい明るさである
    請求項１または請求項２に記載の画像生成装置。
  4. 指示装置が発する光を撮像するカメラ、及び前記カメラにより撮像された撮像画像から前記光を検出した検出状況に基づいて描画画像を生成するプロセッサを備えた画像生成装置であって、
    前記プロセッサは、
    前記カメラに、撮像面全体の露出を変更させ前記撮像画像を撮像させ、
    前記撮像画像において前記光の背景となった背景画像を、前記カメラに露出を調整して撮像させ、
    前記光を検出した検出状況に基づいて描画した描画画像と、前記背景画像とを合成させて合成画像を生成する
    画像生成装置。
  5. 前記プロセッサは、
    前記撮像面全体の露出を変更する前の状態まで、前記露出を戻して前記背景画像を撮像させる
    請求項４に記載の画像生成装置。
  6. 前記プロセッサは、
    前記描画画像の生成を行う描画モードへの移行の指示を受け付け、
    前記指示に基づいて前記描画モードに移行する場合、前記撮像面全体の露出を、撮影環境に応じて特定される標準露出から変更する
    請求項１から請求項５のいずれか１項に記載の画像生成装置。
  7. 前記プロセッサは、
    前記指示を受け付けた場合、前記指示装置に前記光を発生させる発光指示信号を送信する
    請求項６に記載の画像生成装置。
  8. 前記プロセッサは、
    前記撮像画像から前記光が検出できない場合に、前記撮像面全体の露出を変更させる
    請求項１から請求項７のいずれか１項に記載の画像生成装置。
  9. 前記撮像面全体の露出を変更は、前記露出を下げる方向への変更である
    請求項８に記載の画像生成装置。
  10. 前記プロセッサは、前記カメラのシャッタースピード及び絞りの少なくとも一方を調整することで前記撮像面全体の露出を変更する
    請求項１から請求項９のいずれか１項に記載の画像生成装置。
  11. 前記光は、予め定められた波長の光であり、
    前記プロセッサは、前記光の輝度と、前記予め定められた波長に応じた色とに基づいて、前記撮像画像から前記光を検出する
    請求項１から請求項１０のいずれか１項に記載の画像生成装置。
  12. 前記指示装置は、空間描画用の描画デバイスである
    請求項１から請求項１１のいずれか１項に記載の画像生成装置。
  13. 前記指示装置は、前記画像生成装置により生成された前記描画画像を印刷するプリント機能を備えている
    請求項１から請求項１２のいずれか１項に記載の画像生成装置。
  14. 指示装置が発する光を撮像するカメラ、及び前記カメラにより撮像された撮像画像から前記光を検出した検出状況に基づいて描画画像を生成するプロセッサを備えた画像生成装置の前記プロセッサが、
    前記カメラに、撮像面全体の露出を変更させ前記撮像画像を撮像させ、
    露出を変更した状態で撮影された前記撮像画像から前記光を検出し、
    前記光の検出状況に基づいて生成した前記描画画像を、前記光の背景となった背景領域の明るさを補正して記録させる
    画像生成方法。
  15. 指示装置が発する光を撮像するカメラ、及び前記カメラにより撮像された撮像画像から前記光を検出した検出状況に基づいて描画画像を生成するプロセッサを備えた画像生成装置の前記プロセッサが、
    前記カメラに、撮像面全体の露出を変更させ前記撮像画像を撮像させ、
    前記撮像画像において前記光の背景となった背景画像を、前記カメラに露出を調整して撮像させ、
    前記光を検出した検出状況に基づいて描画した描画画像と、前記背景画像とを合成させて合成画像を生成する
    画像生成方法。
  16. 指示装置が発する光を撮像するカメラ、及び前記カメラにより撮像された撮像画像から前記光を検出した検出状況に基づいて描画画像を生成するプロセッサを備えた画像生成装置の前記プロセッサに、
    前記カメラに、撮像面全体の露出を変更させ前記撮像画像を撮像させ、
    露出を変更した状態で撮影された前記撮像画像から前記光を検出し、
    前記光の検出状況に基づいて生成した前記描画画像を、前記光の背景となった背景領域の明るさを補正して記録させる
    処理を実行させるための画像生成プログラム。
  17. 指示装置が発する光を撮像するカメラ、及び前記カメラにより撮像された撮像画像から前記光を検出した検出状況に基づいて描画画像を生成するプロセッサを備えた画像生成装置の前記プロセッサに、
    前記カメラに、撮像面全体の露出を変更させ前記撮像画像を撮像させ、
    前記撮像画像において前記光の背景となった背景画像を、前記カメラに露出を調整して撮像させ、
    前記光を検出した検出状況に基づいて描画した描画画像と、前記背景画像とを合成させて合成画像を生成する
    処理を実行させるための画像生成プログラム。
JP2022049072A 2022-03-24 2022-03-24 画像生成装置、画像生成方法、及び画像生成プログラム Pending JP2023142262A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022049072A JP2023142262A (ja) 2022-03-24 2022-03-24 画像生成装置、画像生成方法、及び画像生成プログラム
US18/187,369 US20230308766A1 (en) 2022-03-24 2023-03-21 Image generation device, image generation method, and image generation program
EP23163387.6A EP4250756A1 (en) 2022-03-24 2023-03-22 Image generation device, image generation method, and image generation program
CN202310289170.5A CN116805986A (zh) 2022-03-24 2023-03-22 图像生成装置、图像生成方法及非暂时性的存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022049072A JP2023142262A (ja) 2022-03-24 2022-03-24 画像生成装置、画像生成方法、及び画像生成プログラム

Publications (1)

Publication Number Publication Date
JP2023142262A true JP2023142262A (ja) 2023-10-05

Family

ID=85724823

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022049072A Pending JP2023142262A (ja) 2022-03-24 2022-03-24 画像生成装置、画像生成方法、及び画像生成プログラム

Country Status (4)

Country Link
US (1) US20230308766A1 (ja)
EP (1) EP4250756A1 (ja)
JP (1) JP2023142262A (ja)
CN (1) CN116805986A (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101116049A (zh) 2005-02-10 2008-01-30 有限会社策划设计工程 指示器光跟踪方法、程序及其记录媒体
CN110035141B (zh) * 2019-02-22 2021-07-09 华为技术有限公司 一种拍摄方法及设备
JP7447648B2 (ja) * 2020-04-06 2024-03-12 大日本印刷株式会社 撮影システム
JP7476644B2 (ja) * 2020-04-23 2024-05-01 大日本印刷株式会社 撮影システム

Also Published As

Publication number Publication date
EP4250756A1 (en) 2023-09-27
US20230308766A1 (en) 2023-09-28
CN116805986A (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
CN112235484B (zh) 用于生成数字图像的系统和方法
JP5897475B2 (ja) 輝度及び動きからの捕捉条件の選択
WO2018201875A1 (zh) 影像传感器、相机模组和电子装置
WO2020034701A1 (zh) 成像控制方法、装置、电子设备以及可读存储介质
US11950012B2 (en) Apparatus, method of controlling the same, and storage medium
US20200304723A1 (en) Image processing device, imaging apparatus, image processing method, and program
US20220206159A1 (en) Processing apparatus, electronic apparatus, processing method, and program
US11689687B2 (en) Video creation method
US20240201538A1 (en) Liquid crystal display device, electronic apparatus, display control method, display control program, and non-transitory recording medium
JP7152557B2 (ja) 撮像装置、撮像方法、プログラム、及び記録媒体
JP2017138927A (ja) 画像処理装置、撮像装置およびそれらの制御方法、それらのプログラム
US9699385B2 (en) Imaging apparatus and storage medium, and exposure amount control method
JP2023142262A (ja) 画像生成装置、画像生成方法、及び画像生成プログラム
US20220279106A1 (en) Video creation method
JP2007258923A (ja) 画像処理装置、画像処理方法、画像処理プログラム
US11159775B2 (en) Information processing apparatus, imaging apparatus, imaging system, information processing method, imaging method, information processing program, and imaging program
US11336802B2 (en) Imaging apparatus
JP2011234229A (ja) 撮像装置
WO2018214284A1 (zh) 一种应用于终端的拍摄图像的方法及终端设备
US20230325013A1 (en) Instruction device, image generation device, drawing system, communication method, and communication program
JP7537470B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20230142489A1 (en) Image processing device, image processing method, image processing program, and imaging device
US20240107177A1 (en) Techniques for Correcting Images in Flash Photography
US20220408028A1 (en) Imaging apparatus, imaging method, and program
JP2013050622A (ja) 投写型映像表示装置