JP2023142263A - 指示装置、画像生成装置、描画システム、通信方法、及び通信プログラム - Google Patents

指示装置、画像生成装置、描画システム、通信方法、及び通信プログラム Download PDF

Info

Publication number
JP2023142263A
JP2023142263A JP2022049073A JP2022049073A JP2023142263A JP 2023142263 A JP2023142263 A JP 2023142263A JP 2022049073 A JP2022049073 A JP 2022049073A JP 2022049073 A JP2022049073 A JP 2022049073A JP 2023142263 A JP2023142263 A JP 2023142263A
Authority
JP
Japan
Prior art keywords
light
image
instruction
image generation
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022049073A
Other languages
English (en)
Inventor
裕之 水上
Hiroyuki Mizukami
尉氏 田中
Yasushi Tanaka
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2022049073A priority Critical patent/JP2023142263A/ja
Priority to US18/187,459 priority patent/US20230325013A1/en
Priority to CN202310287580.6A priority patent/CN116804898A/zh
Priority to EP23163560.8A priority patent/EP4250068A1/en
Publication of JP2023142263A publication Critical patent/JP2023142263A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】描画を行うユーザの操作感を向上させることができる指示装置、画像生成装置、描画システム、通信方法、及び通信プログラムを提供する。【解決手段】光を発する光源とプロセッサとを有する指示装置であって、前記光を検出した検出結果に基づいて描画画像を生成する画像生成装置に、前記描画画像の描画条件に関する情報を表す第１信号を送信し、前記画像生成装置から、前記光の検出状態に関する情報を表す第２信号を受信する指示装置。【選択図】図１

Description

本開示は、指示装置、画像生成装置、描画システム、通信方法、及び通信プログラムに関する。
従来、ライトペン等の発光する描画用のデバイスを用いて、光により空間に描画を行う技術が知られている。
例えば、特許文献１には、ユーザが発光ダイオードを具備するライトペンにより空中に描画を行い、発光ダイオードが点灯中のライトペンをカメラで撮像し、撮像された画像からライトペンの軌跡を検出して、表示する技術が記載されている。
特開２０１１－１１８５２３号公報
ところで、描画用デバイスにより描画を行うユーザと、描画用デバイスが発光する光を撮像するカメラを操作するユーザと異なる場合、描画を行うユーザは、撮像タイミングが不明であったり、どのように描画されているかが不明であったり等するため、操作感に改善の余地があった。
本開示は、以上の事情を鑑みて成されたものであり、描画を行うユーザの操作感を向上させることができる指示装置、画像生成装置、描画システム、通信方法、及び通信プログラムを提供することを目的とする。
上記目的を達成するために、本開示の第１の態様の指示装置は、光を発する光源とプロセッサとを有する指示装置であって、光を検出した検出結果に基づいて描画画像を生成する画像生成装置に、描画画像の描画条件に関する情報を表す第１信号を送信し、画像生成装置から、光の検出状態に関する情報を表す第２信号を受信する。
本開示の第２の態様の指示装置は、第１の態様の指示装置において、プロセッサは、検出状態に関する情報に基づいて、画像生成装置がユーザに対して知らせる報知動作を実行する。
本開示の第３の態様の指示装置は、第２の態様の指示装置において、報知動作は、指示装置を振動させる動作である。
本開示の第４の態様の指示装置は、第１の態様から第３の態様のいずれか１態様の指示装置において、描画条件は、光の検出結果に基づいて描画される線に関する条件である。
描画条件は、光の軌跡に基づいて描画されるエフェクトの種類である。
本開示の第５の態様の指示装置は、第１の態様から第３の態様のいずれか１態様の指示装置において、描画条件は、光の検出結果に基づいて描画されるエフェクトに関する条件である。
本開示の第６の態様の指示装置は、第１の態様から第５の態様のいずれか１態様の指示装置において、加速度センサを備え、描画条件は、加速度センサの検出結果に基づいて変化する条件を含む。
本開示の第７の態様の指示装置は、第１の態様から第５の態様のいずれか１態様の指示装置において、描画条件を指定するため操作される描画スイッチを備える。
本開示の第８の態様の指示装置は、第１の態様から第７の態様のいずれか１態様の指示装置において、画像生成装置が、光を検出している間を描画中とする。
本開示の第９の態様の指示装置は、第１の態様から第７の態様のいずれか１態様の指示装置において、描画の開始の指示、及び描画の終了の指示を行うための指示スイッチを備え、指示スイッチにより描画の開始の指示が行われた場合、画像生成装置に描画開始信号を送信し、指示スイッチにより描画の終了の指示が行われた場合、画像生成装置に描画終了信号を送信し、描画開始信号を送信してから、描画終了信号を送信するまでの間を描画中とする。
本開示の第１０の態様の指示装置は、第１の態様から第９の態様のいずれか１態様の指示装置において、画像生成装置により生成された描画画像を印刷するプリント機能を備えている。
本開示の第１１の態様の指示装置は、第１の態様から第１０の態様のいずれか１態様の指示装置において、空間描画用の描画デバイスである。
上記目的を達成するために、本開示の第１２の態様の画像生成装置は、指示装置が発する光を撮像するカメラ、及びカメラにより撮像された撮像画像から検出した光の検出結果に基づいて描画画像を生成するプロセッサを備えた画像生成装置であって、指示装置から描画画像の描画条件に関する情報を表す第１信号を受信し、指示装置に、光の検出状態に関する情報を表す第２信号を送信する。
上記目的を達成するために、本開示の第１３の態様の描画システムは、光を発する光源とプロセッサとを有する指示装置と、指示装置が発する光を撮像するカメラ、及びカメラにより撮像された撮像画像から検出した光の検出結果に基づいて描画画像を生成するプロセッサを備えた画像生成装置と、を備え、指示装置から画像生成装置に、描画画像の描画条件に関する情報を表す第１信号を送信し、画像生成装置から指示装置に、光の検出状態に関する情報を表す第２信号を送信する。
上記目的を達成するために、本開示の第１４の態様の通信方法は、光を発する光源とプロセッサとを有する指示装置のプロセッサにより、光を検出した検出結果に基づいて描画画像を生成する画像生成装置に、描画画像の描画条件に関する情報を表す第１信号を送信し、画像生成装置から、光の検出状態に関する情報を表す第２信号を受信する方法である。
上記目的を達成するために、本開示の第１５の態様の通信方法は、指示装置が発する光を撮像するカメラ、及びカメラにより撮像された撮像画像から検出した光の検出結果に基づいて描画画像を生成するプロセッサを備えた画像生成装置のプロセッサにより、指示装置から描画画像の描画条件に関する情報を表す第１信号を受信し、指示装置に、光の検出状態に関する情報を表す第２信号を送信する方法である。
上記目的を達成するために、本開示の第１６の態様の通信プログラムは、光を発する光源とプロセッサとを有する指示装置のプロセッサが実行する通信プログラムであって、光を検出した検出結果に基づいて描画画像を生成する画像生成装置に、描画画像の描画条件に関する情報を表す第１信号を送信し、画像生成装置から、光の検出状態に関する情報を表す第２信号を受信する処理を実行させるためのものである。
上記目的を達成するために、本開示の第１７の態様の通信プログラムは、指示装置が発する光を撮像するカメラ、及びカメラにより撮像された撮像画像から検出した光の検出結果に基づいて描画画像を生成するプロセッサを備えた画像生成装置のプロセッサが実行する通信プログラムであって、指示装置から描画画像の描画条件に関する情報を表す第１信号を受信し、指示装置に、光の検出状態に関する情報を表す第２信号を送信する処理を実行させるためのものである。
本開示によれば、描画を行うユーザの操作感を向上させることができる。
実施形態の空間描画システムの構成の一例を示す構成図である。 実施形態の描画用デバイスのハードウェア構成の一例を示すブロック図である。 実施形態の描画用デバイスの構成の一例を示す機能ブロック図である。 スマートフォンから描画用デバイスへ出力される検出開始信号及び検出終了信号について説明するための図である。 描画スイッチの押圧状態に基づいて描画用デバイスからスマートフォンへ出力される描画条件信号について説明するための図である。 加速度センサの検出結果に基づいて描画用デバイスからスマートフォンへ出力される描画条件信号について説明するための図である。 実施形態のスマートフォンのハードウェア構成の一例を示すブロック図である。 実施形態のスマートフォンの構成の一例を示す機能ブロック図である。 実施形態のスマートフォンにより実行される画像生成処理及び描画用デバイスにより実行される描画制御処理の一例を示すフローチャートである。 描画画像のその他の例を説明するための説明図である。 描画の開始の指示及び描画の終了の指示を行うための別構成の一例を示すブロック図である。 描画デバイスのその他の例を示す図である。
以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。
図１を参照して、本実施形態の空間描画システム１の構成を説明する。図１に示すように、本実施形態の空間描画システム１は、光源３２が発する光２により描画を行う描画用デバイス１０、及びカメラ４７が撮像した撮像画像から検出した光２の検出結果に基づいて描画画像を生成するスマートフォン１２を備える。描画用デバイス１０及びスマートフォン１２は、ネットワーク１９を介して有線通信または無線通信により接続されている。本実施形態の空間描画システム１が、本開示の描画システムの一例である。
図２を参照して、本実施形態の描画用デバイス１０の構成を説明する。本実施形態の描画用デバイス１０は、描画を行うユーザが把持し、光源３２から光を発する描画用デバイス１０を動かすことで、光源３２から発する光により、空間に描画を行うためのデバイスである。一例として、本実施形態では、ライトペン型の描画用デバイス１０について説明する。本実施形態の描画用デバイス１０が本開示の指示装置の一例である。
なお、一例として本実施形態では、描画用デバイス１０を用いて描画を行うユーザと、スマートフォン１２により、描画用デバイス１０が発する光を撮像して描画画像を生成するユーザとは、異なるユーザである。本実施形態では両ユーザの区別を行うため、描画用デバイス１０により描画を行うユーザを「描画ユーザ」といい、スマートフォン１２により撮像及び描画画像の生成を行うユーザを「撮像ユーザ」という。
まず、描画用デバイス１０の詳細について説明する。図２には、描画用デバイス１０における、空間描画に係わる機能に関する構成の一例を表したブロック図が示されている。図２に示すように、描画用デバイス１０は、プロセッサ２０、メモリ２２、Ｉ／Ｆ（InterFace）部２３、記憶部２４、入力装置２８、加速度センサ３０、光源３２、及び振動部３４を備える。プロセッサ２０、メモリ２２、Ｉ／Ｆ部２３、記憶部２４、入力装置２８、加速度センサ３０、光源３２、及び振動部３４は、システムバスやコントロールバス等のバス３９を介して相互に各種情報の授受が可能に接続されている。
プロセッサ２０は、記憶部２４に記憶された描画制御プログラム２５を含む各種のプログラムをメモリ２２へ読み出し、読み出したプログラムにしたがった処理を実行する。メモリ２２は、プロセッサ２０が処理を実行するためのワークメモリである。記憶部２４には、描画制御プログラム２５や、その他の各種情報等が記憶される。本実施形態の描画制御プログラム２５が本開示の通信プログラムの一例である。記憶部２４の具体例としては、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等が挙げられる。
Ｉ／Ｆ部２３は、無線通信または有線通信により、スマートフォン１２との間で各種情報の通信を行う。描画スイッチ２８Ａを含む入力装置２８はユーザインタフェースとして機能する。描画スイッチ２８Ａは、ユーザが描画を行う場合に各種の指示を入力するために操作するスイッチであり、描画用デバイス１０の本体表面に設けられている。
一例として本実施形態の描画スイッチ２８Ａは、３段階のスイッチであり、まず、１段階目として、描画ユーザが描画スイッチ２８Ａを押圧すると、第１段階として設定された描画条件による描画の開始が、描画ユーザによって指定される。また、２段階目として、描画ユーザが第１段階目よりも強く描画スイッチ２８Ａを押圧すると、第２段階として設定された描画条件による描画を行う旨が、描画ユーザによって指定される。さらに、第３段階目として、描画ユーザが第２段階目よりも強く描画スイッチ２８Ａを押圧すると、描画スイッチ２８Ａが元の状態に戻り、描画を終了する旨が、描画ユーザによって指定される。
加速度センサ３０は、移動する描画用デバイス１０の、その移動における加速度を検出するためのセンサであり、検出した加速度を表す情報を検出結果として出力する。
光源３２は、描画のための光を発するものであり、例えば、ＬＥＤ（Light Emitting Diode）が挙げられる。一例として本実施形態では、高輝度タイプのＬＥＤを用いている。また、スマートフォン１２における光源３２の光の検出率を向上させるため、イエローグリーン等のような混色ではなく、ピュアグリーンの発光色を有するＬＥＤを採用している。また、光漏れが少ないことが好ましいため、指向性が高い光源を採用している。
振動部３４は、描画用デバイス１０全体を振動させるためのものである。振動部３４としては、例えば、モータ等が挙げられる。振動部３４による描画用デバイス１０の振動は、描画用デバイス１０を把持する描画ユーザに伝播する。
図３には、本実施形態の描画用デバイス１０の機能に係る構成の一例を表す機能ブロック図が示されている。図３に示すように描画用デバイス１０は、通信部５０、点灯制御部５２、振動制御部５４、スイッチ状態受付部５６、及び加速度検出部５８を備える。一例として本実施形態の描画用デバイス１０は、プロセッサ２０が記憶部２４に記憶されている描画制御プログラム２５を実行することにより、プロセッサ２０が通信部５０、点灯制御部５２、振動制御部５４、スイッチ状態受付部５６、及び加速度検出部５８として機能する。
通信部５０は、Ｉ／Ｆ部２３を介してスマートフォン１２と各種の信号の通信を行う機能を有する。一例として本実施形態の通信部５０は、光源３２の点灯を指示する点灯指示、及び光源３２の消灯を指示する消灯指示をスマートフォン１２から受信する。通信部５０は、受信した点灯指示及び消灯指示を点灯制御部５２に出力する。
また、通信部５０は、描画用デバイス１０の光源３２が発した光の検出を開始したことを表す検出開始信号、及び描画用デバイス１０の光源３２が発した光の検出を終了したことを表す検出収量信号をスマートフォン１２から受信する。通信部５０は、受信した検出開始信号及び検出終了信号を振動制御部５４に出力する。本実施形態の検出開始信号及び検出終了信号が本開示の第２信号の一例である。
また、通信部５０には、描画ユーザにより描画の開始のために描画スイッチ２８Ａが操作されたことを表す描画開始指示、及び描画の終了のために描画スイッチ２８Ａが操作されたことを表す描画終了指示がスイッチ状態受付部５６から入力される。通信部５０は、入力された描画開始指示及び描画終了指示をスマートフォン１２に送信する。
また、通信部５０には、撮像ユーザが指定した描画条件に関する情報を表す描画条件信号がスイッチ状態受付部５６及び加速度検出部５８から入力される。通信部５０は、入力された描画条件信号をスマートフォン１２に送信する。本実施形態の描画条件信号が本開示の第１信号の一例である。
点灯制御部５２は、光源３２の点灯及び消灯を制御する機能を有する。一例として本実施形態の点灯制御部５２は、通信部５０から点灯指示が入力された場合、光源３２を点灯させる制御を行う。また、点灯制御部５２は、通信部５０から消灯指示が入力された場合、光源３２を消灯させる制御を行う。
振動制御部５４は、振動部３４により描画用デバイス１０を振動させる機能を有する。図４に示すように、描画用デバイス１０の光源３２が発光している場合、スマートフォン１２のカメラ４７は、描画用デバイス１０から照射された光２を撮像する。スマートフォン１２では、カメラ４７が撮像した撮像画像から光２を検出した場合、検出した光２の検出結果及び描画条件に応じた描画を行う。図４では、光２の検出結果及び描画条件に基づいて、線画８２を描画した描画画像８０をディスプレイ４６にライブビュー画像として表示した例を示している。スマートフォン１２は、撮像画像から光２の検出を開始した場合、検出開始信号７０を描画用デバイス１０に送信する。これにより、本実施形態の描画用デバイス１０は、通信部５０が検出開始信号７０を受信する。振動制御部５４は、通信部５０から検出開始信号７０が入力された場合、振動部３４により描画用デバイス１０の振動を開始させる制御を行う。
図４に示すように、この後、描画用デバイス１０が発光を停止した場合、スマートフォン１２では、カメラ４７が撮像した撮像画像から光り２が検出できなくなる。スマートフォン１２は、光２の検出を終了した場合、検出終了信号７１を描画用デバイス１０に送信する。これにより、本実施形態の描画用デバイス１０は、通信部５０が検出終了信号７１を受信する。振動制御部５４は、通信部５０から検出終了信号７１が入力された場合、振動部３４による描画用デバイス１０の振動を停止させる制御を行う。なお、検出終了信号７１は、描画用デバイス１０が発光を停止した場合に限らず、撮像画像から光２が検出できなくなった場合に、スマートフォン１２から描画用デバイス１０に出力される。例えば、描画用デバイス１０の位置がスマートフォン１２のカメラ４７の撮影範囲から外れた場合、撮像画像には、描画用デバイス１０の光源３２６が発光している光２が写らなくなるため、検出終了信号７１がスマートフォン１２から描画用デバイス１０へ出力される。
スイッチ状態受付部５６は、描画ユーザにより操作された描画スイッチ２８Ａの状態を受け付ける機能を有する。一例として本実施形態のスイッチ状態受付部５６は、描画ユーザによって描画スイッチ２８Ａに対して上述した第１段階目の押圧がなされたことを受け付けた場合、描画開始指示を通信部５０に出力する。また、一例として、本実施形態のスイッチ状態受付部５６は、描画ユーザによって描画スイッチ２８Ａに対して上述した第３段階目の押圧がなされたことを受け付けた場合、描画終了指示を通信部５０に出力する。
また、本実施形態のスイッチ状態受付部５６は、図５に示すように、一例として描画スイッチ２８Ａの押圧状態が第１段階の場合、描画条件として、明度が低い線画８２Ａを描画することが設定されている。また、描画スイッチ２８Ａの押圧状態が第２段階の場合、描画条件として、明度が高い線画８２Ｂを描画することが設定されている。
図５に示すように、スイッチ状態受付部５６は、描画スイッチ２８Ａが第１段階目の押圧がなされていることを受け付けた場合、明度が低い線画８２Ａを描画することを表す描画条件信号７２Ａを通信部５０に出力する。通信部５０からは、スマートフォン１２へ描画条件信号７２Ａが出力される。スマートフォン１２では、受信した描画条件信号７２Ａに基づいて、光２の検出結果に基づいて描画した線画８２Ａを含む描画画像８０をディスプレイ４６にライブビュー画像として表示する。
また、図５に示すように、スイッチ状態受付部５６は、描画スイッチ２８Ａが第２段階目の押圧がなされていることを受け付けた場合、明度が高い線画８２Ｂを描画することを表す描画条件信号７２Ｂを通信部５０に出力する。通信部５０からは、スマートフォン１２へ描画条件信号７２Ｂが出力される。スマートフォン１２では、受信した描画条件信号７２Ｂに基づいて、光２の検出結果に基づいて描画した線画８２Ｂを含む描画画像８０をディスプレイ４６にライブビュー画像として表示する。
なお、描画条件信号７２Ａ及び描画条件信号７２Ｂが表す具体的な内容は限定されない。例えば、描画条件信号７２Ａは、描画スイッチ２８Ａが第１段階目の押圧がなされたことを表す信号であってもよいし、描画条件信号７２Ｂは、描画スイッチ２８Ａが第２段階目の押圧がなされたことを表す信号であってもよい。この場合、スマートフォン１２は、受信した描画条件信号７２Ａまたは描画条件信号７２Ｂに基づいて、線画８２Ａ及び線画８２Ｂのいずれを描画するか特定して、描画を行う。また例えば、描画条件信号７２Ａは、明度が低い線画８２Ａを描画することを指示する信号であってもよいし、描画条件信号７２Ｂは、明度が高い線画８２Ｂを描画することを指示する信号であってもよい。この場合、スマートフォン１２は、受信した描画条件信号７２Ａまたは描画条件信号７２Ｂによって指示される線画８２Ａまたは線画８２Ｂの描画を行う。
加速度検出部５８は、加速度センサ３０の検出結果に基づいて、描画用デバイス１０の移動における加速度を検出する機能を有する。図６に示すように、一例として、描画用デバイス１０の移動における加速度が速い場合、描画条件として、細い線画８２Ｃを描画することが設定されている。また、描画用デバイス１０の移動における加速度が遅い場合、描画条件として、太い線画８２Ｄを描画することが設定されている。なお、加速度が速いか遅いかは、予め設定された閾値により判断することができる。
図６に示すように、加速度検出部５８は、加速度センサ３０が検出した加速度が速い場合、細い線画８２Ｃを描画することを表す描画条件信号７２Ｃを通信部５０に出力する。通信部５０からは、スマートフォン１２へ描画条件信号７２Ｃが出力される。スマートフォン１２では、受信した描画条件信号７２Ｃに基づいて、光２の検出結果に基づいて描画した線画８２Ｃを含む描画画像８０をディスプレイ４６にライブビュー画像として表示する。
また、図６に示すように、加速度検出部５８は、加速度センサ３０が検出した加速度が遅い場合、太い線画８２Ｄを描画することを表す描画条件信号７２Ｄを通信部５０に出力する。通信部５０からは、スマートフォン１２へ描画条件信号７２Ｄが出力される。スマートフォン１２では、受信した描画条件信号７２Ｄに基づいて、光２の検出結果に基づいて描画した線画８２Ｄを含む描画画像８０をディスプレイ４６にライブビュー画像として表示する。
なお、描画条件信号７２Ｃ及び描画条件信号７２Ｄが表す具体的な内容は限定されない。例えば、描画条件信号７２Ｄ及び描画条件信号７２Ｃは、加速度センサ３０が検出した加速度そのものを表す信号であってもよい。この場合、スマートフォン１２は、受信した描画条件信号７２Ｃまたは描画条件信号７２Ｄに基づいて、線画８２Ｃ及び線画８２Ｄのいずれを描画するか特定して、描画を行う。また例えば、描画条件信号７２Ｃは、細い線画８２Ｃを描画することを指示する信号であってもよいし、描画条件信号７２Ｄは、太い線画８２Ｄを描画することを指示する信号であってもよい。この場合、スマートフォン１２は、受信した描画条件信号７２Ｃまたは描画条件信号７２Ｄによって指示される線画８２Ｃまたは線画８２Ｄの描画を行う。
次に本実施形態のスマートフォン１２について説明する。本実施形態のスマートフォン１２が本開示の画像生成装置の一例である。図７には、スマートフォン１２における、空間描画に係わる機能に関する構成の一例を表したブロック図が示されている。図７に示すように、スマートフォン１２は、プロセッサ４０、メモリ４２、Ｉ／Ｆ部４３、記憶部４４、ディスプレイ４６、カメラ４７、及び入力装置４８を備える。プロセッサ４０、メモリ４２、Ｉ／Ｆ部４３、記憶部４４、ディスプレイ４６、カメラ４７、及び入力装置４８は、システムバスやコントロールバス等のバス４９を介して相互に各種情報の授受が可能に接続されている。
プロセッサ４０は、記憶部４４に記憶された画像生成プログラム４５を含む各種のプログラムをメモリ４２へ読み出し、読み出したプログラムにしたがった処理を実行する。メモリ４２は、プロセッサ４０が処理を実行するためのワークメモリである。記憶部４４には、画像生成プログラム４５や、その他の各種情報等が記憶される。本実施形態の画像生成プログラム４５が本開示の通信プログラムの一例である。記憶部４４の具体例としては、ＨＤＤやＳＳＤ等が挙げられる。
Ｉ／Ｆ部４３は、無線通信または有線通信により、描画用デバイス１０との間で各種情報の通信を行う。ディスプレイ４６及び入力装置４８はユーザインタフェースとして機能する。ディスプレイ４６は、カメラ４７が撮像した撮像画像をライブビュー表示したり、描画に関する各種の情報を提供したりする。ディスプレイ４６は特に限定されるものではなく、液晶モニタ及びＬＥＤモニタ等が挙げられる。また、入力装置４８は、描画に関する各種の指示を入力するために撮像ユーザによって操作される。入力装置４８は特に限定されるものではなく、例えば、キーボード、タッチペン、及びマウス等が挙げられる。本実施形態の入力装置４８は、カメラ４７のシャッターボタンを含む。なお、スマートフォン１２では、ディスプレイ４６と入力装置４８とを一体化したタッチパネルディスプレイを採用している。
図８には、本実施形態のスマートフォン１２の機能に係る構成の一例を表す機能ブロック図が示されている。図８に示すようにスマートフォン１２は、通信部６０、描画モード管理部６２、撮影制御部６４、光検出部６６、描画画像生成部６８、及び表示制御部６９を備える。一例として本実施形態のスマートフォン１２は、プロセッサ４０が記憶部４４に記憶されている画像生成プログラム４５を実行することにより、プロセッサ４０が通信部６０、描画モード管理部６２、撮影制御部６４、光検出部６６、描画画像生成部６８、及び表示制御部６９として機能する。
通信部６０は、Ｉ／Ｆ部４３を介して描画用デバイス１０と各種の信号の通信を行う機能を有する。一例として本実施形態の通信部６０は、上述したように、描画用デバイス１０から、描画開始指示、描画終了指示、及び描画条件信号７２Ａ～７２Ｄを受信する。通信部６０は、受信した描画開始指示、描画終了指示、及び描画条件信号７２Ａ～７２Ｄを、描画画像生成部６８に出力する。
また、通信部６０には、描画モード管理部６２から点灯指示及び消灯指示が入力される。上述したように通信部６０は、入力された点灯指示及び消灯指示を描画用デバイス１０に送信する。
また、通信部６０には、光検出部６６から検出開始信号７０及び検出終了信号７１が入力される。上述したように通信部６０は、入力された検出開始信号７０及び検出終了信号７１を描画用デバイス１０に送信する。
描画モード管理部６２は、描画モードへの移行、及び描画モードの終了を管理する機能を有する。一例として、本実施形態の描画モード管理部６２は、撮像ユーザが入力装置４８により行った描画モードへの移行指示を受け付けた場合、詳細を後述する描画モードへ移行する。また、描画モード管理部６２は、点灯指示を通信部６０に出力する。一方、描画モード管理部６２は、撮像ユーザが入力装置４８により行った描画モードの終了指示を受け付けた場合、詳細を後述する描画モードを終了する。また、描画モード管理部６２は、消灯指示を通信部６０に出力する。
撮影制御部６４は、カメラ４７による撮像画像の撮像を制御する機能を有する。一例として本実施形態のカメラ４７は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子（図示省略）を備え、ＲＧＢのカラー画像の撮像が可能とされている。なお、本実施形態では、カメラ４７の撮像素子により撮像された画像を「撮像画像」という。撮影制御部６４は、描画モード中、カメラ４７を制御して動画像として複数フレームの撮像画像を撮像する。
光検出部６６は、カメラ４７が撮像した撮像画像から、描画用デバイス１０の光源３２の光を検出する機能を有する。厳密には、光検出部６６は、撮像画像に写る、光源３２の光２を表す画像を検出する機能を有する。例えば、描画ユーザは、光源３２が点灯した状態の描画用デバイス１０を動かすことにより、空間に描画を行うため、光検出部６６は、一連の撮像画像から、光源３２の光２の軌跡を検出する。なお、本実施形態では、描画用デバイス１０の光源３２について、上述したように光２の色及び輝度が予め定められている。そのため、光検出部６６は、予め定められている光２の色及び輝度に基づいて、撮像画像から光源３２の光２を検出する。光検出部６６が検出した光２の検出結果は、描画画像生成部６８に出力される。また、光検出部６６が撮像画像から光２の検出を開始した場合、検出開始信号７０を通信部６０に出力し、光２の検出を終了した場合、検出終了信号７１を通信部６０に出力する。
描画画像生成部６８は、光検出部６６の検出結果に基づいて描画画像８０を生成する機能を有する。一例として、本実施形態の描画画像生成部６８は、描画用デバイス１０から受信した描画条件信号７２Ａ～７２Ｄが表す描画条件に応じた線画８２Ａ～８２Ｄを、光検出部６６が検出した描画用デバイス１０の光源３２の光２の軌跡に基づいて描画することで描画画像８０を生成する。描画画像生成部６８は、生成した描画画像８０を表示制御部６９に出力する。
表示制御部６９は、描画画像生成部６８が生成した描画画像８０をディスプレイ４６に表示させる機能を有する。なお、本実施形態の表示制御部６９は、描画モード中は、カメラ４７のライブビュー画像として、描画画像生成部６８が生成した描画画像をディスプレイ４６に表示させる。
次に、本実施形態の空間描画システム１の作用を説明する。図９には、スマートフォン１２により実行される画像生成処理、及び描画用デバイス１０により実行される描画制御処理の一例を示すフローチャートが示されている。スマートフォン１２は、記憶部４４に記憶されている画像生成プログラム４５を実行することにより、図９に示した画像生成処理を実行する。また、描画用デバイス１０は、記憶部２４に記憶されている描画制御プログラム２５を実行することにより、図９に示した描画制御処理を実行する。
空間描画システム１により描画を行う場合、まず、撮像ユーザがスマートフォン１２の入力装置４８により、描画モードへの移行を指示する。
そのため、スマートフォン１２では、ステップＳ１００で描画モード管理部６２が描画モードへ移行するか否かを判定する。描画モードへの移行の指示がなされるまでステップＳ１００の判定が否定判定となる。一方、描画モードへの移行の指示がなされると描画モードに移行し、ステップＳ１００の判定が肯定判定となり、ステップＳ１０２へ移行する。次のステップＳ１０２から描画開始指示を取得（ステップＳ１０８参照）するまでの期間が、描画待機期間である。
ステップＳ１０２で通信部５０は、描画用デバイス１０に点灯指示を送信する。具体的には、上述したように、描画モード管理部６２から点灯指示が通信部６０に出力され、通信部６０がＩ／Ｆ部４３を介して点灯指示を描画用デバイス１０に送信する。スマートフォン１２から点灯指示が送信されると、描画用デバイス１０では、ステップＳ２００で通信部５０が点灯指示を受信し、次のステップＳ２０２で点灯制御部５２が、上述したように光源３２を点灯させる。
次のステップＳ１０４で撮影制御部６４は、上述したように、カメラ４７により撮像画像の撮像を開始させる。カメラ４７は、撮影制御部６４の制御に基づいて、所定のフレームレートで複数の撮像画像を撮像する。また、描画画像生成部６８は、ディスプレイ４６に、ライブビュー画像として撮像画像の表示を開始する。
次のステップＳ１０６で光検出部６６は、撮像画像から光源３２の光２の検出を開始し、検出開始信号７０を通信部６０に出力する。通信部６０は、Ｉ／Ｆ部４３を介して検出開始信号７０を描画用デバイス１０に送信する。スマートフォン１２から検出開始信号７０が送信されると、描画用デバイス１０では、ステップＳ２０４で通信部５０が検出開始信号７０を受信し、次のステップＳ２０６で振動制御部５４が、上述したように振動部３４により描画用デバイス１０を振動させる。描画用デバイス１０が振動することにより、描画ユーザは、スマートフォン１２により光源３２が発する光２の検出が開始され、光２による描画が可能な状態であることを認識することができる。
そこで、描画ユーザは、描画を開始する場合、上述したように描画スイッチ２８Ａを操作して描画の開始及び描画条件を指示する。ステップＳ２１０では、描画ユーザによる描画スイッチ２８Ａの操作により描画を開始することをスイッチ状態受付部５６が受け付けるまで否定判定となり、描画を開始することをスイッチ状態受付部５６が受け付けた場合、肯定判定となりステップＳ２１２へ移行する。この場合、スイッチ状態受付部５６は、描画開始指示を通信部５０に出力する。次のステップＳ２０６で通信部５０は、Ｉ／Ｆ部２３を介して描画開始指示をスマートフォン１２へ出力する。
描画用デバイス１０から描画開始指示が送信されると、スマートフォン１２では、ステップＳ１０８で通信部６０がＩ／Ｆ部４３を介して描画開始指示を受信する。通信部６０は、受信した描画開始指示を描画画像生成部６８に出力する。光検出部６６に描画開始し指示が入力されると、描画待機期間が終了し、描画期間に移行し、描画中となる。
次のステップＳ１１０で描画画像生成部６８は、上述したように、光検出部６６の検出結果に基づいて、描画条件に応じた描画画像８０の生成を開始する。次のステップＳ１１２で表示制御部６９は、ディスプレイ４６にライブビュー画像として描画画像生成部６８が生成した描画画像８０の表示を開始する。
一方、描画用デバイス１０では、描画ユーザにより描画が開始されると、ステップＳ２１４で上述したように、描画スイッチ２８Ａの押圧状態に応じた描画条件をスイッチ状態受付部５６が取得する。また、加速度センサ３０の検出結果に応じた描画条件を加速度検出部５８が取得する。
次のステップＳ２１６で上述したように、通信部５０は、Ｉ／Ｆ部２３を介して描画条件信号７２Ａ～７２Ｄをスマートフォン１２に送信する。次のステップＳ２６０で通信部５０は、描画条件が変化したか否かを判定する。本実施形態の通信部５０は、スイッチ状態受付部５６及び加速度検出部５８から入力される描画条件信号が、描画条件信号７２Ａ～７２Ｄのいずれであるかが変化したか否かにより描画条件が変化したか否かを判定する。描画条件が変化した場合、ステップＳ２１６に戻り、通信部５０は、Ｉ／Ｆ部２３を介して変化後の描画条件信号をスマートフォン１２に送信する。一方、描画条件が変化しない場合、ステップＳ２１８の判定が否定判定となり、ステップＳ２２０へ移行する。
このようにして、描画用デバイス１０から描画条件信号７２Ａ～７２Ｄのいずれかが送信されるとスマートフォン１２では、ステップＳ１１４で通信部６０がＩ／Ｆ部４３を介して、描画用デバイス１０が送信した描画条件信号７２Ａ～７２Ｄのいずれかを受信する。
一方、スマートフォン１２では、上記ステップＳ２１８で否定判定となった場合、ステップＳ２２０へ移行する。ステップＳ２２０で通信部５０は、描画を終了するか否かを判定する。上述したように、本実施形態の描画用デバイス１０は、描画スイッチ２８Ａが第３段階目として、描画ユーザにより描画スイッチ２８Ａが最も強く押圧されると、描画スイッチ２８Ａが元の状態に戻り、描画を終了する旨が、描画ユーザによって指定される。スイッチ状態受付部５６が、描画スイッチ２８Ａの押圧状態が第３段階目であることを受け付けるまで、ステップＳ２２０の判定が否定判定となり、ステップＳ２１８に戻る。一方、スイッチ状態受付部５６が、描画スイッチ２８Ａの押圧状態が第３段階目であることを受け付けた場合、ステップＳ２２０の判定が肯定判定となり、ステップＳ２２２へ移行する。ステップＳ２２２で通信部５０は、Ｉ／Ｆ部２３を介して描画終了指示をスマートフォン１２へ送信する。
このようにして、描画用デバイス１０から描画終了指示が出力されるとスマートフォン１２では、ステップＳ１１６で通信部６０がＩ／Ｆ部４３を介して描画終了指示を受信し、描画画像生成部６８に出力する。次のステップＳ１１８で描画画像生成部６８は、描画画像の生成を終了する。描画画像生成部６８が描画画像の生成を終了すると、描画期間が終了する。
なお、描画用デバイス１０により描画を行っている描画ユーザは、撮影空間の別の領域に描画を行いたい場合等、一端、描画スイッチ２８Ａの押圧状態を第３段階として、描画を終了してから、描画を行いたい別の領域に描画用デバイス１０を移動させて、描画スイッチ２８Ａを再び押圧して描画を開始する。そのため、描画用デバイス１０のスイッチ状態受付部５６は、描画スイッチ２８Ａが描画ユーザによって再び操作されたことを受け付けたか否かを判定する。描画スイッチ２８Ａが操作されたことを受け付けない場合、ステップＳ２２４の判定が否定判定となり、ステップＳ２２６へ移行する。一方、描画スイッチ２８Ａが操作されたことを受け付けた場合、ステップＳ２２４の判定が肯定判定となり、ステップＳ２１２に戻り、上記ステップＳ２１２～Ｓ２２２の処理を繰り返す。
そのため、スマートフォン１２では、上記ステップＳ１１８で描画画像の生成を終了した後、ステップＳ１２０で描画開始指示を受信したか否かを判定する。上述したように、描画ユーザが描画スイッチ２８Ａを再び操作した場合、描画用デバイス１０からスマートフォン１２へ描画開始指示が再び送信される。通信部６０が描画開始指示を再び受信した場合、ステップＳ１２０の判定が肯定判定となり、ステップＳ１１０に戻り、再び描画期間に移行して、ステップＳ１１０～Ｓ１１８の処理を繰り返す。一方、通信部６０が描画開始指示を受信しない場合、ステップＳ１２０の判定が否定判定となり、ステップＳ１２２へ移行する。
ステップＳ１２２で描画モード管理部６２は描画モードを終了するか否かを判定する。一例として本実施形態では、撮像ユーザが、入力装置４８に含まれるシャッターボタンを押下すると、描画モードが終了する。そのため、シャッターボタンが押下されていない場合、ステップＳ１２２の判定が否定判定となり、ステップＳ１２０に戻る。一方、シャッターボタンが押下された場合、ステップＳ１２２の判定が肯定判定となり、ステップＳ１２４へ移行する。
ステップＳ１２４で光検出部６６は、撮像画像から光２を検出するのを終了する。光検出部６６が光２の検出を終了すると、上述したように、光検出部６６は、検出終了信号７１を通信部６０に出力する。通信部６０は、Ｉ／Ｆ部４３を介して検出終了信号７１を描画用デバイス１０に送信する。スマートフォン１２から検出終了信号７１が送信されると、描画用デバイス１０では、ステップＳ２２６で通信部５０が検出終了信号７１を受信し、次のステップＳ２２８で振動制御部５４が、上述したように振動部３４による描画用デバイス１０の振動を停止させる。
一方、スマートフォン１２では、ステップＳ１２６で撮影制御部６４は、カメラ４７に撮像画像の撮像を終了させる。また、表示制御部６９は、ディスプレイ４６に表示させていたライブビュー画像（描画画像８０）の表示を終了する。
次のステップＳ１２８で通信部５０は、描画用デバイス１０に消灯指示を送信する。具体的には、上述したように、描画モード管理部６２ら消灯指示が通信部６０に出力され、通信部６０がＩ／Ｆ部４３を介して点灯指示を描画用デバイス１０に送信する。スマートフォン１２から消灯指示が送信されると、描画用デバイス１０では、ステップＳ２３０で通信部５０が消灯指示を受信し、次のステップＳ２３２で点灯制御部５２が、上述したように光源３２を消灯させる。描画用デバイス１０では、ステップＳ２３２の処理が終了すると、図９に示した描画制御処理が終了する。
一方、スマートフォン１２では、ステップＳ１３０で描画画像生成部６８は、生成した描画画像８０を記憶部４４に記録させる。ステップＳ１３０の処理が終了すると、図９に示した画像生成処理が終了する。
以上説明したように、本実施形態の描画用デバイス１０は、光２を発する光源３２とプロセッサ２０とを有する。描画用デバイス１０の通信部５０は、光２を検出した検出結果に基づいて描画画像８０を生成するスマートフォン１２に、描画画像８０の描画条件に関する情報を表す描画条件信号７２Ａ～７２Ｄを送信する。また、通信部５０は、スマートフォン１２から、光２の検出状態に関する情報を表す検出開始信号７０及び検出終了信号７１を受信する。
一方、本実施形態のスマートフォン１２は、描画用デバイス１０が発する光２を撮像するカメラ４７、及びカメラ４７により撮像された撮像画像から検出した光２の検出結果に基づいて描画画像８０を生成するプロセッサ４０を備える。スマートフォン１２の通信部６０は、描画用デバイス１０から描画画像８０の描画条件に関する情報を表す描画条件信号７２Ａ～７２Ｄを受信する。また、通信部６０は、描画用デバイス１０に、光２の検出状態に関する情報を表す検出開始信号７０を送信する。
このように、本実施形態の描画用デバイス１０またはスマートフォン１２によれば、描画ユーザは、描画についてスマートフォン１２がどのような状態にあるのか容易に認識することができる。例えば、描画ユーザは、スマートフォン１２において描画用デバイス１０の光源３２が発する光２を検出しているか否かを容易に認識することができるため、描画動作を行うタイミングを適切に判断することができる。また、描画ユーザは、スマートフォン１２に対して、容易に描画条件を指示することができる。従って、本実施形態の描画用デバイス１０及びスマートフォン１２のいずれによっても、描画を行う描画ユーザの操作感を向上させることができる。
なお、上記形態では、スマートフォン１２の描画画像生成部６８が、光２の検出結果に基づいて描画する画像が線画８２であり、描画条件に基づいて、明度や太さが変わる形態について説明したが、線画８２の描画条件はこれらに限定さらない。例えば、描画される線の色や、点線または実線等の線の種類のうち等でもよい。また描画条件は、例えば、明度のみ等、１つのみであってもよいし、上述した明度及び複数などのように複数であってもよい。
また、描画画像生成部６８が、描画条件に基づいてエフェクトを描画する形態であってもよい。例えば、エフェクトとして、スプレーのような拡散状のエフェクトを描画してもよい。図１０には、拡散状のエフェクトを描画した形態の一例を示している。図１０に示した例では、描画用デバイス１０のスイッチ状態受付部５６が、描画スイッチ２８Ａが第１段階目の押圧がなされていることを受け付けた場合、拡散範囲が小さいスプレーのエフェクト画像８３Ａを描画することを表す描画条件信号７２Ａを通信部５０に出力する。通信部５０からは、スマートフォン１２へ描画条件信号７２Ａが出力される。スマートフォン１２では、受信した描画条件信号７２Ａに基づいて、光２の検出結果に基づいて描画したエフェクト画像８３Ａを含む描画画像８０をディスプレイ４６にライブビュー画像として表示する。また、図１０に示すように、描画用デバイス１０のスイッチ状態受付部５６が、描画スイッチ２８Ａが第２段階目の押圧がなされていることを受け付けた場合、拡散範囲が大きいスプレーのエフェクト画像８３Ｂを描画することを表す描画条件信号７２Ｂを通信部５０に出力する。通信部５０からは、スマートフォン１２へ描画条件信号７２Ｂが出力される。スマートフォン１２では、受信した描画条件信号７２Ｂに基づいて、光２の検出結果に基づいて描画したエフェクト画像８３Ｂを含む描画画像８０をディスプレイ４６にライブビュー画像として表示する。なお、描画するエフェクトの種類は上述したスプレー等に限定されず、例えば、シャボン玉、ハートマーク、及び星等であってもよい。
また、上記形態では、描画スイッチ２８Ａにより、描画開始の指示及び描画終了の指示を行う形態について説明したが、本形態に限定されず、例えば、図１１に示すように、描画用デバイス１０が、入力装置２８として、描画条件の指示を行うための描画スイッチ２８Ａとは別途に、描画開始の指示及描画終了の指示を行うための指示スイッチ２８Ｂを備える形態としてもよい。この場合、描画用デバイス１０の振動部３４により描画用デバイス１０を振動させることにより、描画している描画条件を報知する形態としてもよい。このように、振動の有無や振動の強さにより描画条件を報知することにより、描画ユーザは、どのような描画画像８０が生成されているか容易に認識することができる。従って、空間描画システム１によれば、より楽しい描画体験を提供することができる。
また、上記形態では、描画用デバイス１０から描画条件を指示する形態について説明したが、本形態に限定されず、スマートフォン１２においても、描画条件の指示が可能であってもよい。
また、上記形態では、振動部３４により振動することにより、光２の検出中であることを報知する形態について説明したが、報知動作は振動に限定されない。例えば、音声によって、報知する形態であってもよい。
また、上記形態では、空間描画システム１が、第１信号及び第２信号の両方を通信する形態について説明したが、本形態に限定されず、第１信号及び第２信号の少なくとも一方を通信する形態であってもよい。
なお、上記各形態では描画用デバイス１０が、ライトペンの形態である場合について説明したが、描画用デバイスの形態は、特に限定されず、光により描画の指示を行うことが可能な指示装置であればよい。例えば、図１２に示すように、プリント機能を有する描画用デバイス１１であってもよい。図１２に示した描画用デバイス１１は、スマートフォン１２により生成された描画画像を受信し、受信した描画画像をインスタントフィルムに印刷する機能を有する。
また、上記形態において、例えば、描画用デバイス１０の通信部５０、点灯制御部５２、振動制御部５４、スイッチ状態受付部５６、及び加速度検出部５８や、スマートフォン１２の通信部６０、描画モード管理部６２、撮影制御部６４、光検出部６６、描画画像生成部６８、及び表示制御部６９といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。
また、上記各形態では描画制御プログラム２５が記憶部２４に、また、画像生成プログラム４５が記憶部４４に予め記憶（インストール）されている態様を説明したが、これに限定されない。描画制御プログラム２５及び画像生成プログラム４５は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、描画制御プログラム２５及び画像生成プログラム４５は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
１ 空間描画システム
２ 光
１０、１１ 描画用デバイス
１２ スマートフォン
１９ ネットワーク
２０、４０ プロセッサ
２２、４２ メモリ
２３、４３ Ｉ／Ｆ部
２４、４４ 記憶部
２５ 描画制御プログラム
２８、４８ 入力装置、２８Ａ 描画スイッチ、２８Ｂ 指示スイッチ
３０ 加速度センサ
３２ 光源
３４ 振動部
３９、４９ バス
４５ 画像生成プログラム
４６ ディスプレイ
４７ カメラ
５０ 通信部
５２ 点灯制御部
５４ 振動制御部
５６ スイッチ状態受付部
５８ 加速度検出部
６０ 通信部
６２ 描画モード管理部
６４ 撮影制御部
６６ 光検出部
６８ 描画画像生成部
６９ 表示制御部
７０ 検出開始信号
７１ 検出終了信号
７２Ａ～７２Ｄ 描画条件信号
８０ 描画画像
８２、８２Ａ～８２Ｄ 線画
８３Ａ、８３Ｂ エフェクト画像

Claims (17)

  1. 光を発する光源とプロセッサとを有する指示装置であって、
    前記光を検出した検出結果に基づいて描画画像を生成する画像生成装置に、前記描画画像の描画条件に関する情報を表す第１信号を送信し、
    前記画像生成装置から、前記光の検出状態に関する情報を表す第２信号を受信する
    指示装置。
  2. 前記プロセッサは、
    前記検出状態に関する情報に基づいて、前記画像生成装置がユーザに対して知らせる報知動作を実行する
    請求項１に記載の指示装置。
  3. 前記報知動作は、前記指示装置を振動させる動作である
    請求項２に記載の指示装置。
  4. 前記描画条件は、前記光の検出結果に基づいて描画される線に関する条件である
    請求項１から請求項３のいずれか１項に記載の指示装置。
  5. 前記描画条件は、前記光の検出結果に基づいて描画されるエフェクトに関する条件である
    請求項１から請求項３のいずれか１項に記載の指示装置。
  6. 加速度センサを備え、
    前記描画条件は、前記加速度センサの検出結果に基づいて変化する条件を含む
    請求項１から請求項５のいずれか１項に記載の指示装置。
  7. 前記描画条件を指定するため操作される描画スイッチを備える、
    請求項１から請求項５のいずれか１項に記載の指示装置。
  8. 前記画像生成装置が、前記光を検出している間を描画中とする
    請求項１から請求項７のいずれか１項に指示装置。
  9. 描画の開始の指示、及び描画の終了の指示を行うための指示スイッチを備え、
    前記指示スイッチにより前記描画の開始の指示が行われた場合、前記画像生成装置に描画開始信号を送信し、
    前記指示スイッチにより前記描画の終了の指示が行われた場合、前記画像生成装置に描画終了信号を送信し、
    前記描画開始信号を送信してから、前記描画終了信号を送信するまでの間を描画中とする
    請求項１から請求項７のいずれか１項に記載の指示装置。
  10. 前記画像生成装置により生成された前記描画画像を印刷するプリント機能を備えている
    請求項１から請求項９のいずれか１項に記載の指示装置。
  11. 空間描画用の描画デバイスである
    請求項１から請求項１０のいずれか１項に記載の指示装置。
  12. 指示装置が発する光を撮像するカメラ、及び前記カメラにより撮像された撮像画像から検出した光の検出結果に基づいて描画画像を生成するプロセッサを備えた画像生成装置であって、
    前記指示装置から前記描画画像の描画条件に関する情報を表す第１信号を受信し、
    前記指示装置に、前記光の検出状態に関する情報を表す第２信号を送信する
    画像生成装置。
  13. 光を発する光源とプロセッサとを有する指示装置と、
    前記指示装置が発する光を撮像するカメラ、及び前記カメラにより撮像された撮像画像から検出した光の検出結果に基づいて描画画像を生成するプロセッサを備えた画像生成装置と、
    を備え、
    前記指示装置から前記画像生成装置に、前記描画画像の描画条件に関する情報を表す第１信号を送信し、
    前記画像生成装置から前記指示装置に、前記光の検出状態に関する情報を表す第２信号を送信する
    描画システム。
  14. 光を発する光源とプロセッサとを有する指示装置の前記プロセッサにより、
    前記光を検出した検出結果に基づいて描画画像を生成する画像生成装置に、前記描画画像の描画条件に関する情報を表す第１信号を送信し、
    前記画像生成装置から、前記光の検出状態に関する情報を表す第２信号を受信する
    通信方法。
  15. 指示装置が発する光を撮像するカメラ、及び前記カメラにより撮像された撮像画像から検出した光の検出結果に基づいて描画画像を生成するプロセッサを備えた画像生成装置の前記プロセッサにより、
    前記指示装置から前記描画画像の描画条件に関する情報を表す第１信号を受信し、
    前記指示装置に、前記光の検出状態に関する情報を表す第２信号を送信する
    通信方法。
  16. 光を発する光源とプロセッサとを有する指示装置の前記プロセッサが実行する通信プログラムであって、
    前記光を検出した検出結果に基づいて描画画像を生成する画像生成装置に、前記描画画像の描画条件に関する情報を表す第１信号を送信し、
    前記画像生成装置から、前記光の検出状態に関する情報を表す第２信号を受信する
    処理を実行させるための通信プログラム。
  17. 指示装置が発する光を撮像するカメラ、及び前記カメラにより撮像された撮像画像から検出した光の検出結果に基づいて描画画像を生成するプロセッサを備えた画像生成装置の前記プロセッサが実行する通信プログラムであって、
    前記指示装置から前記描画画像の描画条件に関する情報を表す第１信号を受信し、
    前記指示装置に、前記光の検出状態に関する情報を表す第２信号を送信する
    処理を実行させるための通信プログラム。
JP2022049073A 2022-03-24 2022-03-24 指示装置、画像生成装置、描画システム、通信方法、及び通信プログラム Pending JP2023142263A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022049073A JP2023142263A (ja) 2022-03-24 2022-03-24 指示装置、画像生成装置、描画システム、通信方法、及び通信プログラム
US18/187,459 US20230325013A1 (en) 2022-03-24 2023-03-21 Instruction device, image generation device, drawing system, communication method, and communication program
CN202310287580.6A CN116804898A (zh) 2022-03-24 2023-03-22 指示装置、图像生成装置、描绘系统、通信方法及非暂时性的记录介质
EP23163560.8A EP4250068A1 (en) 2022-03-24 2023-03-22 Instruction device, image generation device, drawing system, communication method, and communication program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022049073A JP2023142263A (ja) 2022-03-24 2022-03-24 指示装置、画像生成装置、描画システム、通信方法、及び通信プログラム

Publications (1)

Publication Number Publication Date
JP2023142263A true JP2023142263A (ja) 2023-10-05

Family

ID=85726867

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022049073A Pending JP2023142263A (ja) 2022-03-24 2022-03-24 指示装置、画像生成装置、描画システム、通信方法、及び通信プログラム

Country Status (4)

Country Link
US (1) US20230325013A1 (ja)
EP (1) EP4250068A1 (ja)
JP (1) JP2023142263A (ja)
CN (1) CN116804898A (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011118523A (ja) 2009-12-01 2011-06-16 Sekisui House Ltd 描画表示装置
US9280219B2 (en) * 2013-06-21 2016-03-08 Blackberry Limited System and method of authentication of an electronic signature
KR101595902B1 (ko) * 2015-07-28 2016-02-24 채시환 색상 제어가 가능한 터치펜
KR102511791B1 (ko) * 2017-12-27 2023-03-21 소니그룹주식회사 정보 처리 장치, 정보 처리 방법 및 정보 처리 시스템
JP2019185635A (ja) * 2018-04-17 2019-10-24 富士通コンポーネント株式会社 端末装置および通信システム
US20190369752A1 (en) * 2018-05-30 2019-12-05 Oculus Vr, Llc Styluses, head-mounted display systems, and related methods

Also Published As

Publication number Publication date
US20230325013A1 (en) 2023-10-12
EP4250068A1 (en) 2023-09-27
CN116804898A (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
US10921930B2 (en) Display apparatus, display system, and method for controlling display apparatus
WO2019183811A1 (zh) 屏幕亮度调节方法及终端
JP5608980B2 (ja) 書画カメラおよび画像表示システム
JP2005078304A (ja) Ｕｓｂファンクション装置
WO2019114724A1 (zh) 一种相机缩略图生成的方法、移动终端及存储介质
WO2016173350A1 (zh) 图片处理方法及装置
EP3432588A1 (en) Method, apparatus, storage medium and system for processing image information
JP2019159261A (ja) 電子黒板、映像表示方法、プログラム
CN105938410B (zh) 显示装置以及显示装置的控制方法
JP2023142263A (ja) 指示装置、画像生成装置、描画システム、通信方法、及び通信プログラム
CN111263061B (zh) 摄像头控制方法和通信终端
WO2023016207A1 (zh) 利用 ai 动作识别对指定区域对焦的方法、终端及存储介质
JP2005260663A (ja) デジタルカメラ、および、プログラム
TWI732342B (zh) 傳輸眼球追蹤資訊的方法、頭戴式顯示器及電腦裝置
JP2008041073A (ja) リモートデータ表示の構造を適用した電子装置
JP2016100804A (ja) 表示装置、表示方法及び表示システム
US20110285624A1 (en) Screen positioning system and method based on light source type
JP2004310528A (ja) 入力装置
JP2023142262A (ja) 画像生成装置、画像生成方法、及び画像生成プログラム
JP2004220110A (ja) 外部入力装置
CN110471571B (zh) 操作器件、位置检测系统和操作器件的控制方法
JP2013050622A (ja) 投写型映像表示装置
US20230063335A1 (en) Display apparatus, display system, display control method, and non-transitory recording medium
WO2021057608A1 (zh) 用于移动终端的模式切换系统、方法及移动终端
JP5707711B2 (ja) 書画カメラ、書画カメラの制御方法および画像表示システム