JP2023053705A - スタイラス - Google Patents

スタイラス Download PDF

Info

Publication number
JP2023053705A
JP2023053705A JP2021162898A JP2021162898A JP2023053705A JP 2023053705 A JP2023053705 A JP 2023053705A JP 2021162898 A JP2021162898 A JP 2021162898A JP 2021162898 A JP2021162898 A JP 2021162898A JP 2023053705 A JP2023053705 A JP 2023053705A
Authority
JP
Japan
Prior art keywords
sensor
stylus
information
light
attribute information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021162898A
Other languages
English (en)
Inventor
良仁 浴
Ryoji Eki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2021162898A priority Critical patent/JP2023053705A/ja
Priority to PCT/JP2022/030941 priority patent/WO2023053752A1/ja
Publication of JP2023053705A publication Critical patent/JP2023053705A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/30Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36Investigating two or more bands of a spectrum by separate detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】対象物の属性情報をより反映させた絵を描くためのスタイラスを提案することを目的とする。【解決手段】 スタイラスは、可視光についての感度を有する第1センサと、対象物の形状についての情報を取得する第2センサと、を備えるものとした。【選択図】図3

Description

本技術は、対象物の情報を取得可能なスタイラスに関する。
入力ツールとしてのスタイラスには、対象物の属性情報を抽出可能な構成を備えたものがある。
例えば、下記特許文献1に開示されたスタイラスは、対象物の属性情報として色情報を取得可能に構成されている。
このようなスタイラスを用いることにより、対象物の色が再現された絵を容易に作成することができる。
米国特許出願公開第2020/0225778号明細書
ところで、対象物の色情報のみを用いて絵を描いたとしても、対象物に似せた絵を描くことは難しい。
本技術は、上記問題に鑑みて為されたものであり、対象物の属性情報をより反映させた絵を描くためのスタイラスを提案することを目的とする。
本技術に係るスタイラスは、可視光についての感度を有する第1センサと、対象物の形状についての情報を取得する第2センサと、を備えたものである。
これにより、対象物OBの色だけでなく質感についての情報を得ることができる。
本技術のスタイラスを用いて対象物の属性情報を取得している様子を示す図である。 対象物の属性情報を反映させた描画線を用いて絵を描いている様子を示す図である。 スタイラスのペン先部分についての概略断面図である。 対象物で反射した光がセンサに入射される様子を示した図である。 第1の実施の形態におけるスタイラスの機能構成を示すブロック図である。 所定の領域の塗りの属性に対象物から抽出した属性情報を反映させた状態を示す図である。 第1の実施の形態におけるスタイラスの制御部の機能構成を示すブロック図である。 第1の実施の形態におけるスタイラスの制御部が実行する処理の流れを示すフローチャートである。 第2の実施の形態におけるスタイラスに対象物で反射した光が入射される様子を示した図である。 第2の実施の形態におけるスタイラスの機能構成を示すブロック図である。 第2の実施の形態におけるスタイラスの制御部の機能構成を示すブロック図である。 第2の実施の形態におけるスタイラスの制御部が実行する処理の流れを示すフローチャートである。 第3の実施の形態におけるスタイラスの制御部の機能構成を示すブロック図である。 第3の実施の形態におけるタブレット端末の制御部の機能構成を示すブロック図である。 第3の実施の形態におけるスタイラスの制御部が実行する処理の流れを示すフローチャートである。 第3の実施の形態におけるタブレット端末の制御部が実行する処理の流れを示すフローチャートである。 第5の実施の形態におけるスタイラスの制御部の機能構成を示すブロック図である。 第5の実施の形態におけるマルチスペクトルAIセンサの制御部が実行する処理の流れを示すフローチャートである。 第5の実施の形態における偏光センサの制御部が実行する処理の流れを示すフローチャートである。 第5の実施の形態におけるスタイラスの制御部が実行する処理の流れを示すフローチャートである。 第5の実施の形態におけるタブレット端末の制御部が実行する処理の流れを示すフローチャートである。 第6の実施の形態におけるスタイラスのペン先部分についての概略断面図である。 第6の実施の形態におけるスタイラスの機能構成を示すブロック図である。 第6の実施の形態における画素アレイの画素配列の一例を示す図である。 第6の実施の形態において分割画素とされたZ画素を示す図である。 第6の実施の形態において遮光画素とされたZ画素を示す図である。 スタイラスのペン先が平坦ではない構造を採る例を示す図である。 スタイラスのペン先にスリットが設けられた例を示す図である。 スタイラスのペン先に集光レンズが設けられた例を示す図である。
以下、実施の形態について添付図面を参照しながら次の順序で説明する。
<1.スタイラスの使用態様>
<2.スタイラスの構成>
<3.処理フロー>
<4.第2の実施の形態>
<5.第3の実施の形態>
<6.第4の実施の形態>
<7.第5の実施の形態>
<8.第6の実施の形態>
<9.変形例>
<10.まとめ>
<11.本技術>
<1.スタイラスの使用態様>
図1は、本実施の形態におけるスタイラス1を用いて対象物OBとしてのリンゴの属性情報を取得している様子を示す図である。
スタイラス1は例えば細長いペン型とされており、ペン先を対象物OBに近づけることで対象物OBの属性情報を取得可能とされている。なお、対象物OBは、属性情報の抽出対象とされた物体である。
対象物OBの属性情報とは、例えば、色情報や質感情報などである。質感情報とは、対象物OBの表面の滑らかさやざらつき具合等の情報であり、例えば、対象物OBの表面の凹凸についての情報である。
図2は、タブレット端末TBの表示部DP上でスタイラス1のペン先を滑らせることにより、図1のようにして得られた対象物OBの属性情報が反映された描画線DLを用いてリンゴの絵を描いている様子を示す図である。
このように、スタイラス1を用いて対象物OBの属性情報を抽出する機能と、それを反映させた描画線DLを用いた絵を描く機能の二つの機能を実現することが可能となる。
<2.スタイラスの構成>
第1の実施の形態におけるスタイラス1のペン先付近の概略断面図を図3に示す。
スタイラス1は、一端に開口された開口部2を有し内部空間SPが形成されたハウジング3と、内部空間SPに配置されたセンサユニット4とを備えている。
センサユニット4は、1または複数のセンサ5と、センサ5から出力される信号に対する信号処理を行う制御部と記憶部とを備えている。
センサ5は、開口部2を介して入射した光を受光する受光素子を有している。
具体的に、センサ5は、受光素子を有する画素が2次元配列された画素アレイや読出処理部等を備えて構成されている。
本実施の形態におけるセンサユニット4は、図3に示すように、第1センサ5Aと第2センサ5Bとを備えている。なお、センサユニット4は概念上のものであり、第1センサ5Aと第2センサ5Bのそれぞれが別体のユニットとして設けられていてもよい。
第1センサ5Aは、対象物OBの色情報を取得するセンサとされ、例えば、RGB(Red, Green, Blue)センサとされる。
RGBセンサは、オンチップマイクロレンズと、カラーフィルタと、光電変換素子と、配線層などが積層されて成る。各画素は、R(赤)光を受光するR画素と、G(緑)光を受光するG画素と、B(青)光を受光するB画素の何れかとされている。
なお、第1センサ5Aは、R画素、G画素、B画素に加えて、或いは、代えて、W(白)画素やY(黄)画素やMg(マゼンタ)画素やCy(シアン)画素を有していてもよい。
第2センサ5Bは、対象物OBの質感情報を取得するセンサとされ、例えば、偏光センサとされる。偏光センサは、オンチップマイクロレンズと、カラーフィルタと、偏光子と、光電変換素子と、配線層などが積層されて成る。
図4に各センサ5に光が入射する様子を示す。
図示するように、対象物OBの表面で反射した光は、第1センサ5Aや第2センサ5Bに入射される。なお、対象物OBに反射された光が各センサ5に入射する前に内部空間SPの壁部で反射されてもよい。
これにより、第1センサ5Aにおいて対象物OBの色情報を取得可能とされると共に、第2センサ5Bにおいて対象物OBの偏光情報を取得可能とされる。偏光情報を取得することにより、第2センサ5Bにおいては、対象物OBの凹凸についての情報、換言すれば、質感についての情報を得ることができる。
なお、センサユニット4の第1センサ5Aは、色検出部や色についての情報を取得する色情報取得部として機能する。
また、センサユニット4の第2センサ5Bは、質感検出部や質感についての情報を取得する質感取得部として機能する。
スタイラス1とタブレット端末TBの機能構成についてブロック図に示す(図5)。
スタイラス1は、センサユニット4と制御部6と記憶部7と操作部8と通信部9とを備えている。
制御部6は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)を備えて構成され、センサユニット4の第1センサ5Aや第2センサ5Bから出力される各画素信号に基づいて各種の画像処理を行い、対象物OBについての属性情報を抽出する。このとき、制御部6は、二つのセンサ5の視差をキャンセルするための処理を行ってもよい。
制御部6が実行するこれらの処理の一部は第1センサ5Aや第2センサ5Bが備える信号処理部によって実現されてもよい。
制御部6は、ボタン等としてスタイラス1に設けられた操作部8から出力される操作信号に応じて各種の処理を行う。例えば、操作部8としてのボタンが押下されている間に対象物OBの属性情報を取得するように構成されている場合には、操作部8からの操作信号を受信している間は、センサユニット4から出力される画素信号に基づいて属性情報の抽出を行う処理を実行し、操作信号を受信していない間は、それらの処理を実行しない。
或いは、対象物OBから抽出した属性情報をタブレット端末TBに送信する処理が、ボタン等の操作部8の押下をトリガとして実行されてもよい。
なお、このような操作部8はスタイラス1にとって必須の構成ではない。
記憶部7は、ROM(Read Only Memory)やRAM(Random Access Memory)等によって構成され、制御部6が実行する処理に用いられるプログラムやデータが記憶されている。
また、本例においては、第1センサ5Aや第2センサ5Bから出力される画素信号から属性情報を抽出するために必要な情報なども記憶部7に記憶される。
例えば、偏光センサとしての第2センサ5Bから出力される信号から得られる偏光情報と、材質ごとの基準となる偏光情報と、をマッチングさせることにより対象物OBの材質を特定する場合には、材質ごとの基準となる偏光情報が基準データとして記憶部7に記憶される。
通信部9は、タブレット端末TBと有線或いは無線を用いたデータ通信を行う。具体的には、通信部9は、対象物OBについて制御部6において抽出された属性情報をタブレット端末TBに送信する処理や、タブレット端末TBからの指示情報を受信する処理などが行われる。
例えば、タブレット端末TBに対するユーザ操作を契機としてスタイラス1における属性情報の取得処理を実行する場合には、通信部9は、タブレット端末TBがユーザ操作を検出したことに応じてタブレット端末TBから送信される指示情報を受信する。
タブレット端末TBは、表示部DPと制御部52と記憶部53と操作部54と通信部55とを備えている。
表示部DPは、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイ等のディスプレイデバイスとされている。
表示部DPとして設けられているディスプレイデバイスは、タッチパネル機能を搭載することにより、スタイラス1のペン先の動きやユーザの指先の動きに応じた入力操作を受け付ける。
制御部52は、CPUやGPUを備えて構成され、タブレット端末TBの全体的な制御を行う。例えば、電源投入時にOS(Operating System)を起動する処理や、各種のソフトウェアの起動及び終了させる処理や、操作部54に対する操作を検出する処理とそれに対応した処理などを実行する。
また、本実施の形態における制御部52は、スタイラス1から受信した属性情報に基づいて、描画線の属性情報や塗りの属性情報を設定する処理を行う。
例えば、スタイラス1で取得した対象物OBの属性情報に応じて、スタイラス1のペン先の軌跡に応じて描画される線の属性情報が設定される。
これにより、図2に示すようにスタイラス1の移動軌跡に応じて対象物OBの属性情報が反映された描画線が表示部DP上に表示される。
或いは、スタイラス1で取得した対象物OBの属性情報に応じて、スタイラス1のペン先で指定した領域の塗りの属性情報が設定されてもよい。
これにより、図6に示すように、リンゴを示す外郭線で囲まれた領域の塗りの属性に対象物OBから抽出された属性情報が反映される。
記憶部53は、ROMやRAMやリムーバブルな記憶媒体などを備えて構成されている。リムーバブルな記憶媒体とは、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどとされる。
記憶部53は、制御部52が実行する処理に用いられるプログラムやデータが記憶されている。
また、本例においては、記憶部53には、スタイラス1から受信した属性情報が記憶される。
操作部54は、電源スイッチなどの各種の操作子を含む。また、前述したように、表示部DPは操作部54としても機能する。
通信部55は、スタイラス1と有線或いは無線を用いたデータ通信を行う。
スタイラス1の制御部6が実現する機能についてのブロック図を図7に示す。
スタイラス1の制御部6は、タイミング制御部71と、属性情報取得処理部72と、送信処理部73としての機能を有する。
タイミング制御部71は、スタイラス1を用いて対象物OBの属性情報を取得するタイミングの制御を行う。例えば、所定の操作部8が操作されたタイミングで属性情報の取得を開始させてもよいし、スタイラス1のペン先と対象物OBの距離が所定の距離未満となったタイミングで属性情報の取得を開始させてもよい。
或いは、タイミング制御部71は、条件によらず一定時間(例えば、数十msecや数百msec)ごとに属性情報の取得を行うようにタイミングの制御を行ってもよい。
属性情報取得処理部72は、センサユニット4から出力される画素信号に基づいて属性情報の取得を行う。具体的には、第1センサ5Aから出力される画素信号に対する画像処理を行うことにより対象物OBについての色情報を取得し、第2センサ5Bから出力される画素信号に対する画像処理を行うことにより対象物OBについての凹凸情報を取得する。
ここで、属性情報取得処理部72が取得する凹凸情報は幾つかの例が考えられる。
例えば、予め幾つかの凹凸のパターンを記憶部7に記憶しておき、第2センサ5Bから出力される画素信号の特徴を記憶部7に記憶されている凹凸パターンの特徴に当てはめることにより対象物OBの凹凸パターンを取得してもよい。
或いは、第2センサ5Bから出力される画素信号に基づいて凹凸形状における凹部同士のピッチや凸部同士のピッチや、凹部と凸部の高低差や、凹部の形状や凸部の形状などを分析することにより、対象物OBの凹凸情報を取得してもよい。
また、第2センサ5Bから出力される画素信号に基づいて対象物OBに付けられている傷や汚れなどの凹凸形状を凹凸情報として取得してもよい。
送信処理部73は、対象物OBについて取得された色情報や凹凸情報などの属性情報をタブレット端末TBに送信する処理を行う。
<3.処理フロー>
スタイラス1の制御部6が実行する処理の流れについて、図8を参照して説明する。
制御部6は、ステップS101において、属性情報を取得するタイミングが到来したか否かを判定する。この処理では、前述したように、所定の操作部8が押下されたことや、スタイラス1のペン先が対象物OBに近づいたことなどを検出したか否かを判定する。
制御部6はステップS102において、第1センサ5Aの画素信号に基づいて対象物OBの色情報を取得する。
制御部6はステップS103において、第2センサ5Bの画素信号に基づいて対象物OBの凹凸情報を取得する。
制御部6はステップS104において、取得した色情報と凹凸情報を対象物OBについての属性情報としてまとめてタブレット端末TBに送信する。
これにより、タブレット端末TBでの描画における属性情報として、対象物OBから抽出した属性情報が設定される。
<4.第2の実施の形態>
第2の実施の形態におけるスタイラス1Aは、第2センサ5BとしてToF(Time of Flight)センサを備えている。また、ToFセンサに伴ってスタイラス1Aは発光部を備える。
具体的には図9に示すように、スタイラス1Aは、開口部2を有し内部空間SPが形成されたハウジング3と、内部空間SPに配置されたセンサユニット4と発光部10とを備えている。
センサユニット4は、1または複数のセンサ5と、センサ5から出力される信号に対する信号処理を行う制御部と記憶部とを備えている。
センサ5は、開口部2を介して入射した光を受光する受光素子を有している。
具体的に、センサ5は、受光素子を有する画素が2次元配列された画素アレイや読出処理部等を備えて構成されている。
本実施の形態におけるセンサユニット4は、RGBセンサなどとされた第1センサ5Aと第2センサ5BとしてのToFセンサ5Baとを備えている。なお、センサユニット4は概念上のものであり、第1センサ5AとToFセンサ5Baのそれぞれが別体のユニットとして設けられていてもよい。
ToFセンサ5Baは、iToF(indirect ToF)方式やdToF(direct ToF)方式による測距が可能なセンサとされており、IR光についての感度を有している。
発光部10は、ToFセンサ5Baの受光感度に合わせてIR(Infrared)光を照射可能なLED(Light Emitting Diode)などにより構成されている。
発光部10とToFセンサ5Baは、所定のタイミングで発光と受光(読み出し)の制御が行われることにより、対象物OBとの距離を測定可能とされている。
スタイラス1Aとタブレット端末TBの具体的な機能構成についてブロック図に示す(図10)。なお、図5と同様の構成については同じ符号を付し適宜説明を省略する。
スタイラス1Aは、センサユニット4と制御部6と記憶部7と操作部8と通信部9と発光部10とを備えている。
制御部6は、発光部10の発光制御とセンサユニット4の読出制御を同期させて行うことにより、対象物OBまでの距離情報を適切に得ることができる。
タブレット端末TBの構成については図6と同様である。
スタイラス1Aの制御部6が実現する機能についてのブロック図を図11に示す。
スタイラス1Aの制御部6は、タイミング制御部71と属性情報取得処理部72と送信処理部73と発光制御部74としての機能を有する。
タイミング制御部71は、対象物OBの属性情報を取得するタイミングについての制御を行う。
属性情報取得処理部72は、センサユニット4から出力される画素信号に基づいて属性情報としての色情報と距離情報を取得する。また、距離情報に基づいて対象物OBの凹凸情報を抽出してもよい。
送信処理部73は、対象物OBについて取得された色情報と距離情報(或いは凹凸情報)をタブレット端末TBに送信する。
発光制御部74は、センサユニット4における画素信号の読出制御と同期させて発光部10の発光制御を行う。
第2の実施の形態におけるスタイラス1Aの制御部6が実行する処理の流れについて図12を参照して説明する。
制御部6は、ステップS101において、属性情報を取得するタイミングが到来したか否かを判定する。到来していないと判定した場合、制御部6は再びステップS101の処理を行う。なお、ステップS101の処理を繰り返し実行している間は、発光部10の発光制御を停止していてもよい。
属性情報を取得するタイミングが到来したと判定した場合、制御部6はステップS105において発光制御を開始させる。
制御部6はステップS102において、第1センサ5Aの画素信号に基づいて対象物OBの色情報を取得する。
制御部6はステップS103において、ToFセンサ5Baの画素信号に基づいて対象物OBの凹凸情報(距離情報でもよい)を取得する。
制御部6はステップS104において、取得した色情報と凹凸情報を対象物OBについての属性情報としてまとめてタブレット端末TBに送信する。
これにより、タブレット端末TBでの描画における属性情報として、対象物OBから抽出した属性情報が設定される。
第2の実施の形態におけるスタイラス1Aは、発光部10を備えることによりToFセンサ5Baにおいて適切に測距情報を得ることができる。従って、対象物OBの凹凸情報を取得することができるため、描画線などに対象物OBの属性情報を反映させることができる。
なお、第1の実施の形態におけるスタイラス1に発光部10が設けられていてもよい。発光部10が設けられることにより、スタイラス1のペン先を対象物OBに接触させた状態であっても対象物OBの属性情報を得るための十分な光量を確保することができる。
なお、第2の実施の形態における第2センサ5Bとして、ToF方式以外の測距センサを備えていてもよい。具体的には、LiDAR(Light Detection And Ranging)方式を用いるセンサやRADAR(Radio Detecting And Ranging)方式を用いるセンサなどを第2センサ5Bとして有していてもよい。
<5.第3の実施の形態>
第3の実施の形態におけるスタイラス1Bは、上述した一部の処理を実行しないように構成されたものである。スタイラス1Bにおいて実行されないそれらの処理は、タブレット端末TBで実行される。
スタイラス1Bとタブレット端末TBの構成は図5に示すスタイラス1とタブレット端末TBの構成と同様であるため、図示を省略する。
スタイラス1Bの制御部6が実現する機能についてのブロック図を図13に示し、タブレット端末TBの制御部52が実現する機能についてのブロック図を図14に示す。なお、前述した機能と同じ機能については同じ符号を付し説明を省略する。
スタイラス1Bの制御部6は、タイミング制御部71と送信処理部73としての機能を有する。
タイミング制御部71は、対象物OBの属性情報を取得するタイミングについての制御を行う。
送信処理部73は、第1センサ5A及び第2センサ5Bから出力された画素信号をタブレット端末TBに送信する処理を行う。なお、送信時においては送信に適したデータフォーマットへ画素信号を変換してもよい。
タブレット端末TBの制御部52は、受信処理部81と属性情報取得処理部72とラベル付与処理部82と反映処理部83と位置検出部84と描画処理部85としての機能を有する。
受信処理部81は、スタイラス1Bの送信処理部73の処理によって送信されてくる画素信号についての情報を受信する処理を行う。
属性情報取得処理部72は、画素信号についての情報に基づいて属性情報としての色情報と凹凸情報を取得する。なお、属性情報取得処理部72は、第2の実施の形態のように距離情報を取得してもよい。
ラベル付与処理部82は、属性情報取得処理によって得られた属性情報をラベルごとの特徴を照らし合わせることにより、対象物OBがどのような物体であるのかを特定してラベル付けを行う。
ここでいうラベルとは、「リンゴ」や「オレンジ」や「犬」や「猫」など、属性抽出の対象とされた対象物OBを特定して分類するためのものである。また、更に細かく、「リンゴのヘタ部分」や「リンゴの上部」や「リンゴの下部」などのラベルが用意されていてもよい。
なお、ラベルの付与処理は、なお、制御部6は機械学習により得られたAI(Artificial Intelligence)モデル等を用いた推論を行うことにより実現してもよいし、ユーザによって選択されたラベルを付与してもよい。即ち、ラベルの付与処理は、自動と手動を問わない。
なおラベル付与処理に用いられるAIモデルは、例えば、偏光画像とラベルを組にしたデータセットを教師データとして用いることにより獲得することができる。なお、教師なし学習によりAIモデルを獲得してもよい。
反映処理部83は、対象物OBに付与されたラベルに基づいて選択された属性情報を描画線の属性や塗りの属性に反映させる処理を行う。即ち、ラベルごとの一般的な属性情報が記憶部53に記憶されており、反映処理部83は、ラベル情報を検索キーとして属性情報を記憶部53から取得して、描画についての属性に反映させる処理を行う。
位置検出部84は、スタイラス1Bのペン先の表示部DP上での位置を検出する処理を行う。この処理は、例えば、静電容量の変化を検出することにより行われる。
描画処理部85は、検出されたスタイラス1Bのペン先の位置に応じて、設定された太さの線を描画する処理や、指定された領域を設定された属性で塗りつぶす処理などが行われる。このとき、描画についての属性に対象物OBから取得した属性を適用することで、対象物OBの色と質感を再現した描画を行うことができる。
第3の実施の形態におけるスタイラス1Bの制御部6が実行する処理の流れについて図15を参照して説明する。
制御部6はステップS101において、属性情報を取得するタイミングが到来したか否かを判定する。到来していないと判定した場合、制御部6は再びステップS101の処理を行う。
属性情報を取得するタイミングが到来したと判定した場合、制御部6はステップS106において、センサユニット4から出力された画素信号に基づいて送信データを生成する。
続いて、制御部6はステップS107において、送信データの送信処理を行う。
これにより、タブレット端末TB側で属性情報の取得やラベルの付与を行うことが可能となる。
次に、図16を参照してタブレット端末TBの制御部52が実行する処理の流れを説明する。
制御部52は、ステップS201において、スタイラス1Bから情報を受信したか否かを判定する。情報を受信していないと判定した場合、制御部52はステップS201の処理を再度実行する。
情報を受信したと判定した場合、制御部52はステップS202において、受信処理を行う。この処理により、スタイラス1Bから画素信号に基づくデータを受信する。
制御部52はステップS203において、属性情報取得処理を行う。この処理では、画素信号についての情報に基づいて属性情報としての色情報と凹凸情報を取得する。
制御部52はステップS204において、ラベル付与処理を行う。
制御部52はステップS205において、付与されたラベルに応じた属性情報を描画線や塗りの属性情報に反映する処理を行う。
制御部52が図16に示す一連の処理を行うことにより、スタイラス1Bにおいて得られた画素信号に基づいて得られた色情報や凹凸情報が描画線の属性情報や塗りの属性情報に反映される。
なお、制御部52は、図16に示す処理以外にも、並行してスタイラス1Bのペン先が接触している表示部DP上の座標位置を取得する処理を行う。そして、制御部52は、座標位置に応じて各種の描画を行う。
本例においては第2センサ5Bとして偏光センサが設けられている例を説明したが、第2の実施の形態と同様に、ToFセンサ5Baと発光部10を備えていてもよい。
また、タブレット端末TBの制御部52がラベル付与処理部82を備えている例について説明したが、ラベルを付与せずに取得した凹凸情報に基づいて描画についての属性情報を設定してもよい。例えば、凹凸情報として、凹凸の形状や凹凸のピッチや凹凸の高低差などを特定し、該特定された情報に基づいて描画についての属性を設定してもよい。
これにより、例えば、対象物OBが「リンゴ」に属するものであっても、品種の違いや熟れ具合の違いに応じて異なる属性情報を設定することが可能となる。
<6.第4の実施の形態>
第4の実施の形態におけるスタイラス1Cは、第1センサ5Aとしてマルチスペクトルセンサ5Acと偏光センサとしての第2センサ5Bを備えている。
マルチスペクトルセンサ5Acは、RGBセンサと比較して色再現性を向上させることができる。
マルチスペクトルセンサ5Acと第2センサ5Bの配置は、図3と同様の構成とされている。また、スタイラス1C及びタブレット端末TBの構成は図5と同様の構成とされている。
更に、スタイラス1Cの制御部6が備える機能構成は図7と同様のものとされる。
なお、属性情報取得処理部72は、マルチスペクトルセンサ5Acと第2センサ5Bから出力される画素信号に基づいて、属性情報としての色情報と凹凸情報を取得する。
このとき、色情報については、マルチスペクトルセンサ5Acが用いられることにより、RGBセンサよりも色再現性の高い情報を得ることができる。
また、凹凸情報については、偏光センサからの出力だけでなくマルチスペクトルセンサ5Acの出力を用いる。
具体的には、偏光センサから出力される画素信号を用いて対象物OBの凹凸を検出するだけでなく、マルチスペクトルセンサ5Acからの出力される偏光情報に基づいて対象物OBの材質を特定する。
偏光センサとマルチスペクトルセンサ5Acの双方を用いることにより、対象物OBの質感情報をより正確に取得することができる。
なお、第2の実施の形態のようにスタイラス1Cが偏光センサの代わりにToFセンサ5Baと発光部10を備えていてもよい。また、スタイラス1CがToFセンサ5Baを備えずに発光部10を備えていてもよい。
<7.第5の実施の形態>
第5の実施の形態におけるスタイラス1Dは、第1センサ5AとしてマルチスペクトルAIセンサ5Adと偏光センサとしての第2センサ5Bを備えている。
マルチスペクトルAIセンサ5Adと偏光センサの配置は、図3と同様の構成とされている。また、スタイラス1D及びタブレット端末TBの構成は図5と同様の構成とされている。
スタイラス1DのマルチスペクトルAIセンサ5Adは、図17に示すように、信号処理部91と推論部92としての機能を有している。
信号処理部91は、マルチスペクトルAIセンサ5Adが備える画素アレイから出力される信号に対して、各種の補正処理や画像処理を施す。これらの処理は、所謂前処理や後処理などとされる。
推論部92は、信号処理部91から出力される画素信号(画像信号)に対してAIモデルを用いた推論処理を行うことにより、RGBセンサよりも正確な色情報を推定することができる。
ここで用いられるAIモデルは、例えば、RGB画像やマルチスペクトル画像などの色情報を抽出可能な画像と、色情報や「リンゴ」などのラベル情報を組にしたデータセットを教師データとして用いて機械学習を行うことにより獲得できるものである。なお、教師なし学習を行うことによりAIモデルを獲得してもよい。
また、マルチスペクトルAIセンサ5Adの画素アレイから出力される信号に基づいて対象物OBの材質を推定することが可能である。従って、推論部92は、推定された材質の情報と偏光センサからの出力される偏光情報の双方を用いて対象物OBの質感についての情報を推定してもよい。
マルチスペクトルAIセンサ5Adにおいて実行される処理の流れについて図18を参照して説明する。
なお、本例におけるマルチスペクトルAIセンサ5Adは、CPUやGPUやROMやRAM等を備えたコンピュータ装置として機能する。そして、マルチスペクトルAIセンサ5AdのCPUやGPUなどの制御部は、図18に示す一連の処理を実行可能とされている。
即ち、マルチスペクトルAIセンサ5Adの制御部は、ステップS301において、所謂前処理や後処理とされた信号処理を実行する。
マルチスペクトルAIセンサ5Adの制御部はステップS302において、推論処理を行う。この推論処理によって色情報の推定を行う。
マルチスペクトルAIセンサ5Adの制御部はステップS303において、推定された色情報を出力する。
マルチスペクトルAIセンサ5Adの制御部において図18に示す一連の処理が実行されると共に、第2センサ5Bの偏光センサにおいては図19に示す一連の処理が実行される。
具体的に、偏光センサの処理部は、ステップS401において、前処理や後処理としての信号処理を実行する。
続いて、偏光センサの処理部は、ステップS402において、質感情報取得処理を行う。質感情報取得処理は、対象物OBの質感についての情報として凹凸情報を取得する。
最後に、偏光センサの処理部は、ステップS403において、凹凸情報を出力する処理を実行する。
マルチスペクトルAIセンサ5Adと偏光センサとしての第2センサ5Bから出力された情報を受け取ったスタイラス1Dの制御部6は、図20に示す一連の処理を実行する。
具体的には、制御部6はステップS101において、属性情報を取得するタイミングが到来したか否かを判定する。
属性情報を取得するタイミングが到来したと判定されるまで制御部6はステップS101の処理を実行する。
属性情報を取得するタイミングが到来したと判定した場合、制御部6はステップS110において、マルチスペクトルAIセンサ5Adから受け取った推論結果と第2センサ5Bから受け取った凹凸情報をまとめて対象物OBの属性情報としてタブレット端末TBに送信する処理を実行する。
属性情報を受信したタブレット端末TBの制御部52は、図21に示す一連の処理を実行する。
具体的に、制御部52は、ステップS201において、スタイラス1Dから情報を受信したか否かを判定する。情報を受信していないと判定した場合、制御部52は再度ステップS201の処理を行う。
情報を受信したと判定した場合、制御部52はステップS202において、属性情報の受信処理を行う。
制御部52はステップS210において、AIモデルを用いた詳細な推論処理を実行する。この処理は、センサに搭載されるよりも潤沢なコンピュータ資源を用いて、高性能なAIモデルを利用することにより、高精度な推論処理を行うものである。この処理によって色情報や凹凸情報などの属性情報の確度を向上させることができる。
なお、高性能なAIモデルとはレイヤ数やノード数が多いAIモデルとされる。
制御部52はステップS204において、高精度な属性情報に基づいてラベルを付与する処理を行う。
<8.第6の実施の形態>
前述した例では、スタイラス1(1A、1B、1C、1D)が第1センサ5Aと第2センサ5Bの二つのセンサを備えていた。
第6の実施の形態におけるスタイラス1Eは、一つのセンサ5Cを備えている(図22参照)。一つのセンサ5Cは、色情報を取得す機能と質感についての情報を取得する機能を統合させたセンサとされていてもよいし、何れか一方の属性情報を取得可能とされていてもよい。
先ず、色情報と質感についての情報の双方を取得可能なセンサ5Cについて説明する。
センサ5Cは、図23に示すように、画素が2次元に配列された画素アレイ11を備えている。
画素アレイ11は、例えば、R画素、G画素、B画素に加えてZ画素を備えている(図24参照)。
Z画素は、R画素、G画素、B画素とは異なる画素とされ、例えば、距離情報を取得可能な分割画素や遮光画素、或いは偏光情報を取得可能な偏光画素などとされる。
分割画素としてのZ画素の一例を図25に示す。
分割画素としてのZ画素は、左側の受光領域PDLを有する左画素GLと右側の受光領域PDRを有する右画素GRが隣接して形成されている。
左画素GLと右画素GRの位相差を算出することによりデフォーカス量を算出することができ、そこから対象物OBまでの距離を算出することができる。
遮光画素としてのZ画素は、受光領域における右側半分が遮光された遮光画素GSと受光領域における左側半分が受光可能な左画素GLの組みあわせから成る第1態様のものと、受光領域における右側半分が受光可能な右画素GRと受光領域における左側半分が遮光された遮光画素GSの組みあわせから成る第2態様のものとが均等に画素アレイ11上に配置されている。
図26は、第1態様の遮光画素としてのZ画素の一例であり、第2態様の遮光画素としてのZ画素は図26における遮光画素GSの位置に右画素GRを配置し、左画素GLに遮光画素GSを配置したものとなる。
第1態様の遮光画素から出力される信号と第2態様の遮光画素から出力される信号の位相差を算出することにより、分割画素と同様にデフォーカス量を算出することができる。
また、図示は省略するが、Z画素が偏光子を備えた偏光画素とされていてもよい。
なお、一般的なRGB信号を得ることができる層と、質感に関する情報を得るための層を積層した画素構造をZ画素が採ることにより、一つのZ画素から色情報と質感に関する情報の双方を得ることが可能に構成されていてもよい。
このようにZ画素を備えた一つのセンサ5Cを用いて色情報と質感についての情報を得ることができる。
また、この場合には、RGGB配列(ベイヤー配列)とされた各画素にZ画素としての質感情報を得るための機能を付与することも可能である。
センサ5Cの別の態様としてマルチスペクトルセンサを挙げることができる。
マルチスペクトルセンサは、対象物OBの材質を推定(特定)することができるため、色情報と質感についての情報の双方を得ることが可能となる。
或いは、センサ5Cは更に別の態様としてAIセンサであってもよい。
AIセンサは、画素アレイから出力される画素信号を入力としてAIモデルを用いた推定処理を行うことにより、対象物OBについての各種の属性情報を得る事が可能とされている。
なお、センサ5Cとして質感についての情報のみを得ることができる偏光センサやToFセンサを備えていてもよい。
この場合には、スタイラス1Eの制御部6やタブレット端末TBの制御部52において色情報を付加してもよい。これにより、対象物OBの質感を反映させつつ現実とは異なる色情報を付加させた描画を行うことができる。そして、その色情報は、ユーザによって指定されたものであってもよい。
第6の実施の形態におけるセンサ5Cが備える機能は、上述した他の実施の形態における何れかのセンサと同様とされてもよい。
また、スタイラス1Eやタブレット端末TBが備える機能についても、上述した他の実施の形態と同様の態様とされていてもよい。
更に、センサ5Cの制御部やスタイラス1Eの制御部6やタブレット端末TBの制御部52が実行する処理についても上述した各例の何れの態様とされていてもよい。例えば、スタイラス1Eの制御部6において色情報と凹凸情報を取得してタブレット端末TBに送信するように構成されていてもよいし、タブレット端末TBにおいて色情報と凹凸情報を取得するように構成されていてもよい。
<9.変形例>
スタイラス1(1A、1B、1C、1D、1E)は発光部10を備えることによりペン先が対象物OBに限りなく近接した場合においても対象物OBについての各種の画像を良好に取得できることを述べた。
発光部10を備える以外にも、スタイラス1が対象物OBについての各種の画像を良好に取得可能となる構成を備えていてもよい。
一例を図27に示す。
スタイラス1Fのペン先に形成された開口部2Fは、周方向に凹部と凸部が交互に形成されている。
これにより、開口部2Fを対象物OBに押しつけたとしても、開口部2Fにおける凹部から内部空間SPに外光が入射するため、光量不足により適切に属性情報を取得できなくなってしまう可能性を低減させることができる。
また、その他の例を図28に示す。
スタイラス1Gのペン先には、周方向に離隔して複数のスリット12が形成されている。
このような構造であっても、開口部2Fにおけるスリット12から内部空間SPに外光が入射するため、画像取得時の光量不足を解消することが可能となる。
なお、図27や図28に示す構造を備えていたとしても、ToFセンサを備える場合には、別途発光部10を備えた構成を採ることが好適である。
スタイラス1は集光レンズ13を備えていてもよい。
具体的に、図29に示すスタイラス1Hは、ペン先の開口部2を閉塞するように集光レンズ13が取り付けられている。
開口部2に集光レンズ13が取り付けられている以外の構成は、上述した各例の構成を採ることができる。
集光レンズ13が開口部2に取り付けられていることにより、開口部2を介して内部空間SPに入射する光を効率よくセンサユニット4のセンサに集光することができる。
上述したタブレット端末TBは、PC(Personal Computer)やスマートフォンで代用することが可能である。
<10.まとめ>
上述した各例で示したように、スタイラス1(1A、1B、1C、1D、1E、1F、1G、1H)は、可視光についての感度を有する第1センサ5A(マルチスペクトルセンサ5Ac)と、対象物OBの形状についての情報を取得する第2センサ5B(ToFセンサ5Ba)と、を備えている。
これにより、対象物OBの色だけでなく質感についての情報を得ることができる。
このような情報を描画についての属性情報に反映させることで、色と質感の双方を再現した絵を容易に描くことができる。
また、質感についての情報を反映させることで、傷の付いた質感や使い古された金属感やくたびれた金属感などは、色だけでは再現できない。本構成のように、対象物OBの質感についての情報を得ることにより、対象物OBに近い線や塗りを描画することができる。
上述したように、スタイラス1(1A、1B、1C、1D、1F、1G、1H)における第2センサ5Bは対象物OBの凹凸についての情報を取得可能とされてもよい。
凹凸についての情報とは、対象物OBまでの距離情報から得られる情報であってもよいし、対象物OBについての偏光情報であってもよいし、凹凸感を推定可能な情報である対象物OBの材質についての情報であってもよい。
対象物OBの凹凸についての情報を取得することにより、質感が再現された絵を描くことができる。
スタイラス1(1A、1B、1C、1D、1F、1G、1H)などにおける第2センサ5B(ToFセンサ5Ba)は対象物OBについての距離情報を取得することにより対象物OBの凹凸についての情報を取得してもよい。
距離情報から対象物OBの凹凸のピッチや高低差や形状を特定することができるため、質感を再現することが可能となる。
スタイラス1(1A、1B、1C、1D、1F、1G、1H)などにおいては、光(例えばIR光)を照射する発光部10を備え、第2センサ5BはToFセンサ5Baとされていてもよい。
ToFセンサ5Baと発光部10を備え、それらを同期させて制御することにより、対象物OBについての距離情報を適切に取得することができる。
図3や図4等を参照して説明したように、スタイラス1(1B、1C、1D、1F、1G、1H)において、第2センサ5Bは偏光センサとされていてもよい。
偏光センサによって対象物OBについての面の向きが取得できるため、対象物OBの凹凸情報を取得することが可能となる。
図3や図4を参照して説明したように、スタイラス1(1A、1B、1C、1D、1F、1G、1H)において、第1センサ5Aは対象物OBの色情報を取得するセンサとされていてもよい。
対象物OBの質感についての情報だけでなく色情報を取得することにより、対象物OBを適切に模した絵を描くことを容易に実現することができる。
図3や図4を参照して説明したように、スタイラス1(1A、1B、1F、1G、1H)において、第1センサ5AはRGBセンサとされていてもよい。
RGBセンサを用いることにより、対象物OBについての色情報を取得することができる。
図3や図4等を参照して説明したように、スタイラス1(1B、1C、1D、1F、1G、1H)において、第1センサ5Aはマルチスペクトルセンサ5Ac)とされ、第2センサ5Bは偏光センサとされていてもよい。
第2センサ5Bとしての偏光センサによって対象物OBについての凹凸情報を取得可能である。また、マルチスペクトルセンサ5Acが対象物OBの材質を特定できる情報を取得可能とされることで、対象物OBの凹凸情報の精度を更に高めることができる。
従って、対象物OBについての質感についての情報をより正確に取得することが可能となる。
変形例で説明したように、スタイラス1Hは、第1センサ5Aまたは第2センサ5Bに入射光を集光する集光レンズ13を備えていてもよい。
これにより、センサ5に入射する入射光の光量を向上させることができ、センサ5による撮像時の光量不足を解消することができる。
従って、対象物OBについてより正確な属性情報(色情報や質感についての情報)を抽出することが可能となる。
変形例で説明したように、スタイラス1F、1Gにおいて、第1センサ5Aまたは第2センサ5Bに入射される光の光量を増加させる入射光取込構造(開口部2Fの構造、または、スリット12)を有していてもよい。
スタイラス1F、1Gが入射光取込構造を有していることにより、センサ5による撮像時の光量不足を解消することができる。また、発光部10を設けなくても光量不足を解消できる場合には、部品点数の削減及びコスト削減を図ることができる。
変形例で説明したように、スタイラス1Gには、入射光取込構造としてスリット12が形成されていてもよい。
スリット12により、センサ5による撮像時の光量不足を解消することができる。
図7などを参照して説明したように、スタイラス1(1A、1C、1D、1E、1F、1G、1H)においては、第1センサ5A及び第2センサ5Bの出力に応じて描画の属性情報を抽出する属性情報取得処理部72と、抽出された属性情報を他の情報処理装置(タブレット端末TBなど)に送信する送信処理部73と、を備えていてもよい。
これにより、タブレット端末TBなどの他の情報処理装置における処理負担を軽減しつつ、対象物OBの質感などを反映させた絵を描くことが可能となる。
上述したように、スタイラス1(1A、1B、1C、1D、1E、1F、1G、1H)においては、対象物OBの質感についての情報を取得する質感取得部(第2センサ5B)を備えている。
なお、質感についての情報を取得する処理をタブレット端末TBにおいて実行する場合には、第2センサ5Bとタブレット端末TBの制御部52が質感取得部を構成してもよい。
これにより、対象物OBの色だけでなく質感についての情報を得ることができる。
このような情報を描画についての属性情報に反映させることで、色と質感の双方を再現した絵を容易に描くことができる。
第6の実施の形態で説明したように、スタイラス1Eは、質感取得部(第2センサ5B)としての機能と対象物OBの色情報を取得する色情報取得部(第1センサ5A)としての機能を統合させたセンサ5Cを備えていてもよい。
第1センサ5Aと第2センサ5Bの機能を統合させた一つのセンサ5Cを備えることにより、センサの配置を好適に行うことが可能となる。
また、一つのセンサ5Cに機能をまとめることにより、コストの削減を図ることが可能となる。
第6の実施の形態で説明したように、スタイラス1Eにおいて設けられる機能を統合させたセンサ5Cは、色情報を取得する部分と質感についての情報を取得する部分が積層されて構成されてもよい。
これにより、各画素において色情報と質感についての情報の双方を取得できるため、色情報と質感についての高密度な情報を得ることが可能となる。
第6の実施の形態で説明したように、スタイラス1Eにおいて設けられる機能を統合させたセンサ5Cはマルチスペクトルセンサとされていてもよい。
これにより、色情報と質感についての情報の双方を得ることができる。
第5の実施の形態で説明したように、スタイラス1Dにおける質感取得部(第2センサ5B)はAIモデルを用いた推論を行うAIセンサ(マルチスペクトルAIセンサ5Ad)とされていてもよい。
適切な学習により得られたAIモデルがAIセンサにおいて用いられることにより、単にセンサ出力と記憶された情報を比較して質感についての情報を得るよりも高精度な情報を得ることが可能となる。
第2の実施の形態などで説明したように、スタイラス1(1A、1B、1C、1D、1E、1F、1G、1H)においては、光を照射する発光部10を備えていてもよい。
また、発光部10は、IR光を受光するToFセンサ5Baに合わせてIR光を照射可能とされていてもよいし、RGBセンサなどの色情報を取得可能なセンサの光量不足を解消するために可視光を照射可能とされていてもよい。
スタイラス1が発光部10を備えることにより、距離情報を適切に取得することや色情報を適切に取得することが可能となる。
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
また、上述した各例はいかように組み合わせてもよく、各種の組み合わせを用いた場合であっても上述した種々の作用効果を得ることが可能である。
<11.本技術>
本技術は以下のような構成も採ることができる。
(1)
可視光についての感度を有する第1センサと、
対象物の形状についての情報を取得する第2センサと、を備えた
スタイラス。
(2)
前記第2センサは前記対象物の凹凸についての情報を取得可能とされた
上記(1)に記載のスタイラス。
(3)
前記第2センサは前記対象物についての距離情報を取得することにより前記対象物の凹凸についての情報を取得する
上記(2)に記載のスタイラス。
(4)
光を照射する発光部を備え、
前記第2センサはToFセンサとされた
上記(3)に記載のスタイラス。
(5)
前記第2センサは偏光センサとされた
上記(2)に記載のスタイラス。
(6)
前記第1センサは対象物の色情報を取得するセンサとされた
上記(1)から上記(5)の何れかに記載のスタイラス。
(7)
前記第1センサはRGBセンサとされた
上記(6)に記載のスタイラス。
(8)
前記第1センサはマルチスペクトルセンサとされ、
前記第2センサは偏光センサとされた
上記(1)から上記(2)の何れかに記載のスタイラス。
(9)
前記第1センサまたは前記第2センサに入射光を集光する集光レンズを備えた
上記(1)から上記(8)の何れかに記載のスタイラス。
(10)
前記第1センサまたは前記第2センサに入射される光の光量を増加させる入射光取込構造を有する
上記(1)から上記(9)の何れかに記載のスタイラス。
(11)
前記入射光取込構造としてスリットが形成された
上記(10)に記載のスタイラス。
(12)
前記第1センサ及び前記第2センサの出力に応じて描画の属性情報を抽出する属性情報取得処理部と、
抽出された前記属性情報を他の情報処理装置に送信する送信処理部と、を備えた
上記(1)から上記(11)の何れかに記載のスタイラス。
(13)
対象物の質感についての情報を取得する質感取得部を備えた
スタイラス。
(14)
前記質感取得部としての機能と前記対象物の色情報を取得する色情報取得部としての機能を統合させたセンサを備えた
上記(13)に記載のスタイラス。
(15)
前記機能を統合させたセンサは、前記色情報を取得する部分と前記質感についての情報を取得する部分が積層されて成る
上記(14)に記載のスタイラス。
(16)
前記機能を統合させたセンサはマルチスペクトルセンサとされた
上記(14)に記載のスタイラス。
(17)
前記質感取得部はAIモデルを用いた推論を行うAIセンサとされた
上記(13)から上記(16)の何れかに記載のスタイラス。
(18)
光を照射する発光部を備えた
上記(13)から上記(17)の何れかに記載のスタイラス。
1、1A、1B、1C、1D、1E、1F、1G、1H スタイラス
5 センサ
5A 第1センサ
5Ac マルチスペクトルセンサ
5B 第2センサ
5Ba ToFセンサ
5C センサ
10 発光部
12 スリット(入射光取込構造)
OB 対象物
TB タブレット端末(他の情報処理装置)

Claims (18)

  1. 可視光についての感度を有する第1センサと、
    対象物の形状についての情報を取得する第2センサと、を備えた
    スタイラス。
  2. 前記第2センサは前記対象物の凹凸についての情報を取得可能とされた
    請求項1に記載のスタイラス。
  3. 前記第2センサは前記対象物についての距離情報を取得することにより前記対象物の凹凸についての情報を取得する
    請求項2に記載のスタイラス。
  4. 光を照射する発光部を備え、
    前記第2センサはToFセンサとされた
    請求項3に記載のスタイラス。
  5. 前記第2センサは偏光センサとされた
    請求項2に記載のスタイラス。
  6. 前記第1センサは対象物の色情報を取得するセンサとされた
    請求項1に記載のスタイラス。
  7. 前記第1センサはRGBセンサとされた
    請求項6に記載のスタイラス。
  8. 前記第1センサはマルチスペクトルセンサとされ、
    前記第2センサは偏光センサとされた
    請求項1に記載のスタイラス。
  9. 前記第1センサまたは前記第2センサに入射光を集光する集光レンズを備えた
    請求項1に記載のスタイラス。
  10. 前記第1センサまたは前記第2センサに入射される光の光量を増加させる入射光取込構造を有する
    請求項1に記載のスタイラス。
  11. 前記入射光取込構造としてスリットが形成された
    請求項10に記載のスタイラス。
  12. 前記第1センサ及び前記第2センサの出力に応じて描画の属性情報を抽出する属性情報取得処理部と、
    抽出された前記属性情報を他の情報処理装置に送信する送信処理部と、を備えた
    請求項1に記載のスタイラス。
  13. 対象物の質感についての情報を取得する質感取得部を備えた
    スタイラス。
  14. 前記質感取得部としての機能と前記対象物の色情報を取得する色情報取得部としての機能を統合させたセンサを備えた
    請求項13に記載のスタイラス。
  15. 前記機能を統合させたセンサは、前記色情報を取得する部分と前記質感についての情報を取得する部分が積層されて成る
    請求項14に記載のスタイラス。
  16. 前記機能を統合させたセンサはマルチスペクトルセンサとされた
    請求項14に記載のスタイラス。
  17. 前記質感取得部はAIモデルを用いた推論を行うAIセンサとされた
    請求項13に記載のスタイラス。
  18. 光を照射する発光部を備えた
    請求項13に記載のスタイラス。
JP2021162898A 2021-10-01 2021-10-01 スタイラス Pending JP2023053705A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021162898A JP2023053705A (ja) 2021-10-01 2021-10-01 スタイラス
PCT/JP2022/030941 WO2023053752A1 (ja) 2021-10-01 2022-08-16 スタイラス

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021162898A JP2023053705A (ja) 2021-10-01 2021-10-01 スタイラス

Publications (1)

Publication Number Publication Date
JP2023053705A true JP2023053705A (ja) 2023-04-13

Family

ID=85782337

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021162898A Pending JP2023053705A (ja) 2021-10-01 2021-10-01 スタイラス

Country Status (2)

Country Link
JP (1) JP2023053705A (ja)
WO (1) WO2023053752A1 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4539744B2 (ja) * 2008-03-21 2010-09-08 富士ゼロックス株式会社 画像処理装置、画像処理システム及び画像処理プログラム
US9014469B2 (en) * 2012-11-01 2015-04-21 Yael Zimet-Rubner Color-mapping wand
US9665187B2 (en) * 2014-07-29 2017-05-30 UFRO Limited Color input device and its application kit
US20190324561A1 (en) * 2018-04-24 2019-10-24 Apple Inc. Stylus with display
US11886650B2 (en) * 2019-04-19 2024-01-30 Apple Inc. Stylus-based input system for a head-mounted device
JP7415347B2 (ja) * 2019-07-03 2024-01-17 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、センシングシステム

Also Published As

Publication number Publication date
WO2023053752A1 (ja) 2023-04-06

Similar Documents

Publication Publication Date Title
US11605238B2 (en) Fingerprint identification module, fingerprint identification method, and display apparatus
US10867155B2 (en) Fingerprint identification display panel and fabricating method thereof, fingerprint identification display device
US10956705B2 (en) Fingerprint recognition device and display device and mobile terminal using fingerprint recognition device
US10477118B2 (en) System and methods for depth imaging using conventional CCD image sensors
CN105390093B (zh) 具有触摸感测功能的有机发光显示装置
CN109598248B (zh) 纹路识别装置的操作方法以及纹路识别装置
WO2017206558A1 (zh) 显示装置及其指纹识别方法
US20200035151A1 (en) OLED Array Substrate, OLED Display Panel, Pixel Circuit, Driving Method And Method For Fingerprint Recognition Using OLED Display Panel
WO2018205835A1 (zh) 指纹识别器件及方法、发光装置、光传感器和显示装置
CN103731611B (zh) 深度传感器、图像捕获方法和图像处理系统
US20110037732A1 (en) Detecting device, display device, and object proximity distance measuring method
US8711225B2 (en) Image-capturing device and projection automatic calibration method of projection device
CN110163058A (zh) 指纹识别显示模组及指纹识别方法
EP3748530B1 (en) Fingerprint identification method and device, display panel and readable storage medium
WO2017202180A1 (zh) 一种触控显示装置
KR20110074488A (ko) 촬상 장치, 표시 촬상 장치 및 전자 기기
CN109583420A (zh) 指纹识别装置的驱动方法及设备
CN108876848A (zh) 追踪系统及其追踪方法
WO2023053752A1 (ja) スタイラス
TWI646373B (zh) 顯示裝置及其生物特徵偵測方法
US11776297B2 (en) Coordinate transformation method used for imaging under screen, storage medium and electronic device
CN110543821B (zh) 纹路识别装置及其操作方法
CN112257631B (zh) 显示模组及显示模组的控制方法
US20220058361A1 (en) Topological structure light source driving method, storage medium and electronic device applied to off screen imaging
KR20230045461A (ko) 화이트 밸런스를 수행하는 영상 획득 장치 및 이를 포함하는 전자 장치