JP2021193499A - 位置検出システム、位置検出装置、プロジェクター及び位置検出方法 - Google Patents

位置検出システム、位置検出装置、プロジェクター及び位置検出方法 Download PDF

Info

Publication number
JP2021193499A
JP2021193499A JP2020099360A JP2020099360A JP2021193499A JP 2021193499 A JP2021193499 A JP 2021193499A JP 2020099360 A JP2020099360 A JP 2020099360A JP 2020099360 A JP2020099360 A JP 2020099360A JP 2021193499 A JP2021193499 A JP 2021193499A
Authority
JP
Japan
Prior art keywords
image
unit
position detection
indicator
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020099360A
Other languages
English (en)
Inventor
幸行 北澤
Sachiyuki Kitazawa
佑磨 岩原
Yuma Iwahara
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2020099360A priority Critical patent/JP2021193499A/ja
Priority to US17/341,439 priority patent/US11681397B2/en
Publication of JP2021193499A publication Critical patent/JP2021193499A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】ステレオカメラを用いて、指示体による操作の検出精度を向上させる。【解決手段】操作面１５を撮影する撮影部１５１と、学習済みモデル１６０を用いて、指示体４０により指示された操作面１５の指示位置を、撮影部１５１が撮影した撮影画像から検出する指示体検出部１５７と、撮影画像をサーバー装置２００に送信する第１制御部１７０とを備える位置検出装置１００と、位置検出装置１００から受信した撮影画像のうち、指示体４０の画像が含まれない撮影画像を検出する画像検出部２５３と、画像検出部２５３が検出した撮影画像を含む学習データを生成し、生成した学習データを用いて学習済みモデル１６０を再学習する学習部２５５と、学習部２５５が再学習した学習済みモデル１６０を位置検出装置１００に送信する第２通信制御部２５１と、を備えるサーバー装置２００とを備える。【選択図】図１

Description

本発明は、位置検出システム、位置検出装置、プロジェクター及び位置検出方法に関する。
従来、指示体により指示された操作面の位置を、操作面を撮影した撮影画像から検出する装置が知られている。例えば、特許文献１に開示の装置は、撮影したビデオ画像から前景画像を抽出し、抽出した前景画像に対して２値化処理を行って２値化前景画像を抽出し、抽出した２値化前記画像の最小凸包の画素頂点集合を取得する。そして、特許文献１に開示の装置は、取得した最小凸包の各画素頂点を中心点に、指示体である操作者の手が含まれる候補領域として関心領域を構築し、構築した関心領域から手画像特徴を抽出し、パターン認識法により、候補領域における手が含まれる関心領域を決定する。
特開２０１５−２２２５９１号公報
しかしながら、手が含まれる候補領域である関心領域を誤検出してしまった場合、不要な処理や誤った処理が実行されるおそれがある。操作者が操作を行っていないのに処理が実行された場合、操作者に不快感を与えてしまう。引用文献１に開示の装置も、関心領域を誤検出した場合の対策についての開示はない。
上記課題を解決する一態様は、位置検出装置とサーバー装置とを備える位置検出システムであって、前記位置検出装置は、操作面を含む範囲を撮影する撮影部と、学習済みモデルを用いて、指示体により指示された前記操作面の指示位置を、前記撮影部が撮影した撮影画像に基づいて検出する指示体検出部と、前記撮影画像を前記サーバー装置に送信する第１送信部と、を備え、前記サーバー装置は、前記位置検出装置から受信した前記撮影画像のうち、前記指示体の画像が含まれない第１画像を検出する画像検出部と、前記第１画像を含む学習データを生成し、生成した前記学習データを用いて前記学習済みモデルを再学習する学習部と、を備える位置検出システムである。
上記課題を解決する別の一態様は、指示体により指示される操作面の位置を検出する位置検出装置であって、前記操作面を含む範囲を撮影する撮影部と、学習済みモデルを用いて、指示体により指示された前記操作面の指示位置を、前記撮影部が撮影した撮影画像に基づいて検出する指示体検出部と、前記撮影画像のうち、前記指示体の画像が含まれない第１画像を検出する画像検出部と、前記第１画像を含む学習データを生成し、生成した前記学習データを用いて前記学習済みモデルを再学習する学習部と、を備える位置検出装置である。
上記課題を解決する別の一態様は、指示体により指示される操作面の指示位置を検出するプロジェクターであって、前記操作面を含む範囲を撮影する撮影部と、学習済みモデルを用いて、前記指示位置を、前記撮影部が撮影した撮影画像に基づいて検出する指示体検出部と、前記撮影画像のうち、前記指示体の画像が含まれない第１画像を検出する画像検出部と、前記第１画像を含む学習データを生成し、生成した前記学習データを用いて前記学習済みモデルを再学習する学習部と、前記指示位置の検出結果に基づいて、投射画像を調整する描画処理部と、を備えるプロジェクターである。
上記課題を解決する別の一態様は、指示体により指示される操作面の指示位置を検出する位置検出方法であって、前記操作面を含む範囲を撮影する撮影ステップと、学習済みモデルを用いて、前記指示位置を、前記撮影ステップにより撮影した撮影画像に基づいて検出する指示体検出ステップと、前記撮影画像のうち、前記指示体の画像が含まれない第１画像を検出する画像検出ステップと、前記第１画像を含む学習データを生成し、生成した前記学習データを用いて前記学習済みモデルを再学習する再学習ステップと、を有する位置検出方法である。
位置検出システムの構成図。 第１実施形態の位置検出装置の構成を示すブロック図。 サーバー装置の構成を示すブロック図。 撮影画像に基づいて生成したヒストグラムを示す図。 撮影画像に基づいて生成したヒストグラムを示す図。 位置検出装置の動作を示すフローチャート。 サーバー装置の動作を示すフローチャート。 第２実施形態の位置検出装置の構成を示すブロック図。
以下、添付図面を参照して本発明の実施形態について説明する。
［第１実施形態］
図１は、位置検出システム１の構成図である。位置検出システム１は、位置検出装置１００と、サーバー装置２００とを備え、これらの装置がネットワーク５０を介して相互にデータ通信可能に接続された構成である。位置検出装置１００は、ユーザーが指示する指示位置を検出する。図１の位置検出装置１００は、プロジェクターを含み、プロジェクターが画像を投射した投射面１０において指示体４０による指示位置を検出する。
位置検出装置１００は、外部装置から供給される画像信号に基づいて生成した画像光３０を光学ユニット１２５により投射面１０に投射する。これにより投射面１０には、画像光３０に基づく投射画像が表示される。
また、図１には、投射面１０が平面で構成されるスクリーンである場合を示すが、投射面１０は壁面等の平面を利用してもよい。また、投射面１０は、吊り上げ式や立ち上げ式等の幕状のスクリーンであってもよい。
位置検出装置１００は、インタラクティブ機能を備える。インタラクティブ機能とは、指示体４０により指示された操作面１５の指示位置を検出し、検出した指示位置に対応した処理を実行する機能をいう。位置検出装置１００が実行する処理には、例えば、投射面１０に表示させたアイコンを選択したり、投射面１０に文字や記号、図形等の画像を描画したりする機能が含まれる。アイコンには、線の太さや色を選択するアイコンや、文字や記号、図形を消去する消しゴムアイコン等が含まれる。位置検出装置１００は、指示体４０の操作により選択されたアイコンに対応づけられた処理を実行する。投射面１０は、画像光３０が投射される面であり、指示体４０による操作を検出する対象となる面である操作面１５としても利用される。
位置検出システム１では、１つ又は複数の非発光の指示体４０を利用可能である。指示体４０には、指やペンなどの非発光の物体を使用可能である。非発光の指示体４０は、赤外光を反射するものであれば特に制限されない。本実施形態では、指示体４０が使用者の手指である場合について説明する。
位置検出装置１００は、撮影部１５１及び検出光照射部１５２を備える。撮影部１５１は、左カメラ１５１Ａ及び右カメラ１５１Ｂを備える。左カメラ１５１Ａ及び右カメラ１５１Ｂは、図１に示すように位置検出装置１００の異なる位置に配置され、投射面１０の少なくとも一部を含む範囲を撮影する。左カメラ１５１Ａ及び右カメラ１５１Ｂは、異なる撮影視点から投射面１０の少なくとも一部を含む範囲を撮影することによりステレオカメラとして機能する。本実施形態では、左カメラ１５１Ａは、投射面１０に対応して位置検出装置１００の投射装置１２０の左側に配置され、右カメラ１５１Ｂは、投射面１０に対応して位置検出装置１００の投射装置１２０の右側に配置される。なお、カメラの台数は３以上でもよい。位置検出装置１００は、撮影部１５１が撮影する撮像画像に基づいて、指示体４０の指示位置の検出を行う。
検出光照射部１５２は、操作面１５の少なくとも一部を含む範囲に検出光２０を照射する。より具体的には、検出光照射部１５２は、操作面１５から所定距離以内に近づいた指示体４０で反射される反射光を左カメラ１５１Ａ及び右カメラ１５１Ｂで撮影可能な範囲に、検出光２０を照射する。検出光２０は、指示体４０の検出に用いられる光であり、本実施形態では赤外光が用いられる。検出光として赤外光を用いることにより、可視光を主とする画像光３０の影響を受けずに指示体４０を検出でき、また、画像光３０による表示にも影響を与えない。
サーバー装置２００は、指示体４０の指示位置の検出に用いられる学習済みモデル１６０を生成する。学習済みモデル１６０は、左カメラ１５１Ａや右カメラ１５１Ｂの撮影画像から指示体４０の指示位置を検出する学習を済ませたモデルであり、ソフトウェア、又はソフトウェア及びハードウェアにより構成される。例えば、学習済みモデル１６０は、学習済みのニューラルネットワークを規定するモデルであり、例えば、ニューラルネットワークを構成するノードであるニューロン同士の間の結合の重みの情報の集合として表現される。
また、サーバー装置２００は、生成した学習済みモデル１６０の再学習を行う。位置検出システム１は、指示体４０の指示位置の誤検出を低減するため、学習済みモデル１６０の再学習をサーバー装置２００において実行する。位置検出装置１００は、例えば、操作者がリモコンの予め設定されたボタンを押下した場合や、予め設定された設定期間ごとに、撮影部１５１により投射面１０を含む範囲を撮影して撮影画像を生成する。位置検出装置１００は、生成した撮影画像の数が所定数に達すると、生成した撮影画像をサーバー装置２００にアップロードする。サーバー装置２００は、位置検出装置１００からアップロードされた撮影画像や、過去に位置検出装置１００からアップロードされた撮影画像に基づいて、学習済みモデル１６０の再学習を行う。サーバー装置２００は、再学習が完了すると、再学習した学習済みモデル１６０を位置検出装置１００にダウンロードする。再学習された学習済みモデル１６０は、再学習済みモデルの一例である。
図２は、位置検出装置１００の構成を示すブロック図である。
位置検出装置１００は、入力インターフェイス１０１、第１通信部１０３、操作部１０５、処理部１１０、フレームメモリー１１５、投射装置１２０、駆動回路１３０、左カメラ１５１Ａ、右カメラ１５１Ｂ、検出光照射部１５２、左フレームメモリー１５３、右フレームメモリー１５４、画像前処理部１５６、指示体検出部１５７、データキャプチャー部１６１、キャプチャーデータ記憶部１６３及び第１制御部１７０を備える。以下では、入力インターフェイス１０１を、入力Ｉ／Ｆ１０１と略記する。
入力Ｉ／Ｆ１０１は、外部装置との接続インターフェイスである。入力Ｉ／Ｆ１０１は、ケーブルを接続するコネクター、及び、信号処理を行うインターフェイス回路を備える。入力Ｉ／Ｆ１０１には、ケーブルを介して接続された外部装置から画像信号が入力される。画像信号には、同期信号や画像データ含まれる。入力Ｉ／Ｆ１０１は、入力された画像信号を信号処理して同期信号や、画像データを取り出す。入力Ｉ／Ｆ１０１は、取り出した画像データや同期信号を処理部１１０に出力する。
第１通信部１０３は、不図示のルータ装置等を介してインターネット等のネットワーク５０に接続される。第１通信部１０３は、ネットワーク５０上のサーバー装置２００にアクセスし、サーバー装置２００とのデータの送受信を行う。本実施形態では、位置検出装置１００が第１通信部１０３を備え、ネットワーク５０に有線で接続される場合について説明するが、位置検出装置１００がＷｉ−Ｆｉ等の所定の無線通信規格に従って無線通信を行う無線通信部を備える構成であってもよい。Ｗｉ−Ｆｉは、登録商標である。
操作部１０５は、不図示のリモコンにより送信される赤外線信号を受光する。操作部１０５は、リモコンから受光した赤外線信号に対応した操作信号を第１制御部１７０に出力する。操作信号は、操作されたリモコンのスイッチに対応した信号である。
処理部１１０は、画像処理部１１１及び描画処理部１１３を備え、入力Ｉ／Ｆ１０１から画像データが入力される。画像処理部１１１は、入力された画像データをフレームメモリー１１５に展開する。フレームメモリー１１５は、１フレーム分の画像データを書き込み可能な記憶容量を有するバンクを複数備える。フレームメモリー１１５は、例えば、ＳＤＲＡＭや、ＤＤＲにより構成される。ＳＤＲＡＭは、Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙを省略した表記である。ＤＤＲは、Ｄｏｕｂｌｅ−Ｄａｔａ−Ｒａｔｅ Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙを省略した表記である。
画像処理部１１１は、フレームメモリー１１５に展開した画像データに対して画像処理を行う。画像処理部１１１が行う画像処理には、例えば、解像度変換処理又はリサイズ処理、歪曲収差の補正、形状補正処理、デジタルズーム処理、画像の色合いや輝度の調整等が含まれる。また、画像処理部１１１は、上記のうち複数の画像処理を組み合わせて実行することも勿論可能である。
描画処理部１１３には、後述する指示体検出部１５７から指示体４０の検出結果が入力される。具体的には、描画処理部１１３には、指示体検出部１５７から指示体４０の先端が操作面１５に接触したか否かを示す接触情報と、指示体４０の先端の操作面１５での位置を示す座標情報とが入力される。座標情報は、操作面１５に予め設定された座標系における座標値を示す。
また、この操作面１５に予め設定された座標系の座標は、フレームメモリー１１５に設定された座標系の座標に対応づけられている。描画処理部１１３は、接触情報が接触を示す操作面１５の座標値を、フレームメモリー１１５における座標値に変換する。描画処理部１１３は、変換した座標値に対応するフレームメモリー１１５の位置に描画データを重畳する。処理部１１０は、フレームメモリー１１５に展開されたデータを駆動回路１３０に出力する。
処理部１１０及びフレームメモリー１１５は、例えば、集積回路により構成される。また、集積回路の構成の一部にアナログ回路が含まれていてもよい。
投射装置１２０は、画像光３０を投射面１０に投射する装置であり、光源１２１、光変調装置１２３及び光学ユニット１２５を備える。
光源１２１には、ハロゲンランプ、キセノンランプ、超高圧水銀ランプ等のランプ光源が使用される。また、光源１２１として、ＬＥＤやレーザー光源等の固体光源を用いてもよい。ＬＥＤは、Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅを省略した表記である。
光変調装置１２３は、光源１２１が発する光を変調して画像光３０を生成する光変調素子を備える。光変調素子には、例えば、透過型の液晶ライトバルブや、反射型の液晶ライトバルブ、デジタルミラーデバイス等を用いることができる。
光学ユニット１２５は、レンズやミラー等の光学素子を備え、光変調装置１２３により生成された画像光３０を拡大して投射面１０に投射する。
駆動回路１３０は、投射装置１２０を駆動する回路である。駆動回路１３０は、光源１２１、光変調装置１２３及び光学ユニット１２５を駆動する回路をそれぞれ別々に備えるが、簡略化のため、光源１２１、光変調装置１２３及び光学ユニット１２５を駆動する回路を１つの駆動回路１３０として示す。駆動回路１３０は、第１制御部１７０の制御に従い、光源１２１を点灯又は消灯させる。また、駆動回路１３０には、処理部１１０からデータが入力される。駆動回路１３０は、入力されたデータに対応した信号電圧を生成し、生成した信号電圧を、光変調装置１２３が備える光変調素子に印加する。これにより光変調素子を透過する光の透過量が制御され、光源１２１の光が画像光３０に変調される。また、駆動回路１３０は、第１制御部１７０の制御に従って不図示のモーターを駆動し、光学ユニット１２５が備える投射レンズのレンズ位置や、ズームを調整する。
左カメラ１５１Ａ及び右カメラ１５１Ｂは、投射面１０の全体を撮影可能に設定され、投射面１０を背景とした指示体４０の画像を撮影する。すなわち、左カメラ１５１Ａと右カメラ１５１Ｂは、検出光照射部１５２から照射された検出光２０のうち、投射面１０と指示体４０で反射された光を受光することによって指示体４０を含む画像を作成する。左カメラ１５１Ａ及び右カメラ１５１Ｂで撮影された２つの画像を用いると、三角測量等によって指示体４０の３次元位置を求めることが可能である。
左カメラ１５１Ａ及び右カメラ１５１Ｂは、レンズ等の光学系にて集光された光を電気信号に変換する撮影素子であるＣＣＤやＣＭＯＳ等を備える。ＣＣＤは、Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅを省略した表記である。ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒを省略した表記である。左カメラ１５１Ａ及び右カメラ１５１Ｂは、検出光２０が指示体４０で反射した反射光を撮影可能に配置される。また、左カメラ１５１Ａ及び右カメラ１５１Ｂには、検出光２０の反射光を受光するための赤外線フィルターが取り付けられる。
検出光照射部１５２は、赤外光を発する光源として、ＬＤ又はＬＥＤを有する。ＬＤは、Ｌａｓｅｒ Ｄｉｏｄｅを省略した表記である。また、検出光照射部１５２は、光源が発する赤外光を投射面１０に向けて拡散させる光学部品を備えてもよい。検出光２０を出射する１つの出射口を検出光照射部１５２に設けて、この出射口を左カメラ１５１Ａと右カメラ１５１Ｂの間の位置に設置してもよい。また、検出光照射部１５２は、２つ以上の出射口を設けて、左カメラ１５１Ａと右カメラ１５１Ｂのそれぞれに対応した位置に設置してもよい。例えば、左カメラ１５１Ａと右カメラ１５１Ｂのそれぞれに隣接して出射口を設け、発光と撮影のタイミングを調整することにより、撮影画像におけるコントラストを向上できる。
左カメラ１５１Ａ及び右カメラ１５１Ｂは、所定のフレームレートで操作面１５を含む範囲を撮影する。使用者が指示体４０を投射面１０に近づけると、撮影部１５１の撮影画像には、検出光照射部１５２が照射する検出光２０が指示体４０で反射した反射光が撮影される。左カメラ１５１Ａの撮影画像は、左フレームメモリー１５３に記憶され、右カメラ１５１Ｂの撮影画像は、右フレームメモリー１５４に記憶される。左カメラ１５１Ａの撮影画像を左撮影画像といい、右カメラ１５１Ｂの撮影画像を右撮影画像という。左フレームメモリー１５３及び右フレームメモリー１５４は、１フレーム分の撮影画像を書き込み可能な記憶容量を有するバンクを複数備える。左フレームメモリー１５３及び右フレームメモリー１５４は、例えば、ＳＤＲＡＭや、ＤＤＲにより構成される。
キャリブレーションデータ記憶部１５５は、第１範囲情報、第２範囲情報、キャリブレーションデータを記憶する。第１範囲情報は、左カメラ１５１Ａの左撮影画像における投射領域の範囲を示す情報である。第２範囲情報は、右カメラ１５１Ｂの右撮影画像における投射領域の範囲を示す情報である。投射領域とは、位置検出装置１００により画像光３０が投射される投射面１０の領域である。第１範囲情報及び第２範囲情報は、例えば、位置検出装置１００により、予め設定されたパターンを有するパターン画像を投射面１０に投射させ、左カメラ１５１Ａ及び右カメラ１５１Ｂにより投射面１０を撮影する。左カメラ１５１Ａの左撮影画像からパターン画像が撮影された範囲を検出することで、第１範囲情報が生成され、右カメラ１５１Ｂの右撮影画像からパターン画像が撮影された範囲を検出することで、第２範囲情報が生成される。
キャリブレーションデータは、位置検出装置１００の設置時又は起動時に生成されるデータであり、第１画像変形係数及び第２画像変形係数が含まれる。第１画像変形係数は、第１範囲情報に従って左撮影画像から切り出された画像の形状を矩形に変形する係数である。第２画像変形係数は、第２範囲情報に従って右撮影画像から切り出された画像の形状を矩形に変形する係数である。
画像前処理部１５６は、左フレームメモリー１５３から左撮影画像を読み出し、右フレームメモリー１５４から右撮影画像を読み出す。また、画像前処理部１５６は、キャリブレーションデータ記憶部１５５から第１範囲情報、第２範囲情報及びキャリブレーションデータを読み出す。
画像前処理部１５６は、第１範囲情報を用いて、投射領域が撮影された左撮影画像の範囲の画像を切り出す。画像前処理部１５６は、切り出した画像を、第１画像変形係数を用いて矩形に変形する。矩形に変形された画像を左矩形画像という。また、画像前処理部１５６は、第２範囲情報を用いて、投射領域が撮影された右撮影画像の範囲の画像を切り出す。画像前処理部１５６は、切り出した画像を、第２画像変形係数を用いて矩形に変形する。矩形に変形された画像を右矩形画像という。
次に、画像前処理部１５６は、左矩形画像と右矩形画像とに基づいて、差分画像を生成する。本実施形態では、画像前処理部１５６は、左矩形画像から右矩形画像を減算して差分画像を生成するが、右矩形画像から左矩形画像を減算して差分画像を生成してもよい。
画像前処理部１５６は、変形した左矩形画像及び右矩形画像と、生成した差分画像とを指示体検出部１５７に出力する。
指示体検出部１５７には、左矩形画像、右矩形画像及び差分画像が入力される。指示体検出部１５７には、左矩形画像及び右矩形画像、または、差分画像が入力されてもよい。
指示体検出部１５７は、学習済みモデル１６０を記憶する記憶部を備える。学習済みモデル１６０は、所定のモデル構造と最適化された処理パラメーターとの組み合わせにより構成される。指示体検出部１５７は、学習済みモデル１６０を構成するソフトウェアと、このソフトウェアを実行するハードウェアにより構成される。本実施形態の指示体検出部１５７は、学習済みモデル１６０として、畳み込みニューラルネットワークを備える場合について説明するが、学習済みモデル１６０は、畳み込みニューラルネットワーク以外のニューラルネットワークであってもよい。
指示体検出部１５７は、入力された左矩形画像及び右矩形画像、または差分画像を学習済みモデル１６０に入力して、指示体４０の先端が操作面１５に接触したか否かを示す接触情報と、指示体４０の先端の操作面１５での位置を示す座標情報とを出力する。指示体４０の指示に対応して、投射面１０に画像の描画を行う場合、指示体検出部１５７が出力した接触情報及び座標情報は、処理部１１０の描画処理部１１３に入力される。
データキャプチャー部１６１は、画像前処理部１５６に入力された画像をキャプチャーデータ記憶部１６３に記憶させる。データキャプチャー部１６１がキャプチャーデータ記憶部１６３に記憶させる画像は、左フレームメモリー１５３から読み出した左撮影画像、及び、右フレームメモリー１５４から読み出した右撮影画像であってもよい。また、データキャプチャー部１６１がキャプチャーデータ記憶部１６３に記憶させる撮影画像は、画像前処理部１５６が矩形に変形した左矩形画像及び右矩形画像であってもよい。また、データキャプチャー部１６１は、左矩形画像及び右矩形画像に加え、差分画像をキャプチャーデータ記憶部１６３に記憶させてもよい。本実施形態では、データキャプチャー部１６１が左撮影画像及び右撮影画像をキャプチャーデータ記憶部１６３に記憶させる場合について説明する。
第１制御部１７０は、第１記憶部１７５及び第１プロセッサー１８０を備えるコンピューター装置である。第１記憶部１７５は、ＲＡＭ等の揮発性の記憶装置と、ＲＯＭやフラッシュメモリー等の不揮発性の記憶装置とを備える。第１記憶部１７５は、第１プロセッサー１８０が実行する制御プログラムや、位置検出装置１００の識別情報を記憶する。識別情報は、位置検出装置１００をサーバー装置２００に登録するときに、位置検出装置１００の使用者が設定してもよいし、サーバー装置２００により設定されてもよい。制御プログラムには、例えば、ファームウェアが含まれる。ＲＡＭは、Ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙを省略した表記であり、ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙを省略した表記である。
第１プロセッサー１８０は、ＣＰＵやＭＰＵにより構成される演算処理装置である第１プロセッサー１８０は、第１制御プログラムを実行して位置検出装置１００の各部を制御する。第１プロセッサー１８０は、単一のプロセッサーにより構成してもよいし、複数のプロセッサーにより構成することも可能である。また、第１プロセッサー１８０は、第１記憶部１７５の一部又は全部や、その他の回路と統合されたＳｏＣにより構成してもよい。また、第１プロセッサー１８０は、プログラムを実行するＣＰＵと、所定の演算処理を実行するＤＳＰとの組合せにより構成してもよい。さらに、第１プロセッサー１８０の機能の全てをハードウェアに実装した構成としてもよく、プログラマブルデバイスを用いて構成してもよい。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔを省略した表記であり、ＭＰＵは、Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔを省略した表記である。
第１制御部１７０は、撮影制御部１８１、第１データ処理部１８３及び第１通信制御部１８５をソフトウェアモジュールとして備える。
撮影制御部１８１は、検出光照射部１５２に検出光を照射させ、左カメラ１５１Ａ及び右カメラ１５１Ｂに撮影を実行させる。左カメラ１５１Ａ及び右カメラ１５１Ｂは、予め設定されたフレームレートで投射面１０を含む範囲を撮影して左撮影画像及び右撮影画像を生成する。
第１データ処理部１８３は、キャプチャーデータ記憶部１６３に記憶された左撮影画像及び右撮影画像を読み出す。第１データ処理部１８３は、読み出した左撮影画像及び右撮影画像を圧縮し、圧縮した左撮影画像及び右撮影画像を予め設定された暗号化方式により暗号化する。第１データ処理部１８３は、画像圧縮部の一例である。
また、第１データ処理部１８３は、第１記憶部１７５に記憶されたデータを読み出し、読み出したデータを復号し、復号したデータを解凍する。第１データ処理部１８３が第１記憶部１７５から読み出すデータは、第１通信制御部１８５の制御によりサーバー装置２００から受信したデータであり、具体的には、学習済みモデル１６０である。
第１通信制御部１８５は、サーバー装置２００とのデータ通信を制御する。第１通信制御部１８５は、第１データ処理部１８３により暗号化された左撮影像及び右撮影画像に、位置検出装置１００の識別情報を付加してサーバー装置２００に送信する。また、第１通信制御部１８５は、第１通信部１０３を制御してサーバー装置２００から送信される学習済みモデル１６０のデータを受信し、受信したデータを第１記憶部１７５に記憶させる。第１通信制御部１８５及び第１通信部１０３は、第１送信部の一例である。
図２には、撮影部１５１や、画像前処理部１５６、指示体検出部１５７と、第１制御部１７０とを接続する信号線の図示は省略するが、第１制御部１７０は、撮影部１５１や、画像前処理部１５６、指示体検出部１５７に制御線で接続され、これらのブロックの動作を制御する。
次に、図３を参照しながらサーバー装置２００の構成について説明する。
サーバー装置２００は、第２通信部２１０、第２記憶部２２０及び第２制御部２３０を備える。
第２通信部２１０は、ネットワーク５０に接続され、ネットワーク５０に接続された機器とのデータ通信を行う。
第２記憶部２２０は、補助記憶装置であり、例えば、磁気ハードディスク装置や半導体記憶装置等の記憶装置により構成される。第２記憶部２２０は、学習データ２２１及び学習済みモデル１６０を、位置検出装置１００の識別情報に対応づけて記憶する。学習データ２２１は、位置検出装置１００から受信した左撮影画像及び右撮影画像である。
第２制御部２３０は、メモリー２４０及び第２プロセッサー２５０を備える。
メモリー２４０は、ＲＯＭやＲＡＭを備える。メモリー２４０は、ＲＯＭやＲＡＭに加えてフラッシュメモリー等の不揮発性メモリーを備える構成であってもよい。
メモリー２４０は、第２プロセッサー２５０が実行する第２制御プログラム２４１や、学習プログラム２４３、第２プロセッサー２５０により処理される各種データを不揮発的に記憶する。学習プログラム２４３は、第２プロセッサー２５０に、ディープラーニング等の学習アルゴリズムを実行させるためのプログラムである。
第２プロセッサー２５０は、ＣＰＵやＭＰＵにより構成される演算処理装置である。第２プロセッサー２５０は、第２制御プログラム２４１を実行してサーバー装置２００の各部を制御する。第２プロセッサー２５０は、単一のプロセッサーにより構成してもよいし、複数のプロセッサーにより構成することも可能である。また、第２プロセッサー２５０は、第２制御プログラム２４１を実行するＣＰＵと、所定の演算処理を実行するＤＳＰとの組合せにより構成してもよいし、ＦＰＧＡにより構成してよい。
第２制御部２３０は、第２通信制御部２５１、画像検出部２５３、学習部２５５、小型化処理部２５７及び第２データ処理部２５９をソフトウェアモジュールとして備える。
第２通信制御部２５１は、第２通信部２１０を制御して、ネットワーク５０に接続された位置検出装置１００とデータ通信を実行する。第２通信制御部２５１は、位置検出装置１００から受信したデータを第２記憶部２２０に記憶させる。また、第２通信制御部２５１は、第２データ処理部２５９により圧縮、暗号化等の加工処理されたデータを位置検出装置１００に送信する。第２通信制御部２５１及び第２通信部２１０は、第２送信部の一例である。
画像検出部２５３は、第２記憶部２２０に記憶されたデータを読み出す。読み出されたデータは、サーバー装置２００が位置検出装置１００から受信したデータであり、位置検出装置１００の識別情報と、圧縮及び暗号化されたデータとが含まれる。画像検出部２５３は、読み出したデータを復号し、解凍する。復号し、解凍したデータには、左撮影画像、右撮影画像が含まれる。
次に、画像検出部２５３は、復号し、解凍した左撮影画像及び右撮影画像の所定範囲を切り出す。左撮影画像及び右撮影画像から切り出される範囲は、予め設定された範囲であってもよいし、位置検出装置１００から通知された第１範囲情報及び第２範囲情報に基づいて設定してもよい。第１範囲情報は、左カメラ１５１Ａの左撮影画像における投射領域の範囲を示す情報であり、第２範囲情報は、右カメラ１５１Ｂの右撮影画像における投射領域の範囲を示す情報である。位置検出装置１００は、第１範囲情報及び第２範囲情報を、事前にサーバー装置２００に送信する。サーバー装置２００は、位置検出装置１００から受信した第１範囲情報及び第２範囲情報を、当該位置検出装置１００の識別情報に対応づけて第２記憶部２２０に記憶させる。画像検出部２５３が左撮影画像から切り出した画像を左切出画像といい、右撮影画像から切り出した画像を右切出画像という。位置検出装置１００が、左切出画像、及び右切出画像を生成し、左撮影画像、及び右撮影画像として、サーバー装置２００に送信してもよい。
画像検出部２５３は、左撮影画像から左切出画像を切り出し、右撮影画像から右切出画像を切り出すと、切り出した左切出画像及び右切出画像に基づいて濃度階調のヒストグラムを作成する。画像検出部２５３により作成されるヒストグラムの例を図４及び図５に示す。図４及び図５に示すヒストグラムの横軸は濃度階調を示し、縦軸は画素数を示す。図４は、左切出画像及び右切出画像に、指示体４０である使用者の指が撮影されていない場合のヒストグラムを示し、図５は、左切出画像及び右切出画像に、指示体４０である使用者の指が撮影されていた場合のヒストグラムを示す。
画像検出部２５３は、ヒストグラムを作成すると、作成したヒストグラムに基づき、左切出画像及び右切出画像にラベル付けを行う。
まず、画像検出部２５３は、作成したヒストグラムに含まれるピークの数をカウントする。ピークの数とは、ヒストグラムの縦軸の画素数が極大値を示す数である。画像検出部２５３は、ヒストグラムに含まれるピークの数が２個以下である場合、このヒストグラムの元になった左切出画像又は右切出画像は、背景である投射面１０だけが撮影された画像であると判定する。画像検出部２５３は、投射面１０だけが撮影された画像と判定した左切出画像又は右切出画像に、第１画像とのラベルを付ける。第１画像とは、投射面１０だけが撮影された背景画像を意味する。
また、画像検出部２５３は、ヒストグラムに含まれるピークの数が３個よりも多い場合、このヒストグラムの元になった左切出画像又は右切出画像は、背景である投射面１０以外も撮影された画像であると判定する。投射面１０以外のものには、例えば、指示体４０や、使用者、投射面１０に表示された文字や記号、図形、画像等が挙げられる。画像検出部２５３は、投射面１０以外も撮影された画像と判定した左切出画像又は右切出画像に、第２画像とのラベルを付ける。第２画像とは、投射面１０以外も撮影された画像を意味する。画像検出部２５３は、第１画像又は第２画像のラベルを付けた左切出画像又は右切出画像を、位置検出装置１００の識別情報に対応づけて第２記憶部２２０に記憶させる。
学習部２５５は、学習済みモデル１６０の再学習を行う。
学習部２５５は、まず、画像検出部２５３により第１画像のラベルが付された左切出画像又は右切出画像の数が、予め設定された設定値以上あるか否かを判定する。学習部２５５は、第１画像のラベルが付された左切出画像又は右切出画像の数が、設定値よりも少ない場合、位置検出装置１００にデータの再送を要求する。また、学習部２５５は、第１画像のラベルが付された左切出画像又は右切出画像の数が、設定値よりも多い場合、位置検出装置１００から受信した識別情報と同一の識別情報に対応づけられた学習済みモデル１６０及び学習データ２２１を第２記憶部２２０から読み出す。学習データ２２１は、位置検出装置１００から過去に受信した左撮影画像及び右撮影画像に対応する。
学習部２５５は、第２記憶部２２０から読み出した学習データ２２１と、第１画像がラベル付けされた左切出画像及び右切出画像を学習データセットとして、学習済みモデル１６０の再学習を行う。例えば、学習部２５５は、学習プログラム２４３に従ってディープラーニングアルゴリズムを実行し、畳み込みニューラルネットワークの再学習を行う。学習部２５５は、再学習した学習済みモデル１６０を、位置検出装置１００の識別情報に対応づけて第２記憶部２２０に記憶させる。
小型化処理部２５７は、学習部２５５により再学習された学習済みモデル１６０をプルーニングや量子化により小型化する。畳み込みニューラルネットワークを含むニューラルネットワークでは、上位階層から下位階層にノード値が伝達されるが、この伝達の際に、ノード間の接続毎に設定された重みパラメーターを用いた重み付けが行われる。小型化処理部２５７は、重みパラメーターの値が、予め設定された設定値よりも小さいノードを削除することで、ニューラルネットワークを小型化する。小型された、再学習された学習済みモデル１６０は、小型化モデルの一例である。
また、小型化処理部２５７は、ノードの重みパラメーターの値を、１６ビット浮動小数点や、１バイト整数形式のＩＮＴ８等で表現することで、畳み込みニューラルネットワークを小型化する。また、ノードの重みパラメーターの値を４ビットや、２ビット、１ビットで表現してもよい。
第２データ処理部２５９は、小型化処理部２５７により小型化された学習済みモデル１６０を圧縮し、圧縮後の学習済みモデル１６０を暗号化する。第２データ処理部２５９は、圧縮、暗号化した学習済みモデル１６０を、位置検出装置１００の識別情報に対応づけて第２記憶部２２０に記憶させる。第２データ処理部２５９により圧縮、暗号化された学習済みモデル１６０は、第２通信制御部２５１の制御により、位置検出装置１００に送信される。第２データ処理部２５９は、モデル圧縮部の一例であり、圧縮、暗号化された学習済みモデル１６０は、圧縮モデルの一例である。
図６は、位置検出装置１００の動作を示すフローチャートである。図６に示すフローチャートを参照しながら位置検出装置１００の動作について説明する。
まず、第１制御部１７０は、操作部１０５により所定の操作を受け付けたか否かを判定する（ステップＳ１）。操作者は、例えば、位置検出装置１００の設置場所を変更した場合や、指示体４０の検出精度を向上させたい場合に、リモコンに設けられた所定のボタンを操作する。
第１制御部１７０は、操作部１０５が操作を受け付けていない場合（ステップＳ１／ＮＯ）、操作を受け付けるまで待機する。また、第１制御部１７０は、リモコンに設けられた所定のボタンの操作に対応した操作信号が操作部１０５から入力されると、予め設定された案内表示を投射面１０に表示させる。この案内表示には、撮影部１５１により投射面１０を撮影するとの案内表示と、撮影部１５１の画角内に入らないように注意を促す案内表示とが含まれる。
第１制御部１７０は、案内表示を表示させてから所定時間を経過すると、案内表示を非表示に変更し、撮影部１５１に撮影の実行を指示する（ステップＳ２）。ステップＳ２は、撮影ステップの一例である。左カメラ１５１Ａの撮影した左撮影像は、左フレームメモリー１５３に記憶され、右カメラ１５１Ｂの撮影した右撮影画像は、右フレームメモリー１５４に記憶される。画像前処理部１５６は、左カメラ１５１Ａの左撮影画像を左フレームメモリー１５３から読み出し、右カメラ１５１Ｂの右撮影画像を右フレームメモリー１５４から読み出す。データキャプチャー部１６１は、画像前処理部１５６により読み出された左カメラ１５１Ａ及び右カメラ１５１Ｂの撮影画像をキャプチャーデータ記憶部１６３に記憶させる。
データキャプチャー部１６１は、キャプチャーデータ記憶部１６３に記憶させた左撮影画像及び右撮影画像の数が、予め設定された設定数以上になったか否かを判定する（ステップＳ３）。データキャプチャー部１６１は、キャプチャーデータ記憶部１６３に記憶させた左撮影画像及び右撮影画像の数が設定数未満である場合（ステップＳ３／ＮＯ）、キャプチャーデータ記憶部１６３に記憶させた左撮影画像及び右撮影画像の数が、設定数以上になるまで待機する。
データキャプチャー部１６１は、キャプチャーデータ記憶部１６３に記憶させた左撮影画像及び右撮影画像の数が設定数以上であると判定すると（ステップＳ３／ＹＥＳ）、第１制御部１７０に通知信号を出力する。第１制御部１７０は、データキャプチャー部１６１から通知信号が入力されると、キャプチャーデータ記憶部１６３に記憶された左撮影画像及び右撮影画像を読み出す。第１制御部１７０は、読み出した左撮影画像及び右撮影画像を圧縮し、圧縮後の左撮影画像及び右撮影画像を暗号化する（ステップＳ４）。第１制御部１７０は、圧縮し暗号化した左撮影画像及び右撮影画像を、第１通信部１０３を制御して、サーバー装置２００に送信する（ステップＳ５）。
次に、第１制御部１７０は、サーバー装置２００からデータを受信したか否かを判定する（ステップＳ６）。第１制御部１７０は、サーバー装置２００からデータを受信していない場合（ステップＳ６／ＮＯ）、他の処理を行い、サーバー装置２００からのデータ受信を待機する。また、第１制御部１７０は、サーバー装置２００からデータを受信した場合（ステップＳ６／ＹＥＳ）、受信したデータを復号し、復号したデータを解凍して学習済みモデル１６０を取得する（ステップＳ７）。
次に、第１制御部１７０は、取得した学習済みモデル１６０を第１記憶部１７５に記憶させる（ステップＳ８）。第１制御部１７０は、学習済みモデル１６０を第１記憶部１７５に記憶させると、記憶させた学習済みモデル１６０を読み出し、読み出した学習済みモデル１６０を指示体検出部１５７にロードする（ステップＳ９）。指示体検出部１５７は、ロードされた学習済みモデル１６０を記憶部に展開する。その後、指示体検出部１５７は、画像前処理部１５６から左矩形画像及び右矩形画像、又は差分画像が入力されると、これらの画像を学習済みモデルに入力して、接触情報と、座標情報とを出力する（ステップＳ１０）。ステップＳ１０は、本発明の指示体検出ステップに相当する。
次に、図７に示すフローチャートを参照しながらサーバー装置２００の動作について説明する。
第２制御部２３０は、位置検出装置１００からデータを受信したか否かを判定する（ステップＳ１）。第２制御部２３０は、データを受信していない場合（ステップＳ１／ＮＯ）、データを受信するまで処理の開始を待機する。また、第２制御部２３０は、位置検出装置１００からデータを受信した場合（ステップＴ１／ＹＥＳ）、受信したデータを復号し、復号したデータを解凍して左撮影画像及び右撮影画像を取得する（ステップＴ２）。
第２制御部２３０は、取得した左撮影画像及び右撮影画像を第２記憶部２２０に記憶させる（ステップＴ３）。次に、第２制御部２３０は、第２記憶部２２０から左撮影画像及び右撮影画像を読み出し、読み出した左撮影画像及び右撮影画像をメモリー２４０に展開する。第２制御部２３０は、展開した左撮影画像及び右撮影画像を、予め設定されたサイズで切り出す（ステップＴ４）。第２制御部２３０は、例えば、左撮影画像の予め設定された範囲を切り出して左切出画像を生成し、右撮影画像の予め設定された範囲を切り出して右切出画像を生成する。また、第２制御部２３０は、位置検出装置１００から通知された第１範囲情報及び第２範囲情報に基づいて左撮影画像から左切出画像を生成し、右撮影画像から右切出画像を生成してもよい。
次に、第２制御部２３０は、左切出画像及び右切出画像を生成すると、生成した左切出画像及び右切出画像に基づいて輝度値のヒストグラムを生成する（ステップＴ５）。第２制御部２３０は、作成したヒストグラムに含まれるピークの数をカウントし、カウントしたピークの数が、設定条件を満たすか否かを判定する（ステップＴ６）。第２制御部２３０は、ヒストグラムに含まれるピークの数が、１又は２である場合、設定条件を満たすと判定し（ステップＴ６／ＹＥＳ）、この左切出画像又は右切出画像に第１画像をラベル付けする（ステップＴ７）。また、第２制御部２３０は、ヒストグラムに含まれるピークの数が、２よりも多い場合、設定条件を満たさないと判定し（ステップＴ６／ＮＯ）、この左切出画像又は右切出画像に第２画像をラベル付けする（ステップＴ８）。ステップＴ６、Ｔ７及びＴ８は、本発明の画像検出ステップに相当する。
次に、第２制御部２３０は、第２記憶部２２０に記憶させたすべての左撮影画像及び右撮影画像を対象として選択したか否かを判定する（ステップＴ９）。第２制御部２３０は、すべての左撮影画像及び右撮影画像を対象として選択していない場合（ステップＴ９／ＮＯ）、第２記憶部２２０から左撮影画像又は右撮影画像を読み出し、読み出した左撮影画像又は右撮影画像してステップＴ４以降の処理を行う。
また、第２制御部２３０は、すべての左撮影画像及び右撮影画像を対象として選択した場合（ステップＴ９／ＹＥＳ）、学習データセットを生成する（ステップＴ１０）。この学習データセットには、ステップＴ７で、第１画像のラベルを付した左切出画像及び右切出画像と、過去に、学習済みモデル１６０の生成の際に使用した左撮影画像及び右撮影画像に対応した画像とが含まれる。
次に、第２制御部２３０は、第２記憶部２２０に記憶させた学習済みモデル１６０を読み出す（ステップＴ１１）。ここで読み出される学習済みモデル１６０は、プルーニングや、低ビット等の小型化処理がなされていない学習済みモデル１６０である。第２制御部２３０は、学習済みモデル１６０を読み出すと、ステップＴ１０で生成した学習データセットを用いて、読み出した学習済みモデル１６０を再学習する（ステップＴ１２）。ステップＴ１２は、本発明の再学習ステップに相当する。
次に、第２制御部２３０は、ステップＴ１２で再学習した学習済みモデル１６０を、プルーニング及び低ビット化により小型化する（ステップＴ１３）。第２制御部２３０は、プルーニング及び低ビット化により学習済みモデル１６０を小型化すると、小型化前の学習済みモデル１６０と、小型化後の学習済みモデル１６０とを、該当する位置検出装置１００の識別情報に対応づけて第２記憶部２２０に記憶させる（ステップＴ１４）。
次に、第２制御部２３０は、小型化した学習済みモデル１６０を圧縮し、暗号化する（ステップＴ１５）。第２制御部２３０は、圧縮し、暗号化した学習済みモデル１６０を、該当の位置検出装置１００に送信する（ステップＴ１６）。
以上説明したように第１実施形態の位置検出システム１は、位置検出装置と、サーバー装置２００とを備える。
位置検出装置１００は、撮影部１５１、指示体検出部１５７及び第１通信制御部１８５を備える。
撮影部１５１は、左カメラ１５１Ａ及び右カメラ１５１Ｂを備え、操作面１５の少なくとも一部を含む範囲を撮影して撮影画像を生成する。
指示体検出部１５７は、学習済みモデル１６０を用いて、指示体４０により指示された操作面１５の指示位置を撮影画像から検出する。
第１通信制御部１８５は、撮影画像をサーバー装置２００に送信する。
サーバー装置２００は、画像検出部２５３、学習部２５５及び第２通信制御部２５１を備える。
画像検出部２５３は、位置検出装置１００から受信した撮影画像のうち、指示体４０の画像が含まれない撮影画像を検出する。
学習部２５５は、画像検出部２５３が検出した撮影画像を含む学習データを生成し、生成した学習データを用いて学習済みモデル１６０を再学習する。
第２通信制御部２５１は、学習部２５５が再学習した学習済みモデル１６０を位置検出装置１００に送信する。
指示体検出部１５７は、再学習された学習済みモデル１６０を用いて、撮影画像から操作面１５の指示位置を検出する。
従って、指示体４０の画像が含まれない撮影画像を含む学習データにより、学習済みモデル１６０を再学習するので、操作が行われていないときの操作の誤検出を低減し、誤った処理が実行されるのを抑制することができる。
画像検出部２５３は、撮影画像のヒストグラムを生成し、生成したヒストグラムに含まれる極大値の数に基づいて、指示体４０の画像が含まれない撮影画像を検出する。
従って、指示体４０の画像が含まれない撮影画像の検出精度を高めることができる。
学習部２５５は、画像検出部２５３により検出された指示体４０の画像が含まれない撮影画像と、学習により学習済みモデルを生成したときに用いた学習データとを新たな学習データとして、学習済みモデルを再学習する。
従って、操作が行われていないときの操作の誤検出を低減し、誤った処理が実行されるのを抑制することができる。
サーバー装置２００は、再学習した学習済みモデル１６０を、プルーニングと、量子化との少なくとも一方により小型化する小型化処理部２５７を備える。
従って、指示体検出部１５７により指示体４０の指示位置を検出する場合に、計算量を削減し、処理時間を短縮することができる。
サーバー装置２００は、小型化処理部２５７により小型化された学習済みモデル１６０を圧縮する第２データ処理部２５９を備える。第２通信制御部２５１は、第２データ処理部２５９により圧縮された学習済みモデル１６０を位置検出装置１００に送信する。
従って、サーバー装置２００から位置検出装置１００に送信するデータのデータ量を削減することができる。
位置検出装置１００は、撮影画像を圧縮する第１データ処理部１８３を備える。
第１制御部１７０は、第１データ処理部１８３により圧縮された撮影画像をサーバー装置２００に送信する。
従って、位置検出装置１００からサーバー装置２００に送信するデータのデータ量を削減することができる。
［第２実施形態］
次に、添付図面を参照して本発明の第２実施形態について説明する。
第１実施形態では、位置検出装置１００とサーバー装置２００とを備える位置検出システム１について説明した。第２実施形態では、位置検出装置１００の第１制御部１７０において、学習済みモデル１６０の生成、及び、生成した学習済みモデル１６０の再学習を行う。
図８は、第２実施形態の位置検出装置１００の構成を示すブロック図である。位置検出装置１００の第１制御部１７０は、撮影制御部１８１に加えて、画像検出部１８７及び学習部１８９をソフトウェアモジュールとして備える。
第２実施形態の第１記憶部１７５は、第１範囲情報、第２範囲情報、学習済みモデル１６０及び学習データ２２１を記憶する。
画像検出部１８７は、キャプチャーデータ記憶部１６３に記憶された左撮影画像及び右撮影画像を読み出す。画像検出部１８７は、左撮影画像の予め設定された範囲を切り出して左切出画像を生成し、右撮影画像の予め設定された範囲を切り出して右切出画像を生成する。また、画像検出部１８７は、第１範囲情報に従い、投射領域が撮影された左撮影画像の範囲の画像である左切出画像を切り出し、第２範囲情報に従い、投射領域が撮影された右撮影画像の範囲の画像である右切出画像を切り出してもよい。画像検出部１８７は、切り出した左切出画像及び右切出画像のヒストグラムを作成し、作成したヒストグラムに基づき、左切出画像及び右切出画像に第１画像又は第２画像のラベル付けを行う。
学習部１８９は、第１記憶部１７５に記憶された学習データ２２１を読み出す。また、学習部１８９は、読み出した学習データ２２１と、第１画像がラベル付けされた左切出画像及び右切出画像とを学習データセットとして、学習済みモデル１６０の再学を行う。学習部１８９は、ディープラーニングアルゴリズムを実行し、畳み込みニューラルネットワークの再学習を行う。学習部２５５は、再学習した学習済みモデル１６０を第１記憶部１７５に記憶させると共に、指示体検出部１５７に出力する。指示体検出部１５７は、学習部１８９により再学習された学習済みモデル１６０を用いて、指示体４０により指示された投射面１０の指示位置を検出する。
以上説明したように第２実施形態の位置検出装置１００も、指示体４０の画像が含まれない撮影画像を含む学習データにより、学習済みモデル１６０を再学習する。このため、操作が行われていないときの操作の誤検出を低減し、誤った処理が実行されるのを抑制することができる。
上述した実施形態は本発明の好適な実施の形態である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形が可能である。
例えば、上述した実施形態では、位置検出装置１００が撮影部１５１を備える構成を説明したが、位置検出装置１００とは別体で撮影部１５１を設けてもよい。また、上述した実施形態では、位置検出装置１００が検出光照射部１５２を備える構成を説明したが、位置検出装置１００とは別体で検出光照射部１５２を設けてもよい。例えば、撮影部１５１を単独で動作する撮影装置として構成し、撮影装置と位置検出装置１００とを有線又は無線で接続してもよい。また、検出光照射部１５２を単独で動作する検出光照射装置として構成し、検出光照射装置と位置検出装置１００とを有線又は無線で接続してもよい。また、上述した実施形態では、位置検出装置１００がプロジェクターを含む構成を説明したが、投射装置１２０等のプロジェクターの機能部を位置検出装置１００と別体としてもよい。
また、図２に示す位置検出装置１００の各機能部、及び図３に示すサーバー装置２００の各機能部は、機能的構成を示すものであって、具体的な実装形態は特に制限されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現してもよく、また、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、位置検出装置の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
また、図６に示すフローチャートの処理単位は、位置検出装置１００の処理を理解容易にするために、主な処理内容に応じて分割したものであり、また、図７に示すフローチャートの処理単位も、主な処理内容に応じて分割したものである。図６及び図７のフローチャートに示す処理単位の分割の仕方や名称によって本発明が制限されることはない。また、位置検出装置１００やサーバー装置２００の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。
また、位置検出方法を、位置検出装置１００が備えるコンピューターを用いて実現する場合、このコンピューターに実行させるプログラムを記録媒体、又はこのプログラムを伝送する伝送媒体の態様で構成することも可能である。記録媒体には、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、ＨＤＤ、ＣＤ−ＲＯＭ、ＤＶＤ、Ｂｌｕ−ｒａｙ Ｄｉｓｃ、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、上記記録媒体は、サーバー装置が備える内部記憶装置であるＲＡＭ、ＲＯＭ、ＨＤＤ等の不揮発性記憶装置であってもよい。Ｂｌｕ−ｒａｙは、登録商標である。
１…位置検出システム、１０…投射面、１５…操作面、２０…検出光、３０…画像光、４０…指示体、５０…ネットワーク、１００…位置検出装置、１０１…入力Ｉ／Ｆ、１０３…第１通信部、１０５…操作部、１１０…処理部、１１１…画像処理部、１１３…描画処理部、１１５…フレームメモリー、１２０…投射装置、１２１…光源、１２３…光変調装置、１２５…光学ユニット、１３０…駆動回路、１５…撮影部、１５１Ａ…左カメラ、１５１Ｂ…右カメラ、１５２…検出光照射部、１５３…左フレームメモリー、１５４…右フレームメモリー、１５５…キャリブレーションデータ記憶部、１５６…画像前処理部、１５７…指示体検出部、１６０…学習済みモデル、１６１…データキャプチャー部、１６３…キャプチャーデータ記憶部、１７０…第１制御部、１７５…第１記憶部、１８０…第１プロセッサー、１８１…撮影制御部、８３…第１データ処理部、１８５…第１通信制御部、１８７…画像検出部、１８９…学習部、２００…サーバー装置、２１０…第２通信部、２２０…第２記憶部、２２１…学習データ、２３０…第２制御部、２４０…メモリー、２４１…第２制御プログラム、２４３…学習プログラム、２５０…第２プロセッサー、２５１…第２通信制御部、２５３…画像検出部、２５５…学習部、２５７…小型化処理部、２５９…第２データ処理部。

Claims (10)

  1. 位置検出装置とサーバー装置とを備える位置検出システムであって、
    前記位置検出装置は、
    操作面を含む範囲を撮影する撮影部と、
    学習済みモデルを用いて、指示体により指示された前記操作面の指示位置を、前記撮影部が撮影した撮影画像に基づいて検出する指示体検出部と、
    前記撮影画像を前記サーバー装置に送信する第１送信部と、を備え、
    前記サーバー装置は、
    前記位置検出装置から受信した前記撮影画像のうち、前記指示体の画像が含まれない第１画像を検出する画像検出部と、
    前記第１画像を含む学習データを生成し、生成した前記学習データを用いて前記学習済みモデルを再学習する学習部と、を備える位置検出システム。
  2. 前記サーバー装置は、
    前記学習済みモデルが再学習された再学習済みモデルを前記位置検出装置に送信する第２送信部を備え、
    前記位置検出装置は、
    前記サーバー装置より送信された前記再学習済みモデルを用いて、前記操作面の指示位置を検出する、請求項１記載の位置検出システム。
  3. 前記画像検出部は、前記撮影画像において輝度値のヒストグラムを生成し、生成した前記ヒストグラムに含まれる極大値の数に基づいて、前記撮影画像を前記第１画像と判定する、請求項１記載の位置検出システム。
  4. 前記学習部は、前記第１画像と、学習により前記学習済みモデルを生成したときに用いた学習データとを新たな学習データとして、前記学習済みモデルを再学習する、請求項１記載の位置検出システム。
  5. 前記サーバー装置は、
    前記再学習済みモデルを、プルーニングと、量子化との少なくとも一方により小型化した小型化モデルを生成する小型化処理部を含む、請求項２記載の位置検出システム。
  6. 前記サーバー装置は、
    前記小型化モデルを圧縮した圧縮モデルを生成するモデル圧縮部と、
    前記圧縮モデルを前記位置検出装置に送信する第２送信部と、を備える、請求項５記載の位置検出システム。
  7. 前記位置検出装置は、
    撮影画像を圧縮する画像圧縮部を、含み、
    前記第１送信部は、前記画像圧縮部により圧縮された撮影画像を前記サーバー装置に送信する、請求項１から６のいずれか一項に記載の位置検出システム。
  8. 指示体により指示される操作面の位置を検出する位置検出装置であって、
    前記操作面を含む範囲を撮影する撮影部と、
    学習済みモデルを用いて、指示体により指示された前記操作面の指示位置を、前記撮影部が撮影した撮影画像に基づいて検出する指示体検出部と、
    前記撮影画像のうち、前記指示体の画像が含まれない第１画像を検出する画像検出部と、
    前記第１画像を含む学習データを生成し、生成した前記学習データを用いて前記学習済みモデルを再学習する学習部と、を備える位置検出装置。
  9. 指示体により指示される操作面の指示位置を検出するプロジェクターであって、
    前記操作面を含む範囲を撮影する撮影部と、
    学習済みモデルを用いて、前記指示位置を、前記撮影部が撮影した撮影画像に基づいて検出する指示体検出部と、
    前記撮影画像のうち、前記指示体の画像が含まれない第１画像を検出する画像検出部と、
    前記第１画像を含む学習データを生成し、生成した前記学習データを用いて前記学習済みモデルを再学習する学習部と、
    前記指示位置の検出結果に基づいて、投射画像を調整する描画処理部と、を備えるプロジェクター。
  10. 指示体により指示される操作面の指示位置を検出する位置検出方法であって、
    前記操作面を含む範囲を撮影する撮影ステップと、
    学習済みモデルを用いて、前記指示位置を、前記撮影ステップにより撮影した撮影画像に基づいて検出する指示体検出ステップと、
    前記撮影画像のうち、前記指示体の画像が含まれない第１画像を検出する画像検出ステップと、
    前記第１画像を含む学習データを生成し、生成した前記学習データを用いて前記学習済みモデルを再学習する再学習ステップと、を有する位置検出方法。
JP2020099360A 2020-06-08 2020-06-08 位置検出システム、位置検出装置、プロジェクター及び位置検出方法 Pending JP2021193499A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020099360A JP2021193499A (ja) 2020-06-08 2020-06-08 位置検出システム、位置検出装置、プロジェクター及び位置検出方法
US17/341,439 US11681397B2 (en) 2020-06-08 2021-06-08 Position detection system, position detection apparatus, and position detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020099360A JP2021193499A (ja) 2020-06-08 2020-06-08 位置検出システム、位置検出装置、プロジェクター及び位置検出方法

Publications (1)

Publication Number Publication Date
JP2021193499A true JP2021193499A (ja) 2021-12-23

Family

ID=78817362

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020099360A Pending JP2021193499A (ja) 2020-06-08 2020-06-08 位置検出システム、位置検出装置、プロジェクター及び位置検出方法

Country Status (2)

Country Link
US (1) US11681397B2 (ja)
JP (1) JP2021193499A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023030406A (ja) * 2021-08-23 2023-03-08 富士フイルムビジネスイノベーション株式会社 画像読取装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8224078B2 (en) * 2000-11-06 2012-07-17 Nant Holdings Ip, Llc Image capture and identification system and process
CN102402680B (zh) 2010-09-13 2014-07-30 株式会社理光 人机交互系统中手部、指示点定位方法和手势确定方法
US9134814B2 (en) * 2012-04-05 2015-09-15 Seiko Epson Corporation Input device, display system and input method
JP6060581B2 (ja) * 2012-09-18 2017-01-18 セイコーエプソン株式会社 インタラクティブシステム、インタラクティブシステムの制御方法、およびプロジェクター
US9274608B2 (en) * 2012-12-13 2016-03-01 Eyesight Mobile Technologies Ltd. Systems and methods for triggering actions based on touch-free gesture detection
JP6037900B2 (ja) * 2013-03-11 2016-12-07 日立マクセル株式会社 操作検出装置及び操作検出方法
JP6201379B2 (ja) * 2013-04-02 2017-09-27 富士通株式会社 位置算出システム、位置算出プログラム、および、位置算出方法
JP6252409B2 (ja) 2014-09-02 2017-12-27 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN107003716B (zh) * 2014-12-08 2019-08-23 麦克赛尔株式会社 投射型影像显示装置以及影像显示方法
US10534436B2 (en) 2015-01-30 2020-01-14 Sony Depthsensing Solutions Sa/Nv Multi-modal gesture based interactive system and method using one single sensing system
JP6729297B2 (ja) * 2016-10-27 2020-07-22 セイコーエプソン株式会社 プロジェクター、プロジェクションシステム及び検出光照射装置
JP6900918B2 (ja) 2017-03-14 2021-07-07 オムロン株式会社 学習装置及び学習方法
JP6911439B2 (ja) * 2017-03-24 2021-07-28 セイコーエプソン株式会社 プロジェクター
US10691217B2 (en) 2017-04-20 2020-06-23 Fuji Xerox Co., Ltd. Methods and systems for providing a camera-based graphical user interface
US11410443B2 (en) * 2020-03-13 2022-08-09 Nec Corporation Labelling training method and system for implementing the same

Also Published As

Publication number Publication date
US20210382575A1 (en) 2021-12-09
US11681397B2 (en) 2023-06-20

Similar Documents

Publication Publication Date Title
KR102423175B1 (ko) 심도 맵을 이용하여 이미지를 편집하기 위한 장치 및 그에 관한 방법
US11671701B2 (en) Electronic device for recommending composition and operating method thereof
US11941368B2 (en) Method for providing text translation managing data related to application, and electronic device thereof
KR102397924B1 (ko) 이미지 보정 방식 및 이미지의 특징 정보에 기반하여 이미지를 보정하는 전자 장치 및 방법
KR102383134B1 (ko) 우선 순위에 기반하여 이미지를 처리하는 전자 장치 및 그 동작 방법
KR102661185B1 (ko) 전자 장치 및 그의 이미지 촬영 방법
US11144197B2 (en) Electronic device performing function according to gesture input and operation method thereof
JP2017059927A (ja) ユーザ端末、色彩補正システム及び色彩補正方法
JP2021193499A (ja) 位置検出システム、位置検出装置、プロジェクター及び位置検出方法
KR102339223B1 (ko) 전자 장치 및 전자 장치에서 카메라 기능과 연관된 콘텐트 제공 방법
TWI485505B (zh) 數位相機及數位相機之影像擷取方法
US11425300B2 (en) Electronic device and method for processing image by electronic device
US20220385814A1 (en) Method for generating plurality of content items and electronic device therefor
KR102482860B1 (ko) 상황 정보 기반 이미지 처리 방법 및 이를 사용하는 전자 장치
US11509797B2 (en) Image processing apparatus, image processing method, and storage medium
KR20190110308A (ko) Isp 업데이트를 알리는 전자 장치 및 그 동작 방법
US20230156349A1 (en) Method for generating image and electronic device therefor
JP2021193500A (ja) 位置検出方法、位置検出装置及びプロジェクター
KR20210101999A (ko) 화질 조정을 지원하는 전자 장치 및 그 방법
KR20240068029A (ko) 기계 학습 모델을 이용하여 영상을 획득하는 전자 장치 및 그 동작 방법
KR20220127967A (ko) 사용자 인터페이스를 제공하기 위한 방법, 장치 및 저장 매체
JP5168906B2 (ja) 投影システム、投影装置、光ポイント装置、投影制御方法、ポイント光制御方法及びプログラム
KR20190111506A (ko) 외부 전자 장치와 이미지를 처리하는 전자 장치 및 그 동작 방법