JP2019074699A - インタラクティブインタフェースシステム、作業支援システム、厨房支援システム、及びインタラクティブインタフェースシステムのキャリブレーション方法 - Google Patents

インタラクティブインタフェースシステム、作業支援システム、厨房支援システム、及びインタラクティブインタフェースシステムのキャリブレーション方法 Download PDF

Info

Publication number
JP2019074699A
JP2019074699A JP2017202077A JP2017202077A JP2019074699A JP 2019074699 A JP2019074699 A JP 2019074699A JP 2017202077 A JP2017202077 A JP 2017202077A JP 2017202077 A JP2017202077 A JP 2017202077A JP 2019074699 A JP2019074699 A JP 2019074699A
Authority
JP
Japan
Prior art keywords
display screen
interactive interface
sensor device
interface system
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017202077A
Other languages
English (en)
Inventor
優策 島岡
Yusaku Shimaoka
優策 島岡
貴之 毛利
Takayuki Mori
貴之 毛利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2017202077A priority Critical patent/JP2019074699A/ja
Priority to US16/164,398 priority patent/US20190114801A1/en
Publication of JP2019074699A publication Critical patent/JP2019074699A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Projection Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • Food-Manufacturing Devices (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】キャリブレーションの精度向上を図ることが可能なインタラクティブインタフェースシステム、作業支援システム、厨房支援システム、及びインタラクティブインタフェースシステムのキャリブレーション方法を提供する。【解決手段】インタラクティブインタフェースシステム１は、表示装置（投影装置２）と、センサ装置５とを備える。センサ装置５は、表示装置（投影装置２）の表示画面（作業面）と対向する物体の位置を検出する。インタラクティブインタフェースシステム１は、キャリブレーションモードを有する。キャリブレーションモードでは、表示画面（作業面）と対向する所定位置に配置される立体指標の位置をセンサ装置５が検出した検出結果に基づいて、表示画面（作業面）の表示位置とセンサ装置５の検出位置とのキャリブレーションを行う。【選択図】図１

Description

本開示は、インタラクティブインタフェースシステム、作業支援システム、厨房支援システム、及びインタラクティブインタフェースシステムのキャリブレーション方法に関し、特に、表示装置を有するインタラクティブインタフェースシステム、作業支援システム、厨房支援システム、及びインタラクティブインタフェースシステムのキャリブレーション方法に関する。
特許文献１には、プロジェクターと発光ペンと位置情報変換装置とを備えるインタラクティブシステムが開示されている。プロジェクターは投影面に映像を投影する。発光ペンは、ペン状の本体の先端部に押圧スイッチと発光ダイオードとを備える。ユーザが、発光ペンの先端部を投影面に押し付ける操作を行うと、押圧スイッチが押されて発光ダイオードが点灯する。位置情報変換装置は、投影面に投影された投影画像を含む範囲を撮像する撮像部を備える。位置情報変換装置は、撮像部の撮像画像に基づいて撮像画像内で発光ペンが発光したか否かを判別し、発光があった場合には発光した位置の位置情報（座標）を検出する。
特許文献１のインタラクティブシステムでは、プロジェクターから投影される投影画像と、撮像画像との間で位置の対応付けを行うキャリブレーションを実施する。キャリブレーションの実行時には、プロジェクターが、キャリブレーションポイントを表示する画像を投影する。ユーザがキャリブレーションポイントの中心に発光ペンの先端部を押し付けると、発光ペンが発光し、位置情報変換装置が発光した位置の位置情報を検出する。位置情報変換装置は、複数のキャリブレーションポイントについてキャリブレーションを実施し、プロジェクターから投影される投影画像と、撮像画像との間で位置の対応付けを行っている。
特開２０１２−１７３４４７号公報
特許文献１のインタラクティブシステムでは、キャリブレーションの実施時に、ユーザが発光ペンを持ち、キャリブレーションポイントの中心に発光ペンの先端部を押し付けている。そのため、撮像部に、発光ペンを持つユーザの手や腕等の体や影、ユーザの体や衣服等で反射された光等が映り込む可能性があり、キャリブレーションの精度が低下する可能性があった。
本開示の目的は、キャリブレーションの精度向上を図ることが可能なインタラクティブインタフェースシステム、作業支援システム、厨房支援システム、及びインタラクティブインタフェースシステムのキャリブレーション方法を提供することにある。
本開示の一態様のインタラクティブインタフェースシステムは、表示画面に表示する表示装置と、検出対象の位置を検出するセンサ装置とを備え、キャリブレーションモードを有する。キャリブレーションモードでは、前記表示画面の範囲内の指標の位置を前記センサ装置が検出した検出結果に基づいて、前記表示画面の表示位置と前記センサ装置の検出位置とのキャリブレーションを行う。
本開示の一態様の作業支援システムは、前記インタラクティブインタフェースシステムを備え、前記表示装置が、作業を支援する内容を前記表示画面に表示する。
本開示の一態様の厨房支援システムは、前記インタラクティブインタフェースシステムを備え、前記表示装置が、厨房での調理作業を支援する内容を前記表示画面に表示する。
本開示の一態様のインタラクティブインタフェースシステムのキャリブレーション方法は、表示ステップと、検出ステップと、調整ステップとを有する。前記表示ステップでは、表示装置が表示画面に表示する。前記検出ステップでは、前記表示画面の範囲内の指標の位置をセンサ装置が検出する。前記調整ステップでは、前記センサ装置の検出結果に基づいて前記表示画面の表示位置と前記センサ装置の検出位置とのキャリブレーションを行う。
本開示によれば、キャリブレーションの精度向上を図ることが可能なインタラクティブインタフェースシステム、作業支援システム、厨房支援システム、及びインタラクティブインタフェースシステムのキャリブレーション方法を提供することができる。
図１は、本発明の一実施形態に係るインタラクティブインタフェースシステムのブロック図である。 図２は、同上のインタラクティブインタフェースシステムが適用された調理台の斜視図である。 図３は、同上のインタラクティブインタフェースシステムが適用された調理台の側面図である。 図４は、同上のインタラクティブインタフェースシステムのキャリブレーション動作を説明するフローチャートである。 図５は、同上のインタラクティブインタフェースシステムにより投影される調整用画像の説明図である。 図６は、同上のインタラクティブインタフェースシステムのキャリブレーション時に使用する立体指標の斜視図である。 図７は、同上のインタラクティブインタフェースシステムのキャリブレーション時に立体指標を配置した状態の説明図である。 図８は、同上のインタラクティブインタフェースシステムのキャリブレーション時に立体指標を配置した状態を斜め前方から見た説明図である。 図９は、同上のインタラクティブインタフェースシステムを備える厨房支援システムによって表示される調理指示画面の説明図である。 図１０は、本発明の一実施形態の変形例に係るインタラクティブインタフェースシステムのキャリブレーション時に立体指標を配置した状態の説明図である。
（実施形態）
（１）概要
本実施形態のインタラクティブインタフェースシステム１は、図１に示すように、表示装置（投影装置２）と、センサ装置５とを備える。
表示装置（投影装置２）は表示画面に表示する。ここにおいて、「表示画面」とは表示内容が表示される表示面であり、表示装置が投影装置２である場合は投影装置２から映像が投影されるスクリーン（本実施形態では作業面１０１）が表示画面となる。なお、表示装置が液晶ディスプレイ等のディスプレイ装置である場合はディスプレイ装置の画面が表示画面となる。
センサ装置５は、検出対象の位置を検出する。
インタラクティブインタフェースシステム１はキャリブレーションモードを有する。キャリブレーションモードでは、表示画面の範囲内の指標の位置をセンサ装置５が検出した検出結果に基づいて、表示画面の表示位置とセンサ装置５の検出位置とのキャリブレーションを行う。ここにおいて、「表示画面の範囲内の指標」とは、センサ装置５から見て表示画面の範囲内にある指標であり、表示画面と接触している状態又は表示画面と離れた状態で表示画面と対向する位置にある指標、表示画面の画面内にある指標を含む。「指標」は、センサ装置５で検出可能であれば、有形の指標でもよいし、無形の指標でもよい。「指標」は、例えば、表示装置（投影装置２）の表示画面と対向する所定位置に配置される立体指標６０（図６及び図７参照）等である。なお、表示画面と対向する所定位置とは、表示画面に接触する位置でもよいし、表示画面と離れた位置でもよい。また、センサ装置５が画像センサである場合、「指標」は、例えば、光を発する光源、光を反射する反射部材、光を拡散する拡散部材、表示画面上に表示される輝点等でもよい。
このように、キャリブレーションモードでは、表示画面の表示位置と、センサ装置５が検出した指標の検出位置とのキャリブレーションを行っている。そのため、指標の位置の周辺や表示位置の周辺に、ユーザが居る必要がなく、指標の位置の周辺や表示位置の周辺にユーザの体や衣服等が存在しない状態でキャリブレーションを行うことができる。したがって、ユーザの体や衣服等がキャリブレーション結果に影響しにくくなるため、キャリブレーションの精度向上を図ることができる。
（２）詳細
以下、本実施形態のインタラクティブインタフェースシステム１について図面を参照して説明する。以下に説明するインタラクティブインタフェースシステム１は、例えば、厨房支援システムのヒューマンマシンインタフェースとして使用される。厨房支援システムは、例えば、ファストフード店の調理場等の厨房に設けられて、ユーザ（調理作業の作業者）が行う調理作業を支援する。
（２．１）構成
本実施形態のインタラクティブインタフェースシステム１は、図１に示すように、投影装置２と、制御装置３と、記憶装置４と、センサ装置５とを備える。
インタラクティブインタフェースシステム１は、図２及び図３に示すように、客から注文された料理の調理を作業者Ｈ１が行う調理台１００に設けられる。以下では、図２等において「上」、「下」、「左」、「右」、「前」、「後」の矢印で示す通りに各方向を規定する。つまり、調理を行う作業者Ｈ１が作業領域１１０（調理台１００の上面である作業面１０１及びその上方の空間）を見たときの方向に基づいて、上下、左右、前後の各方向を定義する。但し、これらの方向はインタラクティブインタフェースシステム１の使用時の方向を規定する趣旨ではない。
投影装置２は、例えば調理台１００の前側に配置される支柱１０に支持されており、調理台１００の上方に配置される。本実施形態の投影装置２は、例えば、プロジェクター等のディスプレイ装置と、ディスプレイ装置から出力された映像を反射して投影するミラー２１とを備える。投影装置２は、作業領域１１０に向かって、つまり調理台１００の作業面１０１に向かって映像を投影する。なお、投影装置２は、投影した映像をミラー２１で反射させることで、調理台１００の上面（作業面１０１）に映像を投影しているが、調理台１００の作業面１０１面に映像を直接投影してもよい。また、投影装置２は、調理台１００と一体に設けられてもよい。
記憶装置４は、ハードディスク、メモリカード等の記憶装置を含む。記憶装置４は、例えば投影装置２が表示画面（作業面１０１）に投影する画像データ、後述する制御装置３のコンピュータシステムが実行するプログラム等を記憶する。画像データとしては、例えば作業者Ｈ１に調理手順を指示するための調理指示画面の画像データ等がある。
センサ装置５は、赤外線照射部５１と、赤外線カメラ５２と、ＲＧＢカメラ５３とを備える。センサ装置５のケース５０は、調理台１００の作業面１０１の前端付近に配置される。つまり、センサ装置５は、表示画面となる作業面１０１から見て一方向に配置されており、表示画面（作業面１０１）の一辺側（本実施形態では前辺側）に配置されている。本実施形態では、センサ装置５は表示画面の全周に配置されておらず、表示画面から見て一方向に配置されたセンサ装置５を用いて、表示画面と対向する物体の位置を検出している。
赤外線照射部５１と赤外線カメラ５２とＲＧＢカメラ５３とはケース５０の前面（作業領域１１０側の面）に配置される（図２参照）。赤外線照射部５１は、上下方向（表示画面となる作業面１０１と直交する方向）に対して交差する方向（本実施形態では上下方向と垂直な前後方向）から作業領域１１０側に赤外光を照射する。センサ装置５は画像センサとして赤外線カメラ５２及びＲＧＢカメラ５３を備え、赤外線カメラ５２及びＲＧＢカメラ５３は上下方向と交差する方向（本実施形態では上下方向と垂直な前後方向）から作業領域１１０を撮影する。
ＲＧＢカメラ５３は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ、ＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子を有している。ＲＧＢカメラ５３は、例えば、所定のフレームレート（例えば１秒間に１０〜８０フレーム）で、作業領域１１０の二次元画像（カラー画像）を撮影する。
赤外線照射部５１及び赤外線カメラ５２は、例えばＴＯＦ（Time of Flight）方式により距離計測を行う距離画像センサを構成する。赤外線照射部５１は作業領域１１０に赤外線を照射する。赤外線カメラ５２は、例えばＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等の赤外線に感度を有する受光素子を有しており、赤外光を受光する。赤外線カメラ５２は、ＲＧＢカメラ５３と同じ方向を向くようにケース５０に配置される。赤外線カメラ５２は、赤外線照射部５１からの照射光を作業領域１１０にある物体（食材、調理器具、作業者Ｈ１の手等）が反射した反射光を受光する。赤外線照射部５１から照射された赤外光が赤外線カメラ５２で受光されるまでの時間をもとに物体までの距離を計測できる。
したがって、センサ装置５は、ＲＧＢカメラ５３で撮影された二次元画像と、赤外線カメラ５２から出力される距離画像とを制御装置３に出力する。ここにおいて、距離画像とは、物体までの距離を濃淡で表した濃淡画像である。また、赤外線カメラ５２及びＲＧＢカメラ５３は上下方向と交差する方向から作業領域１１０を撮影しているので、センサ装置５は、作業領域１１０に存在する物体の高さ方向（上下方向）の位置を検知できる。したがって、制御装置３は、センサ装置５から入力される二次元画像及び距離画像に基づいて物体が表示画面（作業面１０１）に接しているか否かを検知できる。
なお、本実施形態では、センサ装置５の赤外線照射部５１と赤外線カメラ５２とＲＧＢカメラ５３とは１つのケース５０に収納されているが、赤外線照射部５１と赤外線カメラ５２とＲＧＢカメラ５３とは２つ以上の筐体に分散して配置されていてもよい。
制御装置３は、映像制御部３１、位置取得部３２、及び検出位置調整部３３の機能を備える。
制御装置３は、プロセッサ及びメモリを有するコンピュータシステムを備える。コンピュータシステムのメモリ又は記憶装置４に記録されたプログラムを、コンピュータシステムのプロセッサが実行することによって、制御装置３の機能が実現される。コンピュータシステムのプロセッサが実行するプログラムは、メモリ又は記憶装置４に予め記録されていてもよいし、インターネット等の電気通信回線を通して提供されてもよく、メモリカード等の非一時的な記録媒体に記録されて提供されてもよい。
映像制御部３１は、投影装置２が作業領域１１０に向かって映像を投影する動作を制御する。映像制御部３１は、作業者Ｈ１が行う調理作業に関連する料理関連の映像等を投影装置２に投影させる。料理関連の映像は、複数の工程を含む調理作業において工程ごとに作業内容を指示する調理指示画面を含む。映像制御部３１は、投影装置２を制御して、作業領域１１０側に調理指示画面等の映像を投影させる。
位置取得部３２は、センサ装置５から入力される二次元画像と距離画像とに基づいて、調理台１００の作業面１０１（投影装置２によって映像が投影される面）と対向する物体の位置を取得する。具体的には、位置取得部３２は、例えばテンプレートマッチングを行うことによって二次元画像から物体を検出し、二次元画像における物体の位置を求める。また、位置取得部３２は、二次元画像における物体の位置と距離画像とに基づいて、センサ装置５から物体までの距離を求める。そして、位置取得部３２は、二次元画像における物体の位置とセンサ装置５から物体までの距離とを用いて、表示画面となる作業面１０１における物体の位置を求めている。ここで、位置取得部３２は、二次元画像から複数の物体を検出した場合、複数の物体のそれぞれについて作業面１０１における物体の位置を求めればよい。
検出位置調整部３３は、キャリブレーションモードにおいて、位置取得部３２がセンサ装置５から取得した立体指標６０の検出位置に基づいて、表示画面上の表示位置とセンサ装置５の検出位置とのキャリブレーションを行う。立体指標６０は、キャリブレーションモードにおいて、表示画面と対向する所定位置に配置される。検出位置調整部３３は、センサ装置５の検出結果を補正する補正情報を求め、補正情報を記憶装置４に記憶する。
制御装置３は、キャリブレーションモードを終了すると、位置取得部３２が取得した物体の位置の検出結果を、記憶装置４に記憶された補正情報を用いて補正することで、物体の位置を求める。
本実施形態において、キャリブレーションモードで使用される立体指標６０は、図６に示すように、調理台１００の作業面１０１に載せられる矩形板状の台座部６１と、台座部６１の長手方向における一端部から上方に突出する矩形板状の表示部６２とを有している。表示部６２の表面には逆三角形のマーク６３が印刷、塗装、テープ等の適宜の方法で設けられている。マーク６３は、表示部６２の上辺を一辺とし、表示部６２の下辺の中点を頂点とする二等辺三角形である。表示部６２に設けられたマーク６３の下端は、表示画面（作業面１０１）との接触点を示している。なお、立体指標６０及びマーク６３の形状は適宜変更が可能である。立体指標６０は、例えば角柱や三角柱等の柱状でもよいし、三角錐、四角錐等の錐体状でもよい。
（２．２）動作
本実施形態のインタラクティブインタフェースシステム１の動作について説明する。
（２．２．１）キャリブレーションモードの動作説明
インタラクティブインタフェースシステム１の制御装置３は、適宜のタイミング、又は作業者Ｈ１から操作入力を受け付けたタイミングでキャリブレーション動作を実行する。ここで、制御装置３が行うキャリブレーション動作について図４のフローチャートに基づいて説明する。
制御装置３の映像制御部３１は、キャリブレーションに使用するパラメータを入力するための入力画面の画像データを作成し、投影装置２に出力する。投影装置２は、映像制御部３１から入力画面の画像データが入力されると、入力画面を調理台１００の作業面１０１に投影する。パラメータは、例えば投影装置２が作業面１０１に投影する映像の大きさ、センサ装置５から投影装置２によって投影される画面（例えば、画面の前側辺）までの距離、左右方向におけるセンサ装置５の中心位置と画面の中心位置とのずれ量等を含む。
作業面１０１に入力画面が投影されている状態で、作業者Ｈ１がキーボード等の入力装置を用いてパラメータを入力すると（図４のＳ１）、制御装置３は入力されたパラメータを記憶装置４に記憶する。なお、パラメータの入力は事前に行っておいてもよい。
パラメータの入力が終了すると、制御装置３の映像制御部３１は調整用画面Ｇ１（図５参照）の画像データを作成して投影装置２に出力する。調整用画面Ｇ１は、複数の立体指標６０（図６参照）の配置位置をそれぞれ示す複数（図５の例では１１個）の円形のドットＤ１〜Ｄ１１を表示する映像である。なお、ドットＤ１〜Ｄ１１の形状は円形に限定されず、調整用画面Ｇ１に表示される立体指標６０の配置位置を示す印の形状は適宜変更が可能である。
また、本実施形態では、調整用画面Ｇ１が、ＲＧＢカメラ５３の二次元画像を表示する表示領域Ｇ１１と、ＲＧＢカメラ５３の二次元画像と赤外線カメラ５２の距離画像との合成画像を表示する表示領域Ｇ１２を含んでいる。なお、調整用画面Ｇ１が表示領域Ｇ１１，Ｇ１２を含むことは必須ではなく、表示領域Ｇ１１，Ｇ１２は省略が可能である。
投影装置２は、映像制御部３１から調整用画面Ｇ１の画像データが入力されると、調理台１００の作業面１０１に調整用画面Ｇ１を投影する（図４のＳ２）。
調理台１００の作業面１０１に調整用画面Ｇ１が表示されると、作業者Ｈ１は、図７及び図８に示すように、複数のドットＤ１〜Ｄ１１の上に複数の立体指標６０をそれぞれ配置する（図４のＳ３）。ここにおいて、複数の立体指標６０は、表示部６２がセンサ装置５の方を向くようにして配置される。
投影装置２が調整用画面Ｇ１を投影してから所定時間が経過すると、制御装置３の位置取得部３２はセンサ装置５から検出結果として作業領域１１０を映した二次元画像と距離画像とを取得する（図４のＳ４）。なお、投影装置２が調整用画面Ｇ１を投影した後に、制御装置３が作業者Ｈ１から適宜の方法で入力された操作入力を受け付けると、制御装置３の位置取得部３２がセンサ装置５から作業領域１１０を映した二次元画像と距離画像とを取得してもよい。
位置取得部３２は、例えばテンプレートマッチングを行って二次元画像から複数の立体指標６０のマーク６３を検出し、複数の立体指標６０のそれぞれについてマーク６３の下端の位置（二次元画像上の位置）を求める。また、位置取得部３２は、二次元画像から検出した複数の立体指標６０のそれぞれで、センサ装置５からマーク６３の下端までの距離を距離画像から求める。そして、位置取得部３２は、複数の立体指標６０のそれぞれで、マーク６３の下端の二次元画像上の位置と、センサ装置５からマーク６３の下端までの距離とを用いて、表示画面となる作業面１０１におけるマーク６３の下端の位置を求める。これにより、位置取得部３２は、センサ装置５の検出結果に基づいて、調整用画面Ｇ１のドットＤ１〜Ｄ１１の上に置かれた複数の立体指標６０の位置（作業面１０１における位置）をそれぞれ取得することができる。
ここで、位置取得部３２は、立体指標６０の表示部６２に表示されたマーク６３の下端（表示画面との接触点）の位置を立体指標６０の位置として取得する。したがって、複数の立体指標６０の各々が、複数のドットＤ１〜Ｄ１１のうち対応するドットの位置にマーク６３の下端が一致するように配置されることで、複数の立体指標６０の検出位置を対応するドットＤ１〜Ｄ１１の位置と一致させることができる。
このように、位置取得部３２が複数の立体指標６０の検出位置を取得すると、検出位置調整部３３は、調整用画面Ｇ１におけるドットＤ１〜Ｄ１１の位置と、ドットＤ１〜Ｄ１１の上に置かれた立体指標６０の検出位置とに基づいて補正情報を求める（図４のＳ５）。補正情報は、ドットＤ１〜Ｄ１１のうち演算対象のマークの上に配置された立体指標６０の検出位置（本実施形態では表示画面との接触点）を、演算対象のマークの調整用画面Ｇ１における位置に変換するための位置変換情報である。つまり、本実施形態のセンサ装置５は、マーク６３の下端の位置から立体指標６０と表示画面との接触点を検出でき、表示画面の表示位置と接触点のキャリブレーションを行うことができる。検出位置調整部３３は、ドットＤ１〜Ｄ１１の位置でそれぞれ補正情報を求めると、ドットＤ１〜Ｄ１１の位置でそれぞれ求めた補正情報（位置変換情報）を記憶装置４に記憶させ（図４のＳ６）、キャリブレーションモードを終了する。
本実施形態では、複数のドットＤ１〜Ｄ１１は、ドットＤ１〜Ｄ１１の上に配置された複数の立体指標６０がセンサ装置５から見て互いに重ならないような位置に設定されている。したがって、センサ装置５が作業領域１１０の二次元画像及び距離画像を撮影すると、センサ装置５が撮影した二次元画像及び距離画像に複数の立体指標６０の全てが映るので、複数の立体指標６０の位置を一度に検出することができる。なお、ドットＤ１〜Ｄ１１の上に配置される複数の立体指標６０は、センサ装置５から見て全体が重なっていなければよく、立体指標６０の少なくとも一部（マーク６３の下端である頂点を含む部位）が互いに重なっていなければよい。
また、図８に示すように、ドットＤ１〜Ｄ１１の上に配置される複数の立体指標６０はセンサ装置５からの距離に応じて３つのグループＧＲ１，ＧＲ２，ＧＲ３に分かれている。グループＧＲ１に属する立体指標６０（６０１）とセンサ装置５との距離は、グループＧＲ２に属する立体指標６０（６０２）とセンサ装置５との距離よりも短い。グループＧＲ３に属する立体指標６０（６０３）とセンサ装置５との距離は、グループＧＲ２に属する立体指標６０（６０２）とセンサ装置５との距離よりも長い。そして、グループＧＲ１に属する立体指標６０（６０１）の前面（表示部６２）の大きさは、グループＧＲ２に属する立体指標６０（６０２）のの前面の大きさに比べて小さい。また、グループＧＲ３に属する立体指標６０（６０３）の前面の大きさは、グループＧＲ２に属する立体指標６０（６０２）の前面の大きさよりも大きい。
このように、グループＧＲ１，ＧＲ２，ＧＲ３にそれぞれ属する立体指標６０１，６０２，６０３において、センサ装置５からの距離が相対的に長いグループの立体指標６０は、センサ装置５からの距離が相対的に短いグループの立体指標６０に比べて前面の大きさが大きい。つまり、複数の立体指標６０のうち、センサ装置５との距離が異なる２以上の立体指標６０では、センサ装置５から見た見かけ上の寸法差が低減されるように、前面の実際（実物）の大きさが異なっている。
したがって、センサ装置５に相対的に近いグループの立体指標６０と、センサ装置５に相対的に遠いグループの立体指標６０とで、センサ装置５から見た見かけ上の寸法差が低減される。よって、センサ装置５から出力される二次元画像において、立体指標６０の見かけ上の大きさのばらつきを低減できる。なお、センサ装置５からの距離が異なる場合でも、実際の大きさが同じ立体指標６０を用いてもよく、大きさが異なる複数種類の立体指標６０を用意する必要がないという利点がある。
（２．２．２）調理支援モードの動作説明
本実施形態のインタラクティブインタフェースシステム１は厨房支援システムに用いられ、厨房支援システムが作業者Ｈ１の厨房作業を支援する動作について以下に説明する。厨房支援システムは、例えば、ファストフード店の調理場等の厨房において、作業者（調理人）が行う調理作業を支援するために用いられる。本実施形態の厨房支援システムは、例えばハンバーガーを調理する調理作業を支援するものである。ハンバーガーの調理作業は複数の工程を含む。厨房支援システムでは、複数の工程のそれぞれで作業者Ｈ１が行う作業を指示する調理指示画面を投影装置２から調理台１００の作業面１０１に投影する。
図９は、調理台１００の作業面１０１に投影される調理指示画面Ｇ２の一例である。図９の例では、調理指示画面Ｇ２は、作業内容を示す文章等を表示する表示領域Ａ１１と、調理に使用する食材を写真等で表示する表示領域Ａ２１と、作業内容を絵などで表示する表示領域Ａ３１とを含んでいる。表示領域Ａ１１には、作業内容を示す文章として例えば「バンズ（下）を置く」などの文章が表示されている。また、表示領域Ａ３１には、下側のバンズを表す絵記号Ｂ１が表示されている。
作業者Ｈ１が、調理指示画面Ｇ２の表示領域Ａ３１に表示された絵記号Ｂ１の上に、下側のバンズ７１を置くと、センサ装置５が、作業面１０１に置かれたバンズ７１の位置を検出する。すなわち、センサ装置５は作業領域１１０を撮影した二次元画像と距離画像とを制御装置３に出力する。位置取得部３２は、例えばパターンマッチングを行って、センサ装置５から入力された二次元画像からバンズ７１を検出する。そして、位置取得部３２は、バンズ７１の二次元画像上の位置と、距離画像から求めたセンサ装置５からバンズ７１までの距離とに基づいて、作業面１０１におけるバンズ７１の位置を取得する。なお、バンズ７１の位置を求める際にパターンマッチングの処理を行うことは必須ではなく、距離画像から求めた距離でバンズ７１の位置を求めてもよい。位置取得部３２が、作業面１０１におけるバンズ７１の検出位置を取得すると、記憶装置４に記憶させた補正情報を用いてバンズ７１の検出位置を補正することで、バンズ７１の位置を求めており、検出位置の誤差を低減できる。
なお、記憶装置４には、投影装置２の表示画面（作業面１０１）における複数の所定位置（ドットＤ１〜Ｄ１１の位置）での補正情報が記憶されている。制御装置３は、複数の所定位置（ドットＤ１〜Ｄ１１の位置）以外の位置での補正情報を、所定位置での補正情報を用いて補間することで求めているので、表示画面の全ての位置で補正情報を求める必要がない。また、制御装置３は、複数の所定位置（ドットＤ１〜Ｄ１１の位置）以外の位置では、補間処理で求めた補正情報を用いて検出位置を補正しているので、物体の位置をより正確に求めることができる。
制御装置３は、作業面１０１に置かれたバンズ７１の位置を検出すると、バンズ７１の検出位置に基づいて、バンズ７１の上に載せる食材（例えばミートパテ等）の画像をバンズ７１の上に投影する。これにより、調理作業を行う作業者Ｈ１は、バンズ７１の上に投影された画像をもとに、次に行う作業を容易に理解でき、厨房支援システムにより作業者Ｈ１が行う調理作業を支援することができる。また、本実施形態によれば作業面１０１に置かれた物体の位置を正確に検出できるので、作業面１０１に置かれた物体の上に正確に画像を投影できる。また、制御装置３は、例えば調理指示画面Ｇ２において表示領域Ａ１１，Ａ２１の表示を物体が存在しない位置に投影させることができ、表示領域Ａ１１，Ａ１２の表示を見やすくできる。
（３）変形例
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、インタラクティブインタフェースシステム１又は厨房支援システムと同様の機能は、インタラクティブインタフェースシステム１のキャリブレーション方法、又はプログラムを記録した非一時的な記録媒体等で具現化されてもよい。一態様に係るインタラクティブインタフェースシステム１のキャリブレーション方法は、配置ステップ（図４のステップＳ３）と、検出ステップ（図４のステップＳ４）と、調整ステップ（図４のステップＳ５）と、を含む。配置ステップでは、表示装置（投影装置２）の表示画面と対向する所定位置に立体指標６０を配置する。検出ステップでは、立体指標６０の位置をセンサ装置５が検出する。調整ステップでは、センサ装置５の検出結果に基づいて表示画面の表示位置とセンサ装置５の検出位置とのキャリブレーションを行う。一態様に係る（コンピュータ）プログラムは、コンピュータシステムに、センサ装置５から検出結果を取得する取得ステップと、調整ステップと、を実行させるためのプログラムである。
以下、上記の実施形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。
本開示におけるインタラクティブインタフェースシステム１、厨房支援システム又はキャリブレーション方法の実行主体は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示におけるインタラクティブインタフェースシステム１、厨房支援システム又はキャリブレーション方法の実行主体としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されていてもよいが、電気通信回線を通じて提供されてもよいし、コンピュータシステムで読み取り可能な非一時的な記録媒体に記録されて提供されてもよい。コンピュータシステムで読み取り可能な非一時的な記録媒体は、メモリカード、光学ディスク、ハードディスクドライブ等である。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１乃至複数の電子回路で構成される。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。
インタラクティブインタフェースシステム１は、制御装置３と、センサ装置５と、投影装置２とで構成されているが、インタラクティブインタフェースシステム１は１つの筐体に収まる１つの装置にて実現されてもよい。
上記の実施形態では、キャリブレーションモードにおいて、表示画面に１１個の立体指標６０を配置してキャリブレーションを行っているが、立体指標６０の数はでもよいし複数個でもよく、適宜変更が可能である。なお、立体指標６０の検出位置をもとに面を形成する場合には立体指標６０が少なくとも３つあればよい。ただし、調整したい面の大きさや形状を定めておけば、１個以上の基準点があればよいので、その場合は、立体指標６０の数は１個以上でよい。また、図５に示す立体指標６０の配置パターンは一例であり、複数の立体指標６０の配置パターンは適宜変更可能である。
また、図１０に示すように複数の立体指標６０が一体化されていてもよい。すなわち、作業面１０１の上に載せられる平板状の板材７０に複数の立体指標６０が固定されていてもよい。この場合、調整用画面Ｇ１では、複数の立体指標６０の位置を示すドットＤ１〜Ｄ１１が表示されてもよいし、板材７０を位置決めするための枠線などが表示されてもよい。複数の立体指標６０が板材７０に一体化されているので、複数の立体指標６０を配置する作業が容易である。
上記の実施形態では、指標が、表示画面と対向する所定位置に配置される立体指標６０であったが、指標は立体指標６０に限定されない。指標は、センサ装置５で検出可能であれば適宜変更が可能である。センサ装置５が赤外線カメラ５２である場合、指標は赤外線カメラ５２で検出可能であればよい。例えば、指標は、表示画面の範囲内にある赤外光を発する光源、表示画面の範囲内にある赤外光を反射する反射部材、表示画面の範囲内にある赤外光を散乱する散乱部材、表示画面の画面内に表示される輝点等でもよい。
上記の実施形態では、表示装置が投影装置２で構成されているので、投影装置２は作業面１０１の所望の位置に画像を投影できる。なお、表示装置は投影装置２に限定されず、調理台１００の作業面１０１に組み込まれた薄型のディスプレイ装置でもよい。この種のディスプレイ装置としては、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイ等がある。
また、投影装置２によって表示される画像のうち、調整用画面Ｇ１以外の画像の一部を、投影装置２以外の別の表示装置で表示してもよい。別の表示装置は、作業領域１１０の周囲に設置された液晶ディスプレイ装置、タブレット端末等である。
また、上記の実施形態において、インタラクティブインタフェースシステム１の制御装置３が備える位置取得部３２、検出位置調整部３３のうち少なくとも１つの機能が２つ以上のシステムに分散して設けられてもよい。また、位置取得部３２、検出位置調整部３３の各々の機能が、複数の装置に分散して設けられていてもよい。また、インタラクティブインタフェースシステム１の少なくとも一部の機能は、例えば、クラウド（クラウドコンピューティング）によって実現されてもよい。
また、本実施形態のセンサ装置５の赤外線照射部５１は測距領域の全体に赤外光を照射させ、赤外線カメラ５２は物体による反射光を面で受光するが、赤外線照射部５１が赤外光を照射する方向を測距領域内でスイープさせてもよい。この場合、赤外線カメラ５２は物体による反射光を１点で受光する。また、赤外線照射部５１はインタラクティブインタフェースシステム１に必須の構成ではなく、赤外線カメラ５２が自然光や照明光を利用して撮影可能であれば、赤外線照射部５１は適宜省略が可能である。
センサ装置５の赤外線照射部５１と赤外線カメラ５２とはＴＯＦ方式で物体までの距離を計測しているが、パターン照射方式（Light Coding方式）で距離を計測してもよいし、ステレオカメラで距離を計測してもよい。また、赤外線カメラ５２は、ＣＯＭＳイメージセンサ又はＣＣＤイメージセンサと、赤外線透過フィルターとを組み合わせて使用することで、適宜省略が可能である。
センサ装置５は、赤外線照射部５１と赤外線カメラ５２とで赤外光を用いて物体までの距離を測定しているが、超音波や電波などで物体までの距離を測定してもよい。
上記実施形態のインタラクティブインタフェースシステム１を備える厨房支援システムはファストフード店の調理場で用いられているが、厨房支援システムはレストラン、ホテル等の調理場で用いられてもよい。また、インタラクティブインタフェースシステム１を備える厨房支援システムは、スーパーマーケットのバックヤードに設けられた総菜の調理場、食品加工工場等で用いられてもよい。また、上記実施形態のインタラクティブインタフェースシステム１は、一般家庭での調理作業を支援する作業支援システムに備えられてもよい。
また、上記実施形態のインタラクティブインタフェースシステム１は、調理作業以外の作業を支援する作業支援システムに備えられてもよく、投影装置２は作業を支援するための映像を表示画面に表示する。この種の作業支援システムには、工場等において複数の工程で対象物を組み立てる組立作業、対象物を分解する分解作業、対象物を清掃する清掃作業、対象物をメンテナンスするメンテナンス作業等の作業を支援するものでもよい。
また、上記実施形態のインタラクティブインタフェースシステム１は、何らかの作業を支援する作業支援システムに備えられるものに限定されず、任意のシステムのインタフェースシステムとして利用可能である。
（まとめ）
以上説明したように、第１の態様のインタラクティブインタフェースシステム（１）は、表示画面に表示する表示装置（２）と、検出対象の位置を検出するセンサ装置（５）とを備える。インタラクティブインタフェースシステム（１）はキャリブレーションモードを有する。キャリブレーションモードでは、表示画面（１０１）の範囲内の指標（６０，６０１〜６０３）の位置をセンサ装置（５）が検出した検出結果に基づいて表示画面（１０１）の表示位置とセンサ装置（５）の検出位置とのキャリブレーションを行う。
この態様によれば、キャリブレーションモードでは、表示画面（１０１）の表示位置と、センサ装置（５）が検出した指標（６０，６０１〜６０３）の検出位置とのキャリブレーションを行っている。そのため、指標の位置の周辺や表示画面（１０１）の表示位置の周辺にユーザの体や衣服等が存在しない状態でキャリブレーションを行うことができる。したがって、ユーザの体や衣服等がキャリブレーション結果に影響しにくくなり、キャリブレーションの精度向上を図ることができる。
第２の態様のインタラクティブインタフェースシステム（１）では、第１の態様において、センサ装置（５）は、表示画面（１０１）と直交する方向に対して交差する方向から物体を検出する。
この態様によれば、物体が表示画面（１０１）に接しているか否かを検知できる。
第３の態様のインタラクティブインタフェースシステム（１）では、第１又は第２の態様において、表示装置（２）は、表示画面（１０１）に映像を投影する投影装置（２）である。
この態様によれば、表示画面（１０１）の所望の位置に映像を投影できる。
第４の態様のインタラクティブインタフェースシステム（１）では、第１〜第３のいずれか１つの態様において、指標（６０，６０１〜６０３）は、表示画面（１０１）と対向する所定位置に配置される立体指標である。
この態様によれば、立体指標（６０，６０１〜６０３）の位置の周辺や表示画面の表示位置の周辺にユーザの体や衣服等が存在しない状態でキャリブレーションを行うことができる。したがって、ユーザの体や衣服等がキャリブレーション結果に影響しにくくなるため、キャリブレーションの精度向上を図ることができる。
第５の態様のインタラクティブインタフェースシステム（１）では、第４の態様において、センサ装置（５）は、表示画面（１０１）を含む撮影領域（１１０）を撮影する画像センサ（５２，５３）を含む。立体指標（６０，６０１〜６０３）は、表示画面（１０１）との接触点を示す表示部（６２）を有する。
この態様によれば、センサ装置（５）は表示部（６２）が示す接触点を検出でき、表示画面（１０１）の表示位置と接触点とのキャリブレーションを行うことができる。
第６の態様のインタラクティブインタフェースシステム（１）では、第４又は第５の態様において、立体指標（６０，６０１〜６０３）が複数ある。キャリブレーションモードにおいて、複数の立体指標（６０，６０１〜６０３）が表示画面（１０１）と対向する複数の所定位置に配置される。複数の立体指標（６０，６０１〜６０３）が一体化されている。
この態様によれば、複数の立体指標（６０，６０１〜６０３）を配置する作業を簡単に行うことができる。
第７の態様のインタラクティブインタフェースシステム（１）では、第４〜第６のいずれか１つの態様において、立体指標（６０，６０１〜６０３）が複数ある。キャリブレーションモードにおいて、複数の立体指標（６０，６０１〜６０３）が表示画面（１０１）と対向する複数の所定位置に配置される。複数の立体指標（６０，６０１〜６０３）のうち、センサ装置（５）との距離が異なる２以上の立体指標（６０，６０１〜６０３）で、センサ装置（５）から見た見かけ上の寸法差が低減されるように、実際の大きさが異なる。
この態様によれば、複数の立体指標（６０，６０１〜６０３）において、センサ装置（５）から見た見かけ上の大きさのばらつきを低減できる。
第８の態様のインタラクティブインタフェースシステム（１）では、第４〜第７のいずれか１つの態様において、立体指標（６０，６０１〜６０３）が複数ある。複数の立体指標（６０，６０１〜６０３）は、センサ装置（５）から見たときに少なくとも一部が互いに重ならないように配置される。
この態様によれば、センサ装置（５）が複数の立体指標（６０，６０１〜６０３）の位置を一度に検出することができる。
第９の態様のインタラクティブインタフェースシステム（１）では、第１〜第８のいずれか１つの態様において、センサ装置（５）は表示画面（１０１）から見て一方向に配置される。
この態様によれば、表示画面（１０１）から見て一方向に配置されたセンサ装置（５）を用いて、表示画面（１０１）と対向する物体の位置を検出することができる。
なお、第２〜第９の態様に係る構成については、インタラクティブインタフェースシステム（１）に必須の構成ではなく、適宜省略可能である。
第１０の態様の作業支援システムは、第１〜第９のいずれか１つの態様のインタラクティブインタフェースシステム（１）を備える。表示装置（２）が、作業を支援する内容を表示画面（１０１）に表示する。
この態様によれば、キャリブレーションの精度向上を図ることができる作業支援システムを提供できる。
第１１の態様の厨房支援システムは、第１〜第９のいずれか１つの態様のインタラクティブインタフェースシステム（１）を備える。表示装置（２）が、厨房での調理作業を支援する内容を表示画面（１０１）に表示する。
この態様によれば、キャリブレーションの精度向上を図ることができる厨房支援システムを提供できる。
第１２の態様のインタラクティブインタフェースシステムのキャリブレーション方法は、表示ステップと、検出ステップと、調整ステップと、を含む。表示ステップでは、表示装置（２）が表示画面（１０１）に表示する。検出ステップでは、表示画面の範囲内の指標（６０，６０１〜６０３）の位置をセンサ装置（５）が検出する。調整ステップでは、センサ装置（５）の検出結果に基づいて表示画面（１０１）の表示位置とセンサ装置（５）の検出位置とのキャリブレーションを行う。
この態様によれば、キャリブレーションの精度向上を図ることができる。
１ インタラクティブインタフェースシステム（厨房支援システム）
２ 投影装置（表示装置）
３ 制御装置
５ センサ装置
３１ 映像制御部
３２ 位置取得部
３３ 検出位置調整部
５２ 赤外線カメラ（画像センサ）
５３ ＲＧＢカメラ（画像センサ）
６０，６０１〜６０３ 立体指標
１０１ 作業面（表示画面）

Claims (12)

  1. 表示画面に表示する表示装置と、
    検出対象の位置を検出するセンサ装置とを備え、
    前記表示画面の範囲内の指標の位置を前記センサ装置が検出した検出結果に基づいて前記表示画面の表示位置と前記センサ装置の検出位置とのキャリブレーションを行うキャリブレーションモードを有する
    インタラクティブインタフェースシステム。
  2. 前記センサ装置は、前記表示画面と直交する方向に対して交差する方向から前記検出対象を検出する
    請求項１に記載のインタラクティブインタフェースシステム。
  3. 前記表示装置は、前記表示画面に映像を投影する投影装置である
    請求項１又は２に記載のインタラクティブインタフェースシステム。
  4. 前記指標は、前記表示画面と対向する所定位置に配置される立体指標である
    請求項１〜３のいずれか１項に記載のインタラクティブインタフェースシステム。
  5. 前記センサ装置は、前記表示画面を含む撮影領域を撮影する画像センサを含み、
    前記立体指標は、前記表示画面との接触点を示す表示部を有する
    請求項４に記載のインタラクティブインタフェースシステム。
  6. 前記立体指標が複数あり、
    前記キャリブレーションモードにおいて、前記複数の立体指標が前記表示画面と対向する複数の前記所定位置に配置され、
    前記複数の立体指標が一体化されている
    請求項４又は５に記載のインタラクティブインタフェースシステム。
  7. 前記立体指標が複数あり、
    前記キャリブレーションモードにおいて、前記複数の立体指標が前記表示画面と対向する複数の前記所定位置に配置され、
    前記複数の立体指標のうち、前記センサ装置との距離が異なる２以上の立体指標で、前記センサ装置から見た見かけ上の寸法差が低減されるように、実際の大きさが異なる
    請求項４〜６のいずれか１項に記載のインタラクティブインタフェースシステム。
  8. 前記立体指標が複数あり、
    前記複数の立体指標は、前記センサ装置から見たときに少なくとも一部が互いに重ならないように配置される
    請求項４〜７のいずれか１項に記載のインタラクティブインタフェースシステム。
  9. 前記センサ装置は前記表示画面から見て一方向に配置される
    請求項１〜８のいずれか１項に記載のインタラクティブインタフェースシステム。
  10. 請求項１〜９のいずれか１項に記載のインタラクティブインタフェースシステムを備え、
    前記表示装置が、作業を支援する内容を前記表示画面に表示する
    作業支援システム。
  11. 請求項１〜９のいずれか１項に記載のインタラクティブインタフェースシステムを備え、
    前記表示装置が、厨房での調理作業を支援する内容を前記表示画面に表示する
    厨房支援システム。
  12. 表示装置が表示画面に表示する表示ステップと、
    前記表示画面の範囲内の指標の位置をセンサ装置が検出する検出ステップと、
    前記センサ装置の検出結果に基づいて前記表示画面の表示位置と前記センサ装置の検出位置とのキャリブレーションを行う調整ステップと、を含む
    インタラクティブインタフェースシステムのキャリブレーション方法。
JP2017202077A 2017-10-18 2017-10-18 インタラクティブインタフェースシステム、作業支援システム、厨房支援システム、及びインタラクティブインタフェースシステムのキャリブレーション方法 Pending JP2019074699A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017202077A JP2019074699A (ja) 2017-10-18 2017-10-18 インタラクティブインタフェースシステム、作業支援システム、厨房支援システム、及びインタラクティブインタフェースシステムのキャリブレーション方法
US16/164,398 US20190114801A1 (en) 2017-10-18 2018-10-18 Interactive interface system, work assistance system, kitchen assistance system, and interactive interface system calibration method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017202077A JP2019074699A (ja) 2017-10-18 2017-10-18 インタラクティブインタフェースシステム、作業支援システム、厨房支援システム、及びインタラクティブインタフェースシステムのキャリブレーション方法

Publications (1)

Publication Number Publication Date
JP2019074699A true JP2019074699A (ja) 2019-05-16

Family

ID=66097037

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017202077A Pending JP2019074699A (ja) 2017-10-18 2017-10-18 インタラクティブインタフェースシステム、作業支援システム、厨房支援システム、及びインタラクティブインタフェースシステムのキャリブレーション方法

Country Status (2)

Country Link
US (1) US20190114801A1 (ja)
JP (1) JP2019074699A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114898447A (zh) * 2022-07-13 2022-08-12 北京科技大学 一种基于自注意力机制的个性化注视点检测方法及装置
JP2022543158A (ja) * 2019-08-07 2022-10-07 アークソフト コーポレーション リミテド キャリブレーションパラメータの取得方法、装置、プロセッサ及び電子機器

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4083757A1 (en) * 2020-10-19 2022-11-02 ameria AG Touchless input interface for an electronic display using multiple sensors
WO2022170105A1 (en) * 2021-02-05 2022-08-11 Pepsico, Inc. Devices, systems, and methods for contactless interfacing
EP4258086A1 (en) * 2022-04-08 2023-10-11 ameria AG Calibration device and method for an electronic display screen for touchless gesture control
EP4258087A1 (en) * 2022-04-08 2023-10-11 ameria AG Calibration method for an electronic display screen for touchless gesture control

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022543158A (ja) * 2019-08-07 2022-10-07 アークソフト コーポレーション リミテド キャリブレーションパラメータの取得方法、装置、プロセッサ及び電子機器
JP7387872B2 (ja) 2019-08-07 2023-11-28 アークソフト コーポレーション リミテド キャリブレーションパラメータの取得方法、装置、プロセッサ及び電子機器
CN114898447A (zh) * 2022-07-13 2022-08-12 北京科技大学 一种基于自注意力机制的个性化注视点检测方法及装置

Also Published As

Publication number Publication date
US20190114801A1 (en) 2019-04-18

Similar Documents

Publication Publication Date Title
JP2019074699A (ja) インタラクティブインタフェースシステム、作業支援システム、厨房支援システム、及びインタラクティブインタフェースシステムのキャリブレーション方法
US10402956B2 (en) Image-stitching for dimensioning
US20210030199A1 (en) Augmented reality-enhanced food preparation system and related methods
US8139110B2 (en) Calibration of a gesture recognition interface system
US9377874B2 (en) Gesture recognition light and video image projector
CN109118543B (zh) 沿至少三个不连续平面对机器视觉摄像机进行校准的系统和方法
US10395389B2 (en) Calibration based on intrinsic parameter selection and a projected calibration target
JP2019075009A (ja) 作業支援システム、厨房支援システム、作業支援方法、及びプログラム
GB2531928A (en) Image-stitching for dimensioning
KR20140112064A (ko) 가상 자
US11557060B2 (en) Systems and methods for scanning three-dimensional objects
JP2014170511A (ja) システム、画像投影装置、情報処理装置、情報処理方法およびプログラム
CN107249128B (zh) 一种摄像头的校正方法及装置
CN104978077B (zh) 一种交互方法及系统
TWI498792B (zh) 光學觸控系統及觸控顯示系統
CN105700736A (zh) 输入操作检测设备、投影装置、交互白板和数字标识装置
EP2924548B1 (en) Correction of touch screen camera geometry
US11431959B2 (en) Object capture and illumination
TWI454653B (zh) 三維絕對座標偵測系統、互動三維顯示系統以及辨識物體之三維座標的方法
US10168833B2 (en) Presentation of a digital image of an object
JP2018189369A (ja) 三次元計測装置
JP6740614B2 (ja) 物体検出装置、及び物体検出装置を備えた画像表示装置
KR101773772B1 (ko) 그림자 출력장치를 이용한 주문 관리 시스템
JP2013101591A (ja) ３次元形状計測装置
US20230290079A1 (en) System for augmented reality