JP2011145765A - 画像処理装置、画像表示システム、及び画像処理方法 - Google Patents
画像処理装置、画像表示システム、及び画像処理方法 Download PDFInfo
- Publication number
- JP2011145765A JP2011145765A JP2010004171A JP2010004171A JP2011145765A JP 2011145765 A JP2011145765 A JP 2011145765A JP 2010004171 A JP2010004171 A JP 2010004171A JP 2010004171 A JP2010004171 A JP 2010004171A JP 2011145765 A JP2011145765 A JP 2011145765A
- Authority
- JP
- Japan
- Prior art keywords
- image
- detected
- captured
- estimated
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Position Input By Displaying (AREA)
- Projection Apparatus (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【解決手段】本発明の画像処理装置は、表示画面に表示されたモデル画像を、被検出物であるユーザーの手により遮られることなくカメラにより撮影した撮影情報に基づき、画像データから推定撮影画像を生成する推定撮影画像生成部と、画像データに基づいて表示画面に表示される表示画像を、被検出物により遮られた状態でカメラにより撮影した撮影画像と、推定撮影画像との差分に基づいて、表示画像内で被検出物により遮られた被検出物領域を検出する被検出物検出部と、被検出物検出部により検出された被検出物領域のうちユーザーの指先に該当する位置を指示位置として検出し、指示位置に対応した所定の処理を行うアプリケーション処理部と、を含む。
【選択図】図3
Description
図1に、本発明の実施形態1における画像表示システム10の構成例のブロック図を示す。
差分に基づいて、遮蔽物領域が抽出される。こうすることで、推定撮影画像と、これを生成する際に使用したカメラ20を用いて得られた撮影画像との差分は、外光のムラ、スクリーンSCRの「なみ」、「すじ」、汚れ等の状態、プロジェクター100の位置やズーム状態、カメラ20の位置や歪み等に起因したノイズの影響をなくすことができる。これにより、上記のノイズの影響を受けることなく、遮蔽物領域を高精度に検出できるようになる。
図4に、図2の画像処理装置30の動作例のフロー図を示す。
図5に、図4のステップS10のキャリブレーション処理の詳細な動作例のフロー図を示す。
図6に図4のステップS10のキャリブレーション処理の動作説明図を示す。
図7に、図5のステップS20の画像領域抽出初期化処理の詳細な動作例のフロー図を示す。
図8に、図5のステップS20の画像領域抽出初期化処理の説明図を示す。図8は、スクリーンSCR上のカメラ20によって撮影される領域に対応する投影面IG1と、投影面IG1における投影画像IG2の領域の一例を模式的に表す。
図9に図5のステップS28の画像領域抽出処理の詳細な動作例のフロー図を示す。
図10に、図5のステップS28の画像領域抽出処理の説明図を示す。図10は、スクリーンSCR上のカメラ20によって撮影される領域に対応する投影面IG1に投影された投影画像IG2の領域を抽出する様子を模式的に表す。
図11に、図4のステップS12の遮蔽物領域抽出処理の詳細の動作例のフロー図を示す。
図12に、図11のステップS60の推定撮影画像生成処理の詳細な動作例のフロー図を示す。
図13に、図11のステップS60の推定撮影画像生成処理の動作説明図を示す。図13は、1画素を構成する複数の色成分のうち1つの色成分についての推定撮影画像の生成処理の説明図を表す。
図15に、図4のステップS14のアプリケーション処理の動作例のフロー図を示す。図16に、図15の入力座標取得処理(ステップS102)のフロー図を示す。図17に、ボタンアイコンの選択方法のフロー図を示す。図18に、図15のポストイットドラッグ処理(ステップS108)のフロー図を示す。図19に、図15のライン描画処理(ステップS112)のフロー図を示す。図20に、遮蔽物領域からユーザーの指先の位置を指示位置として検出する方法の説明図を示す。
実施形態1では、カメラ20でスクリーンSCRに投影された画像を撮影した撮影画像から投影画像を抽出していたが、これに限定されるものではく、撮影画像内の投影画像を抽出することなく、遮蔽物200の領域を抽出するようにしてもよい。実施形態2における画像処理装置が、実施形態1における画像処理装置30と異なる点は、画像処理部の構成及び動作である。従って、以下では、実施形態2における画像処理部の構成及び動作について説明する。
図22に、実施形態2におけるキャリブレーション処理の詳細な動作例のフロー図を示す。
図20に、実施形態2における遮蔽物抽出処理の詳細の動作例のフロー図を示す。
図21に、図20の遮蔽物抽出処理における推定撮影画像生成処理の動作説明図を示す。図21は、1画素を構成する複数の色成分のうち1つの色成分についての推定撮影画像の生成処理の説明図を表す。
実施形態1又は実施形態2では、画像表示装置として画像投影装置であるプロジェクター100を採用し、プロジェクター100からの投影画像が遮蔽物200で遮られたときの投影画像内における遮蔽物200の領域を抽出する例について説明したが、本発明はこれに限定されるものではない。
Claims (11)
- 表示画面とカメラとの間に存在するユーザーの手を被検出物として検出し、検出された前記被検出物のうち前記ユーザーの指先に該当する位置を指示位置として検出し、前記指示位置に対応した所定に処理を行う画像処理装置であって、
前記表示画面に表示されたモデル画像を、前記被検出物により遮られることなく前記カメラにより撮影した撮影情報に基づき、画像データから推定撮影画像を生成する推定撮影画像生成部と、
前記画像データに基づいて前記表示画面に表示される表示画像を、前記被検出物により遮られた状態で前記カメラにより撮影した撮影画像と、前記推定撮影画像との差分に基づいて、前記表示画像内で前記被検出物により遮られた被検出物領域を検出する被検出物検出部と、
前記被検出物検出部により検出された前記被検出物領域のうち前記ユーザーの指先に該当する位置を指示位置として検出し、前記指示位置に対応した所定の処理を行うアプリケーション処理部と、を含むことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記モデル画像は、複数種類のグレイ画像を含み、
前記推定撮影画像生成部は、前記表示画面に表示された前記複数種類のグレイ画像を前記カメラにより撮影した複数種類の撮影グレイ画像を用いて、前記画像データに対応した前記表示画像の画素値を画素毎に推定した前記推定撮影画像を生成することを特徴とする画像処理装置。 - 請求項1又は2に記載の画像処理装置において、
前記撮影画像から前記表示画像の領域を抽出すると共に、前記撮影画像内の前記表示画像の形状を前記推定撮影画像の形状に揃える画像領域抽出部を含み、
前記被検出物検出部が、前記画像領域抽出部によって抽出された前記表示画像と前記推定撮影画像との画素毎の比較結果に基づいて、前記被検出物領域を検出することを特徴とする画像処理装置。 - 請求項1又は2に記載の画像処理装置において、
前記推定撮影画像生成部が、前記推定撮影画像の形状を前記撮影画像内の前記表示画像の形状に揃え、
前記被検出物検出部が、前記撮影画像内の前記表示画像と前記推定撮影画像との画素毎の比較結果に基づいて、前記被検出物領域を検出することを特徴とする画像処理装置。 - 請求項3又は4に記載の画像処理装置において、
前記表示画面に表示された所与の初期化用画像を前記カメラにより撮影した撮影画像内の前記初期化用画像の四隅の位置に基づいて、前記推定撮影画像又は前記表示画像の形状を揃えることを特徴とする画像処理装置。 - 請求項1乃至5のいずれか1項に記載の画像処理装置において、
前記表示画面は、スクリーンであり、
前記表示画像は、前記画像データに基づいて前記スクリーンに投影された投影画像であることを特徴とする画像処理装置。 - 請求項1乃至6のいずれか1項に記載の画像処理装置において、
前記アプリケーション処理部は、前記指示位置に表示されたアイコン画像を前記指示位置の移動軌跡に従って移動させることを特徴とする画像処理装置。 - 請求項1乃至6のいずれか1項に記載の画像処理装置において、
前記アプリケーション処理部は、前記指示位置の移動軌跡に従って前記表示画面内に所定の色及び太さのラインを描画することを特徴とする画像処理装置。 - 請求項1乃至6のいずれか1項に記載の画像処理装置において、
前記アプリケーション処理部は、前記指示位置に表示されたアイコン画像に関連付けられた所定の処理を実行することを特徴とする画像処理装置。 - 請求項1乃至9のいずれか1項に記載の画像処理装置と、
前記表示画面に表示された画像を撮影する前記カメラと、
前記モデル画像又は前記表示画像の画像データに基づいて画像を表示する画像表示装置と、を含むことを特徴とする画像表示システム。 - 表示画面とカメラとの間に存在する被検出物としてのユーザーの指先を画像処理により検出し、検出された前記指先の位置を指示位置として検出し、前記指示位置に対応した所定の処理を行う画像処理方法であって、
前記表示画面に表示されたモデル画像を、前記被検出物により遮られること無く前記カメラにより撮影した撮影情報に基づき、画像データから推定撮影画像を生成する推定撮影画像生成ステップと、
前記画像データに基づいて前記表示画面に表示画像を表示する画像表示ステップと、
前記画像表示ステップにおいて前記表示画面に表示される前記表示画像を、前記被検出物により遮られた状態で前記カメラにより撮影する表示画像撮影ステップと、
前記表示画像撮影ステップにおいて撮影された撮影画像と、前記推定撮影画像との差分に基づいて、前記表示画像内で前記被検出物により遮られた被検出物領域を検出する被検出物検出ステップと、
前記被検出物検出ステップにおいて検出された前記被検出物領域のうち前記ユーザーの指先に該当する位置を指示位置として検出し、前記指示位置に対応した所定の処理を行うアプリケーション処理ステップと、を含むことを特徴とする画像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010004171A JP5560721B2 (ja) | 2010-01-12 | 2010-01-12 | 画像処理装置、画像表示システム、及び画像処理方法 |
US12/985,472 US20110169776A1 (en) | 2010-01-12 | 2011-01-06 | Image processor, image display system, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010004171A JP5560721B2 (ja) | 2010-01-12 | 2010-01-12 | 画像処理装置、画像表示システム、及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011145765A true JP2011145765A (ja) | 2011-07-28 |
JP5560721B2 JP5560721B2 (ja) | 2014-07-30 |
Family
ID=44258177
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010004171A Active JP5560721B2 (ja) | 2010-01-12 | 2010-01-12 | 画像処理装置、画像表示システム、及び画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20110169776A1 (ja) |
JP (1) | JP5560721B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012064214A (ja) * | 2010-09-15 | 2012-03-29 | Sharp Corp | 画像表示方法、共有ボードシステム |
JP2014063265A (ja) * | 2012-09-20 | 2014-04-10 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
JP2016027503A (ja) * | 2013-10-08 | 2016-02-18 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、その制御方法、及びプログラム、並びに、投影システム、その制御方法、及びプログラム |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110145725A1 (en) * | 2009-12-11 | 2011-06-16 | Richard John Campbell | Methods and Systems for Attaching Semantics to a Collaborative Writing Surface |
JP5927541B2 (ja) * | 2011-06-08 | 2016-06-01 | パナソニックIpマネジメント株式会社 | 画像処理装置および画像処理方法 |
AU2011204946C1 (en) * | 2011-07-22 | 2012-07-26 | Microsoft Technology Licensing, Llc | Automatic text scrolling on a head-mounted display |
JP5912065B2 (ja) | 2012-06-01 | 2016-04-27 | 株式会社Pfu | 画像処理装置、画像読取装置、画像処理方法及び画像処理プログラム |
JP5894506B2 (ja) | 2012-06-08 | 2016-03-30 | 株式会社Pfu | 画像処理装置、画像読取装置、画像処理方法及び画像処理プログラム |
CN103974058A (zh) * | 2013-01-24 | 2014-08-06 | 鸿富锦精密工业(深圳)有限公司 | 影像噪声分析系统及方法 |
CN104516592B (zh) * | 2013-09-27 | 2017-09-29 | 联想(北京)有限公司 | 信息处理设备和信息处理方法 |
JP6822209B2 (ja) * | 2017-02-24 | 2021-01-27 | セイコーエプソン株式会社 | プロジェクターおよびプロジェクターの制御方法 |
EP3588247B1 (en) * | 2017-02-24 | 2023-07-12 | Sony Group Corporation | Information processing device, information processing method, and program |
CN108288264B (zh) * | 2017-12-26 | 2022-01-18 | 横店集团东磁有限公司 | 一种广角摄像头模组脏污测试方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000298544A (ja) * | 1999-04-12 | 2000-10-24 | Matsushita Electric Ind Co Ltd | 入出力装置と入出力方法 |
JP2008251026A (ja) * | 2003-07-02 | 2008-10-16 | Seiko Epson Corp | 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 |
JP2008271096A (ja) * | 2007-04-19 | 2008-11-06 | Mitsubishi Denki Micom Kiki Software Kk | 画像データのグレーバランス補正方法、画像データのグレーバランス補正装置および記憶媒体 |
JP2009064110A (ja) * | 2007-09-04 | 2009-03-26 | Canon Inc | 画像投影装置及びその制御方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6346933B1 (en) * | 1999-09-21 | 2002-02-12 | Seiko Epson Corporation | Interactive display presentation system |
JP4150924B2 (ja) * | 2003-07-02 | 2008-09-17 | セイコーエプソン株式会社 | 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 |
JP4009850B2 (ja) * | 2002-05-20 | 2007-11-21 | セイコーエプソン株式会社 | 投写型画像表示システム、プロジェクタ、プログラム、情報記憶媒体および画像投写方法 |
JP4664665B2 (ja) * | 2004-12-22 | 2011-04-06 | オリンパスイメージング株式会社 | デジタルプラットフォーム装置 |
GB2442050A (en) * | 2006-08-29 | 2008-03-26 | Micron Technology Inc | Image pixel value correction |
US9377874B2 (en) * | 2007-11-02 | 2016-06-28 | Northrop Grumman Systems Corporation | Gesture recognition light and video image projector |
-
2010
- 2010-01-12 JP JP2010004171A patent/JP5560721B2/ja active Active
-
2011
- 2011-01-06 US US12/985,472 patent/US20110169776A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000298544A (ja) * | 1999-04-12 | 2000-10-24 | Matsushita Electric Ind Co Ltd | 入出力装置と入出力方法 |
JP2008251026A (ja) * | 2003-07-02 | 2008-10-16 | Seiko Epson Corp | 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 |
JP2008271096A (ja) * | 2007-04-19 | 2008-11-06 | Mitsubishi Denki Micom Kiki Software Kk | 画像データのグレーバランス補正方法、画像データのグレーバランス補正装置および記憶媒体 |
JP2009064110A (ja) * | 2007-09-04 | 2009-03-26 | Canon Inc | 画像投影装置及びその制御方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012064214A (ja) * | 2010-09-15 | 2012-03-29 | Sharp Corp | 画像表示方法、共有ボードシステム |
JP2014063265A (ja) * | 2012-09-20 | 2014-04-10 | Casio Comput Co Ltd | 画像処理装置、画像処理方法及びプログラム |
JP2016027503A (ja) * | 2013-10-08 | 2016-02-18 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、その制御方法、及びプログラム、並びに、投影システム、その制御方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20110169776A1 (en) | 2011-07-14 |
JP5560721B2 (ja) | 2014-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5560721B2 (ja) | 画像処理装置、画像表示システム、及び画像処理方法 | |
JP5197777B2 (ja) | インターフェイス装置、方法、およびプログラム | |
JP6153564B2 (ja) | カメラとマーク出力とによるポインティング装置 | |
JP5088018B2 (ja) | 画像処理装置及び制御プログラム | |
CN110214340B (zh) | 使用rgb色彩数据的结构光深度图的细化 | |
JP5966535B2 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
JP2011170840A (ja) | 画像処理装置及び電子機器 | |
JP2011081775A (ja) | 投影画像領域検出装置 | |
TW201707438A (zh) | 電子裝置及影像處理方法 | |
US9552074B2 (en) | Method and system for generating user feedback of a gesture capturing device | |
JP6354385B2 (ja) | 表示装置、表示方法およびプログラム | |
US9946333B2 (en) | Interactive image projection | |
JP2010272078A (ja) | 電子情報ボードシステム、電子情報ボード制御装置およびカーソル制御方法 | |
JP2011090606A (ja) | 画像処理装置、画像表示システム、及び画像処理方法 | |
US9774791B2 (en) | Method and related camera device for generating pictures with object moving trace | |
JP2018055685A (ja) | 情報処理装置、その制御方法、プログラム、および記憶媒体 | |
JP2013153392A (ja) | 画像処理装置および画像処理方法、プログラム | |
JP2022138883A (ja) | 画像生成方法、制御方法、および情報処理装置 | |
JP2013257643A (ja) | 画像処理システム及びプログラム | |
JP6057407B2 (ja) | タッチ位置入力装置及びタッチ位置入力方法 | |
JP6679430B2 (ja) | 撮像装置、撮像装置の制御方法及びプログラム | |
JP2018032991A (ja) | 画像表示装置、画像表示方法及び画像表示用コンピュータプログラム | |
WO2018214284A1 (zh) | 一种应用于终端的拍摄图像的方法及终端设备 | |
JP2019192997A (ja) | 投影制御装置及び投影制御方法 | |
CN111625210A (zh) | 一种大屏控制方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120201 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131015 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140513 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140526 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5560721 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |