JP2017045407A

JP2017045407A - 情報処理装置

Info

Publication number: JP2017045407A
Application number: JP2015169628A
Authority: JP
Inventors: 中津　治彦; Haruhiko Nakatsu; 治彦中津
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-08-28
Filing date: 2015-08-28
Publication date: 2017-03-02
Also published as: WO2017038025A1; US20180249055A1

Abstract

【課題】装置の大型化を抑制しつつ良好な画像の読取が行える情報処理装置を提供する。【解決手段】撮像面の付近の被検出物の動きを検出するジェスチャセンサと、撮像面に載置された対象物を撮影するカメラとを備える情報処理装置において、ジェスチャセンサのレンズ１０７ｂの光軸を通る光線Ｓａの光路長は、カメラの光線Ｉａの光路長よりも短くする（Ｉａ＞Ｓａ）。【選択図】図５

Description

本発明は、対象物を撮像する第二の撮像部と、ユーザの動きを検出するための第一の撮像部を有する情報処理装置に関する。

プロジェクタによって投影された映像に対し、ユーザのジェスチャを認識することによって直感的な操作を行うユーザインターフェースシステムが利用されている。こうしたシステムでは、タッチパネルや映像認識技術を利用して投影映像に対するユーザのジェスチャを認識する。

特許文献１は、テーブル等の被投影体に投影部から映像を投影し、ユーザが投影画像に対して行う手の動きを第１のカメラで撮影・解析し、手の動きに応じた画像を投影部から投影面に投影するインタラクティブプロジェクタが開示されている。また、投影面に置かれた文字情報などを記録する場合には、第２のカメラで撮影することで画像を記録することができる。

特開２０１４−２０４１９６号公報

ここで、対象物をカメラが正しく読み取れるかどうかの指標として被写界深度がある。被写界深度が深いほど対象物に対してピントが合う範囲が広くなる。カメラの被写界深度を深くするためには、カメラの光路長を伸ばすことが考えられる。カメラで撮影する画像が文書原稿などである場合には撮影画像全域において文字などを正しく読み取るために深い被写界深度が求められる。撮影画像に対してＯＣＲ（ＯｐｔｉｃａｌＣｈａｒａｃｔｅｒＲｅａｄｅｒ）処理を行う場合はなお一層その必要性は高まる。特許文献１に示される装置構成では、第１のカメラ、第２のカメラは装置上部に配設されている。光路長を伸ばすためには、カメラを高い位置に配置することで、対象物とカメラとの距離を長くする方法が考えられる。しかしながら、この様な構成では、装置の高さ方向の大きさが大きくなってしまう。

本発明は上述した課題に鑑みてなされたものであり、その目的は装置の大型化を抑制しつつ第二の撮像手段によって、良好な画像を取得すことができる情報処理装置を提供することである。

上記課題を解決する情報処理装置は、第一の撮像素子を備え、撮像面の付近の被検出物の動きを検出する第一の撮像手段と、第二の撮像素子を備え、撮像面に載置された対象物を撮影する第二の撮像手段と、前記撮像面に載置された対象物を前記第二の撮像手段により撮影するために前記対象物から前記撮像手段までの光路の間に配置される撮像ミラーと、を備え、前記第二の撮像素子の光路長＞前記第一の撮像素子の光路長、を満たすことを特徴とする情報処理装置。

本発明によれば、装置の大型化を抑制しつつ第二の撮像手段によって、良好な画像を取得することができる情報処理装置を提供することができる。

実施形態１に係る情報処理装置の使用状態を示す概略図。実施形態１に係る情報処理装置の構成を示す図。実施形態１に係るプロジェクタのブロック図を示す図。実施形態１に係る情報処理装置の斜視図。実施形態１に係るカメラ、ジェスチャセンサの断面模式図。実施形態１に係るプロジェクタの断面模式図。実施形態１に係る情報処理装置を上方からみた模式図。

（実施形態１）
以下、本発明の実施形態１について、添付図面を参照して詳細に説明する。ただし、以下の実施形態に記載されている構成要素はあくまで例示であり、本発明の範囲をそれらのみに限定するものではない。

≪情報処理装置１０９の使用状態≫
図１に本実施形態における情報処理装置１０９の使用状態を表す図を示す。
情報処理装置１０９は、投影手段であるプロジェクタ１０６、第一の撮像手段であるジェスチャセンサ１０７、第二の撮像手段であるカメラ１０５、及びレンズ鏡筒１３２を備える。（図２（Ａ）、図４参照）

プロジェクタ１０６は投影面１１０に画像１１１を投影する。（なお、後述する撮像面３０１と投影面１１０は同義であるので、投影面１１０で説明をする。）
ユーザはこの画像１１１に対して操作を行う。投影された画像１１１にはメニューボタン１２２が含まれており、ユーザは手指を使って電源のＯＮ／ＯＦＦやその他の操作選択を行っていく。ユーザによる操作選択は、ジェスチャセンサ１０７によって検出され、インターフェースとして機能する。

ユーザが書類等を撮像をしたい時には、投影面１１０に撮影したい対象物（書類等）を設置し、カメラ１０５によって画像を撮影する。

装置本体において画像投影する側を手前側とし、反対側を奥側、それぞれの側面は装置本体を手前側から見た状態で右側、左側とする。

≪情報処理装置１０９の説明≫
図２（Ａ）は、本実施形態における情報処理装置のハードウェア構成を示す図である。図２（Ａ）において、マイクロコンピュータからなるＣＰＵ１０１は、各種処理のための演算や論理判断などを行い、システムバス１０８に接続された各構成要素を制御する。ＲＯＭ１０２は、プログラムメモリであって、ＣＰＵ１０１による制御のためのプログラムを格納する。ＲＡＭ１０３は、データメモリであり、ＣＰＵ１０１の上記プログラムのワーク領域、エラー処理時のデータの退避領域、上記制御プログラムのロード領域などを有する。記憶装置１０４はハードディスクや外部に接続された記憶装置などからなり、本実施形態に係る電子データなどの各種データやプログラムを記憶する。第二の撮像手段としてのカメラ１０５は、ユーザが操作を行う作業空間を撮像し、入力画像としてシステムに提供する。投影手段としてのプロジェクタ１０６は作業空間に電子データやユーザインタフェース部品を含む映像を投影する。第一の撮像手段としてのジェスチャセンサ１０７は、ＲＧＢあるいはモノクロのＣＣＤカメラである。ジェスチャセンサ１０７は、作業空間にあるユーザの手などの被検出物の動きを検知し、その検知に基づいて、ユーザが投影面１１０（図１参照）に投影されている操作ボタン等にタッチしたかを検知する。本実施形態において、投影面１１０は、情報処理装置の下方に位置する平面であり、例えば、情報処理装置１０９が置かれるテーブルの面である。なお、情報処理装置１０９の一部に、プロジェクタ１０６からの画像を投影できるように投影面１１０を設けるような構成としてもよい。

図２（Ｂ）は、本実施形態における情報処理装置の機能構成を示す図である。図２（Ｂ）において、カメラ１０５は、投影面１１０に置かれた対象物、例えばユーザが手書きで書いた文書などを撮影し、その文字などを判断する。また、プロジェクタ１０６は、投影面１１０（図１参照）に、ユーザインタフェース等の画面を投影する。プロジェクタ１０６は、カメラ１０５により撮影された画像を投影することも可能である。ジェスチャセンサ１０７は、投影面１１０（図１参照）上の作業空間において、プロジェクタ１０６により投影面１１０に投影されたユーザインタフェース等に対するユーザの手などによる操作を検知する。ユーザの手などによりユーザインタフェースが操作されると、プロジェクタ１０６により投影される画像を変更したり、カメラ１０５による撮影を行ったりする。検出部２０２は、ＣＰＵ、ＲＯＭ、ＲＡＭ（以下、ＣＰＵ１０１等）によって構成され、ジェスチャセンサ１０７による検知信号により、ユーザの手が存在する領域、及びユーザの手の指が存在する領域を検出する。以降、ユーザの手指（被検出物）を検出する、と言う。

認識部２０３は、ＣＰＵ等によって構成され、ジェスチャセンサ１０７及び検出部２０２によって検出されたユーザの手と指を追跡し、ユーザが行うジェスチャ操作を認識する。識別部２０４は、ＣＰＵ等によって構成され、認識部２０３によって認識された操作を実行した指がユーザのどの指であるかを識別する。保持部２０５は、ＣＰＵ等によって構成され、ＲＡＭ１０３に設けられる記憶領域に、投影されている電子データに含まれるオブジェクトのうち、ユーザがジェスチャ操作で指定したオブジェクトの情報を、ジェスチャ操作に用いられた指に関連付けて保持する。受付部２０６は、ＣＰＵ等によって構成され、認識部２０３が認識したジェスチャ操作によって、電子データに対して指示された編集操作を受け付け、必要に応じて記憶装置１０４に記憶された電子データを更新する。記憶装置１０４は、編集操作の対象となる電子データを記憶する。ＣＰＵ１０１は、認識部２０３によって認識されたジェスチャに応じて保持部２０５に保持されている情報を参照し、作業空間に投影される投影画像を生成する。プロジェクタ１０６は、ＣＰＵ１０１によって生成された投影映像を、投影面１１０と投影面付近のユーザの手を含む作業空間に投影する。

≪プロジェクタ１０６のブロック図≫
図３にプロジェクタ１０６のブロック図を示す。

プロジェクタ１０６は液晶制御部１５０、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂ、光源制御部１６０、光源１６１、色分離部１６２、色合成部１６３、光学系制御部１７０、投影光学系１７１を有する。

液晶制御部１５０は、画像処理部１４０で処理の施された画像信号に基づいて、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂの画素の液晶に印可する電圧を制御して、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂの透過率を調整する。

液晶制御部１５０は、制御用のマイクロプロセッサからなる。

画像処理部１４０に画像信号が入力されている場合、液晶制御部１５０は、画像処理部１４０から１フレームの画像を受信する度に、画像に対応する透過率となるように、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂを制御する。

液晶素子１５１Ｒは、赤色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、赤色の光の透過率を調整するためのものである。

液晶素子１５１Ｇは、緑色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、緑色の光の透過率を調整するためのものである。

液晶素子１５１Ｂは、青色に対応する液晶素子であって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、青色の光の透過率を調整するためのものである。

光源制御部１６０は、光源１６１のオン／オフの制御や光量の制御をするものであり、制御用のマイクロプロセッサからなる。

光源１６１は、投影面に画像を投影するための光を出力するものであり、例えばハロゲンランプである。

色分離部１６２は、光源１６１から出力された光を、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離するものであり、例えば、ダイクロイックミラーである。

光源１６１として、各色に対応するＬＥＤ等を使用する場合には、色分離部１６２は不要である。

色合成部１６３は、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂを透過した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光を合成するものであり、例えば、ダイクロイックミラーである。

色合成部１６３により赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の成分を合成した光は、投影光学系１７１に送られる。

液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂは、画像処理部１４０から入力された画像に対応する光の透過率となるように、液晶制御部１５０により制御されている。

色合成部１６３により合成された光は、投影光学系１７１によりスクリーンに投影されると、画像処理部１４０により入力された画像に対応する画像が投影面上に表示されることになる。

光学系制御部１７０は、投影光学系１７１を制御するものであり、制御用のマイクロプロセッサからなる。

投影光学系１７１は、色合成部１６３から出力された合成光を投影面に投影するためのものである。投影光学系１７１は、複数のレンズからなる。

光源ユニット１１９は光源１６１、色分離部１６２、液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂ、色合成部１６３で構成される。

≪プロジェクタ１０６の構成≫
図４は、情報処理装置１０９の全体斜視図である。図４を用いてプロジェクタ１０６の構成を説明する。

プロジェクタ１０６は、光源ユニット１１９、投影光学系１７１を格納する鏡筒部１１５を備えている。

光源ユニット１１９と鏡筒部１１５は、屈曲部１３５を介して接続されている。光源ユニット１１９は屈曲部１３５の奥側に配置される。屈曲部１３５の位置に反射ミラー１３６（図６参照）が配置されている。

反射ミラー１３４は、鏡筒部１１５の上方手前側に配置される。反射ミラー１３４は、光を投影面１１０に向けて反射し、投影面１１０に画像を投影する。屈曲部１３５に配置された反射ミラー１３４は、光源ユニット１１９から出た光を反射ミラー１３４に向けて反射する。

光源ユニット１１９の周辺には冷却機構１３７が設けられており、光源ユニット１１９から発生した熱を放熱する。

図６はプロジェクタの断面模式図である。図６において、液晶素子１５１Ｒのみ記載し、液晶素子１５１Ｇ、１５１Ｂは記載を省略する。投影面１１０と液晶素子１５１Ｒ、１５１Ｇ、１５１Ｂは共役の関係にあり、各液晶素子から色合成部１６３および投影光学系１７１を通って反射ミラー１３４で反射された光線が投影面１１０に至る。投影面１１０に画像を投影する際に、投影面１１０の中央部に向かう光線をＪａとする。プロジェクタ１０６の光路長は、光線Ｊａの光路長で定義される。光路長Ｊａは、投影面１１０と交わる点Ｒａ１と反射ミラー１３４の反射面と交わる点Ｒａ２の距離と、反射ミラー１３４の反射面と交わる点Ｒａ２と屈曲部１３５内に設けられた反射ミラー１３６の反射面と交わる点Ｒａ３の距離と、反射ミラー１３６の反射面と交わる点Ｒａ３と液晶素子１５１Ｒの距離の和とする。

≪カメラ１０５、レンズ鏡筒１３２の構成≫
図４及び図５を用いてカメラ１０５等の構成を説明する。

カメラ１０５は、第二の撮像素子としてのＣＣＤセンサ１１４（図５参照）を備える。台座１１２にはメインフレーム１１３が固定されている。メインフレーム１１３にはカメラアタッチメント１３０が固定されている。カメラ１０５は、カメラアタッチメント１３０を介してカメラマウント１３１に取り付けられる。カメラマウント１３１には、第２の撮像光学系である複数のレンズ２０７（図５参照）を組み込んだレンズ鏡筒１３２が取り付けられる。撮像ミラー１１７は凹形状の曲面ミラーであり、メインフレームに組み付けられている。撮像ミラー１１７はレンズ２０７の光軸より奥側に配置される。

投影面１１０に載置された対象物をカメラで読み取る際には、対象物の像は、撮像ミラー１１７でレンズ鏡筒１３２へと反射させられ、レンズ鏡筒内１３２の内側のレンズ２０７を通り、ＣＣＤセンサ１１４（図５参照）で画像を読み取られる。

図５はカメラ１０５、ジェスチャセンサ１０７の断面模式図である。図５を用いてカメラ１０５および光路長の説明をする。

ＣＣＤセンサ１１４は投影面１１０に対して略水平になるように取り付けられている。レンズ２０７の光軸は投影面１１０に対して略垂直になるように取り付けられている。

投影面１１０と同一面である撮像面３０１上に載置された対象物の像被写体像は、撮像ミラー１１７および複数のレンズ２０７を通過してＣＣＤセンサ１１４の受光面に結像される。
ＣＣＤセンサ２０８の受光面に結像される像面ＩＭＧは複数のレンズ２０７の光軸に対して図面上右側にずらされている所謂シフト光学系となっている。

撮像面３０１を撮影する際に、撮像面３０１の中央部に向かう光線をＩａとする。撮像面３０１を撮影する際に、撮像面３０１の両外側に向かう光線をそれぞれＩｂ、Ｉｃとする。
カメラ１０５の光路長は、光線Ｉａの光路長で定義される。

光線Ｉａの光路長は撮像面３０１と交わる点Ｐａ１と撮像ミラー１１７の反射面と交わる点Ｐａ２の距離と、撮像ミラー１１７の反射面と交わる点Ｐａ２とＩＭＧ上に結像する点Ｐａ３の距離の和とする。

≪ジェスチャセンサ１０７の構成≫
図４および図５を用いてジェスチャセンサ１０７の構成を示す。

ジェスチャセンサ１０７はメインフレーム１１３に取り付けられている。ジェスチャセンサ１０７は第一の撮像手段であるＣＣＤセンサ１０７ａと樹脂で形成された少なくとも一枚のレンズ１０７ｂ（第一の撮像光学系）を備える。ジェスチャセンサ１０７は撮像ミラー１１７の先端に取り付けられている。

ジェスチャセンサは投影面１１０の上にかざした手指の動きを検知するために、投影面１１０に対して高さ１００ｍｍまでの領域Ａを検出できるように検出領域を確保する必要がある。ジェスチャセンサ１０７は光軸に対して手前奥方向に６０°、左右方向に９０°の画角で手指の動きを認識する。ジェスチャセンサ１０７は、カメラ１０５、プロジェクタ１０６の光線と干渉しない領域に配設されている。

ジェスチャセンサ１０７において、レンズ１０７ｂの光軸を通る光線をＳａとする。

ジェスチャセンサ１０７の光路長は、光線Ｓａの光路長で定義される。光線Ｓａの光路長は撮像面３０１と交わる点Ｑａ１とＣＣＤセンサ１０７ａに結像する点Ｑａ２の間の距離とする。

≪カメラ１０５の光路長、ジェスチャセンサ１０７の光路長の関係≫
図５、図６を用いて、カメラ１０５等の光路長の説明をする。

ここでカメラ１０５の光線Ｉａの光路長と、ジェスチャセンサ１０７の光線Ｓａの光路長とプロジェクタ１０６の光線Ｊａの光路長の関係は以下のとおりとする。

カメラ１０５の光路長＞プロジェクタ１０６の光路長＞ジェスチャセンサ１０７の光路長
カメラ１０５の光路長＞ジェスチャセンサ１０７の光路長である理由を説明する。カメラ１０５は、ＯＣＲが必要な文書画像を読取る場合がある。そのため、撮像ミラー１１７を用いて光線Ｉａの光路長を伸ばし，被写界深度を深くすることにより読取り画像の読取可能な範囲（ピントが合う範囲）を増やしている。一方、ジェスチャセンサ１０７は、ユーザの手指を検出することができればよく、カメラ１０５ほどの精度の高い読取りは要求されない。そのため、ジェスチャセンサ１０７の光線Ｓａの光路長は、カメラ１０５の光線Ｉａの光路長よりも短くしている（Ｉａ＞Ｓａ）。

ジェスチャセンサ１０７の光線Ｓａの光路長を、カメラ１０５の光線Ｉａの光路長のように長くしようとすると、ジェスチャセンサ１０７の光線Ｓａを折り返すためのミラーが必要となる。そうすると、情報処理装置１０９の装置が大型化してしまう。したがって、Ｉａ＞Ｓａの関係を満たすようにすることにより装置の小型化を実現することができる。なお、ここで言う、ジェスチャセンサ１０７の光線Ｓａを折り返すためのミラーは、ジェスチャセンサ１０７の内部に備えられている光学系を指すものではなく、ジェスチャセンサ１０７の外部に設けられるミラーを指す。

また、プロジェクタ１０６の光路長と、カメラ１０５の光路長及びジェスチャセンサ１０７の光路長との関係を説明する。プロジェクタ１０６は、カメラ１０５のような読み取り性能が求められるわけではないため、カメラ１０５ほど光路長を伸ばす必要はない。一方、プロジェクタ１０６は、投影面１１０に対して画像１１１を投影する必要があるため、ジェスチャセンサ１０７よりかは光路長を長く伸ばしておくことが好ましい。そのため、カメラ１０５の光路長＞プロジェクタ１０６の光路長＞ジェスチャセンサ１０７の光路長としている。

≪画角の関係≫
カメラ１０５の画角と、ジェスチャセンサ１０７の画角との関係を図５を用いて説明する。

図５において、カメラ１０５のレンズ２０７の画角をＤＩ、ジェスチャセンサ１０７のレンズ１０７ｂの画角をＤＳとする。

ジェスチャセンサ１０７のレンズ１０７ｂの画角ＤＳは、カメラ１０５のレンズ２０７の画角ＤＩよりも広く設定されている。このようにすることで、Ｉａの光路長＞Ｓａの光路長を満たしつつ、ジェスチャセンサ１０７の読み取り可能領域を、カメラ１０５の読み取り可能領域と略同じ範囲に設定することができる。

≪撮像ミラー１１７と、ジェスチャセンサ１０７との配置構成≫
図７に情報処理装置１０９を上方から視た場合（投影面１１０に対し垂直な方向から視た場合）の模式図を示す。撮像ミラー１１７はレンズ２０７の光軸より奥側に配置されている。そして、撮像ミラー１１７とレンズ２０７と左右方向において並ぶように光源ユニット１１９と反射ミラー１３４は配置されている。また、図５に示されるように、撮像ミラー１１７と、ジェスチャセンサ１０７とは、高さ方向におして少なくとも一部が重なる位置に配置されている。言い換えれば、図５において、奥側から手前側の方向（水平方向）に視た時に、撮像ミラー１１７と、ジェスチャセンサ１０７とは、オーバーラップするように配置されている。このように配置することにより、情報処理装置１０９の、手前奥方向、及び左右方向において装置を小型化するとともに、高さ方向も小型化することができる。

１０５カメラ
１０７ジェスチャセンサ
１３２レンズ鏡筒
１１７撮像ミラー

Claims

第一の撮像素子を備え、撮像面の付近の被検出物の動きを検出する第一の撮像手段と、
第二の撮像素子を備え、撮像面に載置された対象物を撮影する第二の撮像手段と、
前記撮像面に載置された対象物を前記第二の撮像手段により撮影するために前記対象物から前記撮像手段までの光路の間に配置される撮像ミラーと、を備え
前記第二の撮像素子の光路長＞前記第一の撮像素子の光路長
を満たすことを特徴とする情報処理装置。
第一の撮像手段は、第一の撮像光学系を備え、前記第二の撮像手段は第二の撮像光学系を備え、前記第一の撮像光学系の画角は前記第二の撮像光学系の画角より広いことを特徴とする請求項１に記載の情報処理装置。
水平方向に視た時に、前記第一の撮像手段と前記撮像ミラーは、オーバーラップするように配置されていることを特徴とする請求項１又は２に記載の情報処理装置。
前記撮像面に対して画像を投影する投影手段を備え、
前記第二の撮像素子の光路長＞前記投影手段の光路長＞前記第一の撮像素子の光路長
を満たすことを特徴とする請求項１乃至請求項３のいずれか１項に記載の情報処理装置。
前記第一の撮像手段による検知に基づいて、第二の撮像手段の撮像を行うことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。