JP2001282428A - 情報処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 ムービーカメラの機能と携帯型コンピュータ
の機能を併せ持つとともに、操作性が良好な情報処理装
置を提供すること。 【解決手段】 ディジタルビデオムービーを構成する要
素に、眼鏡型表示部４，プリズム５を設けてステレオ画
像として仮想キーボード９を提供する機能を付加し、該
仮想キーボード９に対する操作者の手指の動きをディジ
タルビデオムービーに備わっている撮像部を用いて撮影
することで打鍵を認識する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】

【０００２】本発明は情報処理装置に関し、特にカメラ
撮像部を有する携帯型の情報処理装置である携帯型コン
ピュータに、ディジタルビデオムービーないしディジタ
ルスチルカメラの機能を併せ持たせた情報処理装置に関
するものである。

【０００３】

【従来の技術】近年ディジタルムービーカメラが一般化
しつつある。ところで、このディジタルムービーカメラ
は、あくまでアナログムービーカメラの延長上にあり、
アナログとディジタルの違いは、カメラから取り込んだ
画像をアナログ形式で記録するか、あるいはディジタル
形式で記録するかの差でしかない。しかしながら、パー
ソナルコンピュータでマルチメディアが扱われるように
なってくると、カメラで撮像したデータを文書に添付し
たり、あるいはＨＴＭＬ(ハイパーテキスト)文章のよう
な動画を含めた表現形式が生まれてきた。

【０００４】また、記録媒体も、テープからディスクへ
の流れが一般化し、画像記録をディジタルディスクで記
録するということも一般的になってきた。この意味で
は、カメラとディジタル信号処理とディスク媒体とモニ
タというディスクムービーカメラと、コンピュータとの
構成の違いは、コンピュータにカメラがついているか、
あるいはディスクムービーカメラにキーボードとマウス
がついているかの違いであって、さらに近年のマルチメ
ディアの流れから、カメラさえもコンピュータにとって
必須になりつつある。

【０００５】

【発明が解決しようとする課題】従来の情報処理装置は
以上のように構成されており、ディスクムービーカメラ
と共通する構成要素が多く、ディスクムービーカメラを
携帯型コンピュータとして兼用することも考えられる
が、携帯型コンピュータにとって良好な操作感を得るた
めには大きなキーボードと大きなディスプレイが必要と
され、これらはディスクムービーカメラとして携帯する
のに適さないものであった。

【０００６】本発明は以上のような状況に鑑みてなされ
たもので、ディスクムービーカメラの機能と携帯型コン
ピュータの機能を併せ持つとともに、操作性が良好な情
報処理装置を提供することを目的とする。

【０００７】

【課題を解決するための手段】本発明の請求項１にかか
る情報処理装置は、操作者の手指の光学像を撮像する撮
像手段と、上記撮像手段の出力信号から上記操作者の手
指の位置を信号処理して上記操作者の手指の三次元位置
を特定するディジタル信号処理手段と、仮想キーボード
画面を提供するキーボード画像画面発生手段と、上記提
供される仮想キーボードと、上記ディジタル信号処理手
段により特定される操作者の手指の位置から、上記仮想
キーボードに対応した操作者の特定の文字への打鍵動作
を検出する計算機手段と、上記計算機手段による計算結
果を仮想画面として表示するための計算結果表示手段
と、上記提供される仮想キーボードの画面に操作者の手
指を、上記仮想キーボードと上限関係を持って表示する
表示手段とを備えたものである。

【０００８】また、本発明の請求項２にかかる情報処理
装置は、上記請求項１記載の情報処理装置において、上
記仮想キーボードとともに仮想タブレット画面を発生す
る仮想タブレット画面発生手段を備えたものである。

【０００９】また、本発明の請求項３にかかる情報処理
装置は、上記請求項１記載の信号処理装置において、上
記仮想キーボード提供手段により提供された仮想キーボ
ード画面を上記表示手段に提供することにより、上記仮
想キーボード画面を上記操作者に対して立体的に表示す
るための光学手段を備え、上記光学手段によって光路を
少なくとも２経路以上に分割し、上記カメラ撮像手段の
単一撮像素子に撮像した２光路以上の画像を記録するよ
うにしたものである。

【００１０】また、本発明の請求項４にかかる情報処理
装置は、上記請求項１記載の情報処理装置において、上
記表示手段部は、単眼毎に着脱する着脱機構部を備えた
ものである。

【００１１】また、本発明の請求項５にかかる情報処理
装置は、上記請求項１記載の情報処理装置において、少
なくとも上記操作者の打鍵操作を検出した時に操作者に
音で伝える打鍵音発生手段を備えたものである。

【００１２】

【発明の実施の形態】実施の形態１．以下、本発明の実
施の形態１による情報処理装置について、図１から図３
を用いて説明する。図１は本実施の形態１の情報処理装
置の使用時の全体的な構成を示す図であり、図におい
て、１はその内部に記憶装置や処理装置、後述する撮像
部を収納する筐体である本体部である。２は撮像部のレ
ンズ部、３はその一方の端部が上記本体部１の側面に保
持された支えフレームであって、本体部１より取り外し
可能な接合部をもっている。また、４は上記支えフレー
ム３の他方の端部に設けられた眼鏡型表示部であって、
支えフレーム３を上記本体部１から取り外して折り返す
ことによって表示部のフレームとなり、また裏面はミラ
ー加工されている。５はプリズムであり、上記表示部４
のミラー部に写る画像を撮像部のレンズ部２に導くよう
にレンズ部２の近傍の本体部１側面に配置されている。
ここで、図１に示すような手指の撮像においては、レン
ズ部２のレンズを近接撮影に設定する。

【００１３】また、６は本体部１の側面部分に設けられ
たリムーバブルディスク挿入口であり、７は本体部１か
らの画像出力信号を眼鏡型表示部４に供給するケーブル
である。

【００１４】以上のような構成を用いて、撮像部のカメ
ラは、正面の手指と上面からの手指の撮像を行い、この
画像は同一の撮像素子の分かれた領域に結像する。また
本体部１の図示しない信号処理回路と計算機回路からの
出力像は眼鏡型表示部４に表示される。

【００１５】図２は上記眼鏡型表示部４に表示される画
面の例を示す。図において、４'は眼鏡型表示部４の画
面であり、ステレオ画像として操作者の目には１画面に
見えている。このとき、８は本体１の内部の計算機の出
力画面のウインドウであり、９は計算機のメモリにある
データから作られた仮想的なキーボード文字板の合成画
像である。上記計算機の出力画面のウインドウ８は、計
算機部１３によって作成されて、メモリ部１４から読み
出した仮想的なキーボード文字板の合成画像９とともに
眼鏡型表示装置１６（図３参照）に与えられる。

【００１６】また、１０は手指の撮像画像であって、撮
像部からの出力画像から作られたものである。撮像部で
撮影された手指の外形は計算機によって切り出され、背
景である仮想キーボード文字を隠蔽するように表示す
る。

【００１７】また手指による打鍵は、正面のカメラ画像
と上面からのカメラ画像から手指の三次元位置を確定
し、仮想キーボード９を基準として一定以下の低さに指
が位置し、かつ時間的に過去の画像と現在の画像とを比
較して手指の加速度を計算して、手指の動作が打鍵であ
るかどうかを知る。

【００１８】図３は本体部１の内部の信号処理系を中心
としたより詳細な構成を示すブロック図である。図にお
いて、１１はカメラ部である。１２はカメラ部１１と接
続するカメラ信号処理部であり、ここでは最初にカメラ
部１１で撮像された信号に対してＡＤ変換を行ってデー
タの２値化を行う。また、１３は各種演算を行うための
計算機部である。１４は計算機部１３に接続されたメモ
リ部であり、計算機部１３で演算処理を行う際の一時的
な記憶領域として使用される。１５は計算機部１３に接
続された光ディスク部である。１６は計算機部１３に接
続された眼鏡型表示（装置）部、１７は計算機部１３に
接続されたインターフェース部であって、本体部からの
スイッチ信号やカメラ部１１からの信号等を計算機部１
３に供給するためのインターフェイスである。

【００１９】以上の構成において、カメラ部１１が撮像
手段を実現し、計算機部１３がディジタル信号処理手
段，キーボード画像画面発生手段，計算機手段，計算結
果表示手段を実現し、眼鏡型表示装置部１６が表示手段
を実現するものとなっている。

【００２０】次に動作について説明する。カメラの信号
正面からの画像と上面からの画像とが同一の撮像素子
（ここではＣＣＤ）面に結像する。このうち上面からの
画像から手の形を、計算機１３による画像処理により背
景より、切り出す。そして、切り出した手の形の画像
は、視点を変えるための画像処理を行った後、光ディス
ク部１５から読み出してメモリ１４の中に一旦蓄えられ
ている仮想キーボード画像と重ね、手指画像を優先して
表示する。この仮想キーボード画像は本体１の設置され
た机上のキーボードが物理的配置された場合の仮想位置
に表示し、かつ前記物理位置に手指が操作されたとして
画像の歪みを前記計算機１３で取り除いて表示するよう
に構成する。また、机上における指の位置と上方からの
撮像画像から、各指の打鍵操作を計算で求める。眼鏡型
表示部１６には計算により、３次元的にもとめた視差を
含めて指の位置をステレオ２眼で表示する。なお、図１
のように、やや離れた位置で画面を見る場合は、視差は
あまり問題にならないので、その場合は視差計算はしな
いものとする。

【００２１】このように本実施の形態１によれば、ディ
ジタルビデオムービーを構成する要素に、眼鏡型表示部
４，プリズム５を設けてステレオ画像として仮想キーボ
ード９を提供する機能を付加し、該仮想キーボード９に
対する操作者の手指の動きをディジタルビデオムービー
に備わっている撮像部を用いて撮影することで打鍵を認
識するようにしたから、表示装置，及び大きなキーボー
ドを備えることなく、ディジタルビデオムービーと携帯
型コンピュータの両方の機能を有する携帯型情報処理装
置を提供することができる。

【００２２】実施の形態２．図４は本発明の実施例の形
態２による携帯型情報処理装置の仮想キーボードの構成
画面を示す図であり、図において、１８は仮想キーボー
ド９の一部に表示されるタブレットである。このよう
に、本実施の形態２によれば、上部からの手指撮像時の
画像データの仮想キーボード下部に相当する場所に仮想
タブレット１８を表示し、この時、仮想タブレット１８
に置かれた指の位置と動きを計算し、画面上のカーソル
を移動するように構成することで、キーボードと同様に
タブレットの機能を持たせることができ、より操作性を
向上させることができる。

【００２３】実施の形態３．図５は本発明の実施の形態
３による携帯型情報処理装置の使用時の構成を示す図で
あり、カメラ撮像部のレンズ部を２つ設け（２ａ,２
ｂ）て、光路を撮像面で２系統に分けて入力されるよう
に構成し、常にステレオ画像が単一撮像素子の別々の箇
所に写されるようにする。そしてこの信号を図３に示す
ブロック図の回路にて、光ディスク１５に記録する。記
録された画面は左右の２眼に相当する画像となる。この
場合、当然のことながら、２眼の各々の画像は似通って
いるためにディジタル圧縮率は高くすることが可能であ
る。そして、再生時に、図５に示すように、眼鏡式表示
装置４を用いる場合には、一旦記録された画像を２画面
に分割し、それぞれの目に相当する表示ＬＣＤに送る。
もし、通常のディスプレイに表示する場合、一方の画面
画像を表示することで対応することができる。なお、他
方の画像を併用して表示画像のＳ／Ｎを向上させる処理
を行うことも可能である。

【００２４】このように本実施の形態３によれば、２系
統の光路を用いて撮像面を、単一の撮像素子の異なる場
所にそれぞれ撮像されるように構成することにより、ス
テレオ画面を得るためのデータ記憶量を低減することが
できる。

【００２５】なお、本実施の形態では、光路を２つに分
ける場合を例として挙げたが、３つ以上に分けること
で、カメラ撮像部による操作者の手指の動きを撮影する
際の死角がより少なくなり、打鍵操作をより正確に検出
することができるようになる。

【００２６】実施の形態４．図６は本発明の実施の形態
４による携帯型情報処理装置の眼鏡式表示装置の構成を
示す図であり、単眼づつ切り離して使うことができるよ
うに着脱接合部１９を設けたものである。同様に保持部
３’にも着脱機構を設けている。

【００２７】このようにすることで、ＰＤＡなどの携帯
型端末を想定して使用する場合に、仮想キーボードが不
要であるため立体表示を行う必要はなく、単眼形態で使
用することで対応可能である。

【００２８】実施の形態５．図７は本発明の実施の形態
５による携帯型情報処理装置の構成を示すブロック図で
ある。本実施の形態５では、撮像素子からの信号は直接
計算機に入力され計算処理により信号処理される。この
ため、カメラ部からの信号はインターフェース部に内臓
されたＡＤコンバータ１７’を介して計算機に入力され
る。このような構成とすることで、装置を簡略化でき、
小型化を図ることができる。

【００２９】実施の形態６．図８は本発明の実施の形態
６による携帯型情報処理装置の使用時の構成を示す図で
あり、図において、２０は筐体１に着脱自在に取り付け
られたイヤホンである。計算機部１３における画像処理
において打鍵されたと判定した時、イヤホン２０に打鍵
音を出力するように構成することで、操作者に打鍵音を
提供して、打鍵を認識させるようにする。このようにす
ることで、手先での接触間が得られない仮想キーボード
の操作性を向上させることができる。

【００３０】

【発明の効果】以上のように、この発明の請求項１にか
かる情報処理装置によれば、操作者がキーボート入力を
意図した時、光学的に光路を複数分割してカメラ撮像部
画像の一部に操作者の手を撮像し、またさらに別の光路
を用いて操作者の指の３次元位置を得て、打鍵操作を検
出し、操作者の打鍵を補助するキーボード文字画面をコ
ンピュータ対話画面に表示し、かつ操作者による手指の
打鍵操作によってキーボード表面の文字の隠蔽を計算処
理によって判定表示すると共に操作者の手指自体をも眼
鏡型の表示装置によって表示するようにしたので、携帯
機器でありながら据え置き型情報機器と同様な操作感を
得ることができ、操作性が良好な情報処理装置を提供す
ることができるという効果が得られる。

【００３１】また、本発明の請求項２にかかる情報処理
装置によれば、上記仮想キーボードとともに仮想タブレ
ット画面を発生する仮想タブレット画面発生手段を備え
たものとしたので、より操作性を向上することができる
という効果が得られる。

【００３２】また、本発明の請求項３にかかる情報処理
装置によれば、請求項１記載の信号処理装置において、
上記仮想キーボード提供手段により提供された仮想キー
ボード画面を上記表示手段に提供することにより、上記
仮想キーボード画面を上記操作者に対して立体的に表示
するための光学手段を備え、上記光学手段によって光路
を少なくとも２経路以上に分割し、上記カメラ撮像手段
の単一撮像素子に撮像した２光路以上の画像を記録する
ようにしたので、ステレオ画面を得るためのデータ記憶
量を低減することができるという効果が得られる。

【００３３】また、本発明の請求項４にかかる情報処理
装置によれば、請求項１記載の情報処理装置において、
上記表示手段部を、単眼毎に着脱する着脱機構部を備え
たものとしたので、キーボードを必要としない携帯型端
末のような装置にも対応することができるという効果が
ある。

【００３４】また、本発明の請求項５にかかる情報処理
装置によれば、請求項１記載の情報処理装置において、
少なくとも上記操作者の打鍵操作を検出した時に操作者
に音で伝える打鍵音発生手段を備えたものとしたので、
指先での接触感のない仮想キーボードでの打鍵操作を向
上させることができるという効果が得られる。

【図面の簡単な説明】

【図１】本発明の実施例の形態１による情報処理装置の
使用時の全体的な構成を示す図である。

【図２】上記実施の形態１による情報処理装置の眼鏡型
表示部による画面表示画面を示す図である。

【図３】上記実施の形態１による情報処理装置の本体部
内部の信号処理系を中心とした詳細な構成を示すブロッ
ク図である。

【図４】本発明の実施の形態２による携帯型情報処理装
置の仮想キーボードの構成画面を示す図である。

【図５】本発明の実施の形態３によるによる携帯型情報
処理装置の使用時の構成を示す図である。

【図６】本発明の実施の形態４による携帯型情報処理装
置の眼鏡式表示装置の構成を示す図である。

【図７】本発明の実施の形態５によるによる携帯型情報
処理装置の構成を示すブロック図である。

【図８】本発明の実施の形態６による携帯型情報処理装
置の使用時の構成を示す図である。

【符号の説明】

１ 情報処理装置本体部 ２ 撮像部のレンズ部 ３ 表示部の支えフレーム ４ 眼鏡型表示部 ５ プリズム ６ リムーバルディスク挿入口 ７ 信号ケーブル

Claims (5)

【特許請求の範囲】
1. 【請求項１】 操作者の手指の光学像を撮像する撮像手
   段と、 上記撮像手段の出力信号から上記操作者の手指の位置を
   信号処理して上記操作者の手指の３次元位置を特定する
   ディジタル信号処理手段と、 仮想キーボード画面を提供するキーボード画像画面発生
   手段と、 上記提供される仮想キーボードと、上記ディジタル信号
   処理手段により特定される操作者の手指の位置から、上
   記仮想キーボードに対応した操作者の特定の文字への打
   鍵動作を検出する計算機手段と、 上記計算機手段による計算結果を仮想画面として表示す
   るための計算結果表示手段と、 上記提供される仮想キーボードの画面に操作者の手指
   を、上記仮想キーボードと上限関係を持って表示する表
   示手段とを備えたことを特徴とする情報処理装置。
2. 【請求項２】 請求項１記載の情報処理装置において、 上記仮想キーボードとともに仮想タブレット画面を発生
   する仮想タブレット画面発生手段を備えたことを特徴と
   する情報処理装置。
3. 【請求項３】 請求項１記載の信号処理装置において、 上記仮想キーボード提供手段により提供された仮想キー
   ボード画面を上記表示手段に提供することにより、上記
   仮想キーボード画面を上記操作者に対して立体的に表示
   するための光学手段を備え、 上記光学手段によって光路を少なくとも２経路以上に分
   割し、上記カメラ撮像手段の単一撮像素子に撮像した２
   光路以上の画像を記録することを特徴とする信号処理装
   置。
4. 【請求項４】 請求項１記載の情報処理装置において、 上記表示手段部は、単眼毎に着脱する着脱機構部を備え
   たことを特徴とする情報処理装置。
5. 【請求項５】 請求項１記載の情報処理装置において、 少なくとも上記操作者の打鍵操作を検出した時に操作者
   に音で伝える打鍵音発生手段を備えたことを特徴とする
   情報処理装置。