JP2006155148A - 画像処理システム、プログラム、情報記憶媒体および画像処理方法 - Google Patents

Abstract

【課題】 撮像データに含まれる対象者の上半身の位置を決定する際の汎用性を向上させることができる画像処理システム等を提供すること。
【解決手段】 プレイヤーの上半身を撮像して撮像データ１２６を生成するＵＳＢカメラ２０と、差分画像データ１２８を生成する差分画像生成部１３０と、差分画像データ１２８に基づき、エッジ領域データ１２２を生成するエッジ領域データ生成部１１１と、エッジ領域データ１２２に基づき、ヒストグラムを生成するヒストグラム生成部１１２と、ヒストグラムを構成する所定領域ごとの画素数の差の絶対値を示す差分値を演算する差分値演算部１１３と、肩位置データ生成部１１４と、撮像画像における上半身の位置情報を生成する位置情報生成部１１５とを含んで画像処理システムを構成する。
【選択図】 図３

Description

本発明は、撮像データに含まれる撮像対象者の上半身の位置を決定するための画像処理システム、プログラム、情報記憶媒体および画像処理方法に関する。

一般的に、画像処理装置は、撮像データに含まれる撮像対象者の上半身の位置を決定するために種々の画像処理を実行している。

例えば、特許文献１の画像処理装置は、カメラで順次運転者を撮像し、入力した運転者画像間の差分値を演算し、差分値が一定値以上の部分を顔位置として決定する画像処理を実行している。

より具体的には、特許文献１の画像処理装置は、異なる２時点の運転者画像間の差分値を用いて縦方向および横方向のヒストグラムを算出し、その積分値を演算し、演算結果に基づいて顔の縦方向位置および横方向位置を決定している。
特開平１１−１６１７９８号公報

しかし、特許文献１の画像処理装置は、単純に差分画像を用いているだけであるため、差分値のピーク値を用いても顔位置を決定することは困難である。例えば、運転者が肩を上げ下げしたした場合、特許文献１の画像処理装置は、肩の位置をピーク値として検出し、肩の位置を顔の縦方向位置として誤認識してしまうことになり、汎用性に欠ける。

本発明は、上記課題に鑑みなされたものであり、その目的は、撮像データに含まれる対象者の上半身の位置を決定する際の汎用性を向上させることができる画像処理システム、プログラム、情報記憶媒体および画像処理方法を提供することにある。

上記課題を解決するため、本発明に係る画像処理システムは、撮像対象者の上半身を撮像して撮像画像を示す撮像データを生成する撮像手段と、
複数の異なる時点の撮像データに基づき、差分画像を示す差分画像データを生成する差分画像生成手段と、
前記差分画像データに基づき、前記差分画像内の前記上半身の位置を示す位置情報を生成する情報生成手段と、
を含み、
前記上半身は、頭頂部から肩位置までの頭部分および前記肩位置以下の胴体部分を含み、
前記情報生成手段は、
前記差分画像データに基づき、前記差分画像内のエッジで囲まれる領域であるエッジ領域を示すエッジ領域データを生成するエッジ領域データ生成手段と、
前記エッジ領域データに基づき、前記エッジ領域を構成する各行の画素数を示すヒストグラムを生成するヒストグラム生成手段と、
前記ヒストグラムを構成する所定領域ごとの画素数の差の絶対値を示す差分値を演算する差分値演算手段と、
当該差分値演算手段によって演算された複数の差分値の変化を示すグラフにおいて極大値を有する領域を前記肩位置として決定し、当該肩位置を示す肩位置データを生成する肩位置データ生成手段と、
前記エッジ領域データと、前記肩位置データとに基づき、前記エッジ領域を、前記肩位置を基準として区分することにより、前記位置情報を生成する位置情報生成手段と、
を含むことを特徴とする。

また、本発明に係るプログラムは、撮像部を有するコンピュータを、
前記撮像部に撮像対象者の上半身を撮像させて撮像データを生成する撮像制御手段と、
複数の異なる時点の撮像データに基づき、差分画像を示す差分画像データを生成する差分画像生成手段と、
前記差分画像データに基づき、前記差分画像内の前記上半身の位置を示す位置情報を生成する情報生成手段として機能させるためのプログラムであって、
前記上半身は、頭頂部から肩位置までの頭部分および前記肩位置以下の胴体部分を含み、
前記情報生成手段は、
前記差分画像データに基づき、前記差分画像内のエッジで囲まれる領域であるエッジ領域を示すエッジ領域データを生成するエッジ領域データ生成手段と、
前記エッジ領域データに基づき、前記エッジ領域を構成する各行の画素数を示すヒストグラムを生成するヒストグラム生成手段と、
前記ヒストグラムを構成する所定領域ごとの画素数の差の絶対値を示す差分値を演算する差分値演算手段と、
当該差分値演算手段によって演算された複数の差分値の変化を示すグラフにおいて極大値を有する領域を前記肩位置として決定し、当該肩位置を示す肩位置データを生成する肩位置データ生成手段と、
前記エッジ領域データと、前記肩位置データとに基づき、前記エッジ領域を、前記肩位置を基準として区分することにより、前記位置情報を生成する位置情報生成手段と、
を含むことを特徴とする。

また、本発明に係る情報記憶媒体は、上記プログラムを記憶したことを特徴とする。

また、本発明に係る画像処理方法は、撮像部を有するコンピュータによる画像処理方法であって、
前記上半身は、頭頂部から肩位置までの頭部分および前記肩位置以下の胴体部分を含み、
前記コンピュータは、
前記撮像部を制御することによって撮像対象者の上半身を撮像して撮像画像を示す撮像データを生成し、
複数の異なる時点の撮像データに基づき、差分画像を示す差分画像データを生成し、
前記差分画像データに基づき、前記差分画像内のエッジで囲まれる領域であるエッジ領域を示すエッジ領域データを生成し、
前記エッジ領域データに基づき、前記エッジ領域を構成する各行の画素数を示すヒストグラムを生成し、
前記ヒストグラムを構成する所定領域ごとの画素数の差の絶対値を示す差分値を演算し、
演算した複数の差分値の変化を示すグラフにおいて極大値を有する領域を前記肩位置として決定し、当該肩位置を示す肩位置データを生成し、
前記エッジ領域データと、前記肩位置データとに基づき、前記エッジ領域を、前記肩位置を基準として区分することにより、前記差分画像内の前記上半身の位置を示す位置情報を生成することを特徴とする。

本発明によれば、画像処理システム等は、ヒストグラムを構成する所定領域ごとの画素数の差分値に基づいた判定を行うことにより、差分画像内で変化のある肩位置等を適切に判別することができる。これにより、画像処理システム等は、より正確かつ汎用的に上半身の位置情報を生成することができる。

また、前記画像処理システム、前記プログラムおよび前記情報記憶媒体において、
前記エッジ領域データ生成手段は、前記差分画像を構成する画素の列ごとに、前記エッジのうち最も上の位置にある画素から前記差分画像のうち最も下の画素までの列方向画素領域を設定し、前記差分画像を構成する画素の行ごとに、前記列方向画素領域に該当する画素が２つ以上ある場合、当該画素のうち最も左の位置にある画素から最も右の位置にある画素までの行方向画素領域を設定し、当該行方向画素領域をすべて組み合わせた領域を前記エッジ領域として設定してもよい。

また、前記画像処理方法において、
前記コンピュータは、
前記差分画像を構成する画素の列ごとに、前記エッジのうち最も上の位置にある画素から前記差分画像のうち最も下の画素までの列方向画素領域を設定し、
前記差分画像を構成する画素の行ごとに、前記列方向画素領域に該当する画素が２つ以上ある場合、当該画素のうち最も左の位置にある画素から最も右の位置にある画素までの行方向画素領域を設定し、
当該行方向画素領域をすべて組み合わせた領域を前記エッジ領域として設定設定してもよい。

これによれば、画像処理システム等は、撮像対象者の動きが少なく、差分画像内の撮像対象者の輪郭が途切れてしまう場合であっても輪郭を明確にすることができる。これにより、画像処理システム等は、より正確かつ汎用的に上半身の位置情報を生成することができる。

また、前記画像処理システム、前記プログラムおよび前記情報記憶媒体において、
前記差分値演算手段は、前記差分値として、前記ヒストグラムの行ごとの画素数の差の絶対値を演算設定してもよい。

また、前記画像処理方法において、
前記コンピュータは、前記差分値として、前記ヒストグラムの行ごとの画素数の差の絶対値を演算設定してもよい。

これによれば、画像処理システム等は、上下方向における対象となる画素数の変化を判別することができる。

また、前記画像処理システム、前記プログラムおよび前記情報記憶媒体において、
前記位置情報生成手段は、前記エッジ領域データと、前記肩位置データとに基づき、前記頭部分を包含する頭部バウンディングボックスと、前記胴体部分を包含する胴部バウンディングボックスを設定し、前記位置情報として、前記頭部バウンディングボックスに関する位置および前記胴部バウンディングボックスに関する位置を示す情報を生成してもよい。

また、前記画像処理方法において、
前記コンピュータは、
前記エッジ領域データと、前記肩位置データとに基づき、前記頭部分を包含する頭部バウンディングボックスを設定し、
前記エッジ領域データと、前記肩位置データとに基づき、前記胴体部分を包含する胴部バウンディングボックスを設定し、
前記位置情報として、前記頭部バウンディングボックスに関する位置および前記胴部バウンディングボックスに関する位置を示す情報を生成してもよい。

これによれば、画像処理システム等は、差分画像内の撮像対象者の輪郭に多数の段差が生じ、輪郭が不明確な場合であっても、撮像対象者の輪郭をバウンディングボックスで簡易に表すことができる。これにより、画像処理システム等は、より汎用的に上半身の位置情報を生成することができる。

また、前記画像処理システム、前記プログラムおよび前記情報記憶媒体において、
前記位置情報生成手段は、前記頭部バウンディングボックスの縦横比が第１の所定範囲内にない場合または前記頭部バウンディングボックスの大きさと前記胴部バウンディングボックスの大きさとの差異が第２の所定範囲内にない場合、前記位置情報に代えて不正な撮像データであることを示す情報を生成してもよい。

また、前記画像処理方法において、
前記コンピュータは、前記頭部バウンディングボックスの縦横比が第１の所定範囲内にない場合または前記頭部バウンディングボックスの大きさと前記胴部バウンディングボックスの大きさとの差異が第２の所定範囲内にない場合、前記位置情報に代えて不正な撮像データであることを示す情報を生成してもよい。

これによれば、画像処理システム等は、不正な撮像データが入力されたことを適切に判別することができる。

また、本発明に係るゲーム装置は、上記のいずれかの画像処理システムを有するゲーム装置であって、
前記情報生成手段は、前記撮像画像と、キャラクター画像を合成したゲーム画像を生成するゲーム画像生成手段を含み、
前記ゲーム画像生成手段は、前記位置情報に基づき、前記ゲーム画像として前記撮像画像に含まれる前記撮像対象者の画像と前記キャラクター画像とが接触した状態の画像を生成することを特徴とする。

また、前記プログラムおよび前記情報記憶媒体において、
前記情報生成手段は、前記撮像画像と、キャラクター画像を合成したゲーム画像を生成するゲーム画像生成手段を含み、
前記ゲーム画像生成手段は、前記位置情報に基づき、前記ゲーム画像として前記撮像画像に含まれる前記撮像対象者の画像と前記キャラクター画像とが接触した状態の画像を生成してもよい。

また、前記画像処理方法において、
前記コンピュータは、前記撮像データと、前記位置情報とに基づき、前記撮像画像に含まれる前記撮像対象者の画像とキャラクター画像とが接触した状態のゲーム画像を生成してもよい。

本発明によれば、ゲーム装置等は、撮像対象者の画像とキャラクター画像とが接触した状態のゲーム画像を適切に生成することができる。

以下、本発明を、ゲームを実行する画像処理システムを有するゲーム装置に適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施形態は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施形態に示す構成のすべてが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。

図１は、本実施例におけるゲーム装置１０の外観図である。

画像処理システムを有するゲーム装置１０は、ゲームＲＯＭ１２０６からゲームプログラム等を読み取ることにより、キャラクター育成型ゲーム等を実行する。

また、ゲーム装置１０は、ＵＳＢケーブルを介して撮像手段として機能するＵＳＢカメラ２０と接続され、別のケーブルを介してＴＶ３０と接続されている。

プレイヤーは、ＵＳＢカメラ２０によって撮像され、プレイヤーの撮像画像とペット（キャラクター）の画像を含むゲーム画像がＴＶ３０に表示される。

例えば、ペットが登場するゲームの場合、ゲーム装置１０は、ゲーム画像内のプレイヤーの位置に応じてペットの位置を移動させる。

図２は、本実施例におけるペットがプレイヤーに載った場合のゲーム画像３００を示す図である。

例えば、ゲーム画像３００では、プレイヤー画像３１０の肩の位置にペット画像３２０が配置されている。この場合、プレイヤーは、自分の肩にペットが載っているように感じることができる。これにより、プレイヤーとペットの対話性を高め、プレイヤーの満足感を高めることができる。

このようなゲーム画像３００を生成する場合、ゲーム装置１０は、撮像画像内のプレイヤーの肩の位置を適切に判別する必要がある。本実施例では、ゲーム装置１０は、撮像画像内のプレイヤーの上半身（頭部分および胴体部分）の位置を示す位置情報を生成する。

次に、このような機能をコンピュータに実装するためのゲーム装置１０の機能ブロックについて説明する。

図３は、本実施例におけるゲーム装置１０の機能ブロック図である。

ゲーム装置１０は、撮像データ１２６を生成するＵＳＢカメラ２０、情報記憶媒体２００、ＴＶ３０およびゲームＲＯＭ１２０６と種々の情報を入出力するインターフェース部１９０と、位置情報等を生成する情報生成部１１０と、差分画像データ１２８を生成する差分画像生成部１３０と、記憶部１２０とを含んで構成されている。

また、情報生成部１１０は、差分画像データ１２８に基づき、撮像データ１２６によって表される撮像画像内のエッジで囲まれる領域であるエッジ領域を示すエッジ領域データ１２２を生成するエッジ領域データ生成部１１１と、エッジ領域データ１２２に基づき、エッジ領域を構成する各行の画素数を示すヒストグラムを生成するヒストグラム生成部１１２と、ヒストグラムを構成する行ごとの画素数の差の絶対値を示す差分値を演算する差分値演算部１１３と、当該差分値をグラフ表現した場合において極大値を有する領域を、肩位置を示す肩位置データとして生成する肩位置データ生成部１１４と、エッジ領域データ１２２と、肩位置データとに基づき、エッジ領域を、肩位置を基準として区分することにより、位置情報を生成する位置情報生成部１１５とを含んで構成されている。

さらに、情報生成部１１０は、位置情報に基づく図２に示すゲーム画像３００等を生成するゲーム画像生成部１１６を含んで構成されている。

また、記憶部１２０は、エッジ領域データ１２２、撮像データ１２６、差分画像データ１２８等を記憶している。

また、ＵＳＢカメラ２０は、所定時間間隔でプレイヤーを撮像して撮像データ１２６を生成する。

さらに、差分画像生成部１３０は、異なる複数の時点の撮像データ１２６に基づいて差分画像データ１２８を所定時間間隔で生成する。なお、差分画像データ１２８の生成手法は一般的な手法を採用している。より具体的には、例えば、差分画像生成部１３０は、ｔ時点の撮像データ１２６と、ｔ＋１時点の撮像データ１２６との画素ごとの画像信号値の差分値を演算するこによって差分画像データ１２８を生成可能である。

なお、ゲーム装置１０のハードウェアとしては、一般的な家庭用ゲーム装置、業務用ゲーム装置等で用いられているハードウェアを用いて上述した各部の機能をコンピュータに実装可能である。例えば、情報生成部１１０や差分画像生成部１３０としては、ＣＰＵや、画像処理回路等、記憶部１２０としては、ＨＤＤや、ＲＡＭ等、インターフェース部１９０としては、入出力プロセッサや入出力ポート等を用いて実装可能である。

さらに、コンピュータが、情報記憶媒体２００やネットワーク上のサーバーからプログラムを読み取ることにより、エッジ領域データ生成部１１１等の機能を実装することも可能である。なお、情報記憶媒体２００としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＩＣカード、ＲＯＭ、ＲＡＭ、メモリカード、ＨＤＤ等のレーザーや磁気等を用いた記憶媒体を適用できる。また、情報記憶媒体２００としてゲームＲＯＭ１２０６を適用してもよい。また、情報記憶媒体２００からのプログラムの読み取り方式は、接触式でも非接触式でもよい。

次に、上述した各部を用いた撮像からゲーム画像生成までの画像処理の流れについて説明する。

図４は、本実施例における画像処理の流れを示すフローチャートである。

ゲーム終了ではない場合（ステップＳ１）、ＵＳＢカメラ２０は、プレイヤーの上半身を撮像して撮像データ１２６を生成する（ステップＳ２）。記憶部１２０は、撮像データ１２６を記憶する。

差分画像生成部１３０は、異なる２つの時点の撮像データ１２６を用いて差分画像を示す差分画像データ１２８を所定時間間隔で生成する（ステップＳ３）。

図５は、本実施例における差分画像４００の模式図である。

例えば、プレイヤーが身体を移動させた場合、その移動に関する情報は差分画像４００のエッジ（図５の太線部分）として表される。なお、撮像データ１２６で表される撮像画像は、プレイヤーの上半身を撮像した画像であるため、プレイヤーの胴体の画像部分が撮像画像の下端に接した状態となっている。

エッジ領域データ生成部１１１は、差分画像データ１２８に基づき、差分画像内のエッジを検出し（ステップＳ４）、当該エッジで囲まれる領域であるエッジ領域を示すエッジ領域データ１２２を生成する（ステップＳ５）。

なお、エッジは、例えば、差分画像４００を構成する各画素において、閾値より大きい画像信号値を有する画素を１、閾値以下の画像信号値を有する画素を０とした場合の１を有する画素が該当する。したがって、エッジ領域データ１２２は、例えば、値１を有する画素の画素位置を示すデータである。また、エッジ領域データ生成部１１１は、エッジ領域データ１２２に含まれる画素位置を示すデータを増加させることによってエッジ領域５００を拡張することができる。

図６は、本実施例における差分画像におけるエッジ領域５００を下方向に拡張した場合の模式図４１０である。

エッジ領域データ生成部１１１は、図５に示す差分画像４００を構成する列（上下方向）ごとにエッジを構成する画素群のうち最も高い位置にある画素から下の画素群（列方向画素領域）を設定する。この処理により、エッジ領域５００は図６に示す斜線部分となる。

そして、エッジ領域データ生成部１１１は、下方向に拡張したエッジ領域５００を構成する画素群の行ごとに、列方向画素領域に該当する画素が２つ以上ある場合、当該画素のうち最も左の位置にある画素から最も右の位置にある画素までの行方向画素領域を設定し、当該行方向画素領域をすべて組み合わせた領域をエッジ領域５００として設定する。

図７は、本実施例における差分画像におけるエッジ領域５００を水平方向に拡張した場合の模式図４２０である。

これにより、エッジ領域５００は水平方向に拡張される。そして、記憶部１２０は、エッジ領域５００を示すエッジ領域データ１２２を記憶する。

そして、ヒストグラム生成部１１２は、エッジ領域データ１２２に基づき、エッジ領域を構成する各行の画素数を示すヒストグラムを生成する（ステップＳ６）。

図８は、本実施例におけるヒストグラムの模式図４３０である。

差分値演算部１１３は、ヒストグラムを構成する行ごとの画素数の差の絶対値を示す差分値を演算する（ステップＳ７）。

図９は、本実施例におけるヒストグラムを構成する行ごとの画素数の差分値のグラフを示す模式図４４０である。

肩位置データ生成部１１４は、グラフにおいて極大値を有する領域を肩位置として決定し、肩位置を示す肩位置データを生成する（ステップＳ８）。

図１０は、本実施例における肩位置を設定した場合の模式図４５０である。

例えば、肩位置データ生成部１１４は、図９に示すグラフにおいて上（頭側）から下（胴側）に向かって差分値の変化を把握し、例えば、２番目に極大値となった座標Ｙ１を肩位置として決定することができる。

このように、肩位置データ生成部１１４は、２番目に極大値となった座標Ｙ１を肩位置として決定することにより、肩位置より下方で極大値を誤検出することがないため、正確に肩位置を決定できる。

なお、位置データ生成部１１４は、頭頂部から離れた範囲を肩位置の探索範囲として設定してもよい。具体的には、例えば、位置データ生成部１１４は、模式図４４０の下半分を肩位置の探索範囲として設定してもよい。

これによれば、肩位置データ生成部１１４は、より正確に肩位置を決定できる。

そして、位置情報生成部１１５は、エッジ領域データ１２２と、肩位置データとに基づき、エッジ領域５００を、肩位置を基準として区分することにより、差分画像４００内の上半身の位置を示す位置情報を生成する（ステップＳ１１）。

より具体的には、位置情報生成部１１５は、エッジ領域データ１２２と、肩位置データとに基づき、頭部分および胴体部分の左右位置を設定する。

図１１は、本実施例における頭部分の左右位置を設定した場合の模式図４６０である。また、図１２は、本実施例における胴体部分の左右位置を設定した場合の模式図４７０である。

例えば、位置情報生成部１１５は、行ごとの差分値を最も上の行から下に向かって探索し、最初に１以上となった差分値を有する行の位置を頭部分の最も上の位置Ｙ２として設定する。

また、位置情報生成部１１５は、肩位置Ｙ１よりも上にあるエッジ領域５００の左端を頭部分の左位置Ｘ１として設定し、肩位置Ｙ１よりも上にあるエッジ領域５００の右端を頭部分の右位置Ｘ２として設定する。

以上の手順により、位置情報生成部１１５は、頭部分の上位置Ｙ２、下位置Ｙ１、左位置Ｘ１、右位置Ｘ２を設定することができる。そして、位置情報生成部１１５は、これらの各位置に基づく直線（Ｙ＝Ｙ２、Ｙ＝Ｙ１、Ｘ＝Ｘ１、Ｘ＝Ｘ２）で囲まれる領域を、頭部分を包含する頭部バウンディングボックス６１０として設定する（ステップＳ９）。

また、位置情報生成部１１５は、肩位置Ｙ１よりも下にあるエッジ領域５００の左端を胴体部分の左位置Ｘ３として設定し、肩位置Ｙ１よりも下にあるエッジ領域５００の右端を胴体部分の右位置Ｘ４として設定する。

以上の手順により、位置情報生成部１１５は、胴体部分の上位置Ｙ１、下位置Ｙ０（最も下の位置）、左位置Ｘ３、右位置Ｘ４を設定することができる。そして、位置情報生成部１１５は、これらの各位置に基づく直線（Ｙ＝Ｙ１、Ｙ＝Ｙ０、Ｘ＝Ｘ３、Ｘ＝Ｘ４）で囲まれる領域を、胴体部分を包含する胴部バウンディングボックス６２０として設定する（ステップＳ９）。

そして、位置情報生成部１１５は、頭部バウンディングボックス６１０等が適切かどうかを判定する（ステップＳ１０）。

より具体的には、例えば、位置情報生成部１１５は、頭部バウンディングボックス６１０の縦横比が第１の所定範囲内にある場合、頭部バウンディングボックス６１０の大きさと胴部バウンディングボックス６２０の大きさとの差異（比率、画素数の合計値等）が第２の所定範囲内にある場合等に適切であると判定する。

適切でない場合、位置情報生成部１１５は、不正な撮像データ１２６であることを示す情報を生成し、ゲーム装置１０は位置情報を生成する画像処理を一旦終了する（ステップＳ１３）。なお、この場合、例えば、ゲーム画像生成部１１６が、不正な撮像データ１２６であることを示す情報に基づいてプレイヤーに対して撮像位置を調整することを促す画像を生成してもよい。

適切である場合、位置情報生成部１１５は、Ｘ１〜Ｘ４、Ｙ１、Ｙ２を示す位置情報を生成し（ステップＳ１１）、ゲーム画像生成部１１６は、当該位置情報に基づいてゲーム画像を生成する（ステップＳ１２）。

より具体的には、例えば、ゲーム画像生成部１１６は、Ｘ＝（Ｘ２＋Ｘ４）／２、Ｙ＝Ｙ１の位置にペット画像３２０を配置してゲーム画像３００を生成する。これにより、ゲーム画像生成部１１６は、プレイヤー画像３１０の左肩にペット画像３２０が載ったゲーム画像３００を生成することができる。

なお、ゲーム装置１０は、画像処理終了時（ステップＳ１）には画像処理を正常に終了する。

以上のように、本実施例のゲーム装置１０は、ヒストグラムを構成する所定領域（例えば、行、数画素×数画素の画素ブロック等）ごとの画素数の差分値に基づいた判定を行うことにより、差分画像内で変化のある肩位置等を適切に判別することができる。これにより、画像処理システム等は、より正確かつ汎用的に上半身の位置情報を生成することができる。

また、本実施例のゲーム装置１０は、撮像対象者の動きが少なく、差分画像内の撮像対象者の輪郭が途切れてしまう場合であっても輪郭を明確にすることができる。これにより、ゲーム装置１０は、より正確かつ汎用的に上半身の位置情報を生成することができる。

また、本実施例のゲーム装置１０は、ヒストグラムの行ごとの画素数の差の絶対値を演算することにより、上下方向における対象となる画素数の変化を判別することができる。

また、本実施例のゲーム装置１０は、差分画像内の撮像対象者の輪郭に多数の段差が生じ、輪郭が不明確な場合であっても、撮像対象者の輪郭をバウンディングボックスで簡易に表すことができる。これにより、ゲーム装置１０は、より汎用的に上半身の位置情報を生成することができる。

また、本実施例のゲーム装置１０は、頭部バウンディングボックスの縦横比等が適切かどうかを判定することにより、不正な撮像データが入力されたことを適切に判別することができる。

また、本実施例のゲーム装置１０は、撮像対象者の肩位置等を適切に決定することができるため、プレイヤー画像３１０とペット画像３２０とが接触した状態のゲーム画像３００を適切に生成することができる。

また、本実施例のゲーム装置１０は、プレイヤーの位置に応じてペット画像３２０の位置を変化させることもできるため、プレイヤーとキャラクターとの対話性をより高めることができる。

以上、本発明を適用した好適な実施例について説明したが、本発明は上述した実施例に限定されず、種々の変形が可能である。

例えば、プレイヤー画像３１０としては、上半身のようにプレイヤーの一部分だけでなく、プレイヤーの全身の撮像画像を適用してもよい。すなわち、ゲーム装置１０は、プレイヤーの頭や胴だけでなく、腕、足、腰等の動作に応じてゲーム画像を生成することも可能である。

例えば、ＵＳＢカメラ２０が撮像領域の右端から伸びているプレイヤーの腕を撮像する場合、エッジ領域データ生成部１１１は、行方向のエッジのうち最も左にある画素から最も右の画素までの行方向画素領域を設定した後、差分画像を構成する画素の列ごとに、行方向画素領域に該当する画素が２つ以上ある場合、当該画素のうち最も上にある画素から最も下にある画素までの列方向画素領域を設定し、当該列方向画素領域をすべて組み合わせた領域をエッジ領域として設定してもよい。

また、この場合、位置情報生成部１１５は、手首から指先までの手の平部分のバウンディングボックスと、手首からひじまでの腕部分のバウンディングボックスを設定してもよい。

これによれば、上述した実施例と同様に、ゲーム装置１０は、撮像対象者の手の平と腕の位置を簡易に決定することができる。

また、撮像手段は、ＵＳＢカメラ２０に限定されず、種々のカメラを採用可能である。例えば、ゲーム装置１０は、デジタルカメラやデジタルビデオカメラで生成される撮像情報を、有線または無線の通信回線を介して受信して上述した処理を実行してもよい。

また、ゲーム装置１０は、ゲーム画像３００だけでなく、ゲーム音声を生成してもよく、ＴＶ３０が当該ゲーム音声を出力してもよい。

また、ゲームの種類はキャラクター育成型ゲームに限定されず、例えば、体感型ゲーム、アクションゲーム等の種々のゲームを採用可能である。

また、上述した実施例では、画像処理システムとしてＵＳＢカメラ２０とゲーム装置１０とを別の装置として構成したが、一体化したゲーム装置としてもよい。

また、画像処理システムとしては、ゲーム装置１０に限定されず、例えば、ＰＣ、いわゆるプリクラ等の撮像装置、デジタルカメラ、デジタルビデオカメラ等の種々の画像処理装置を適用可能である。例えば、本発明をいわゆるプリクラの撮像装置に適用する場合、撮像装置は、胴部バウンディングボックスの位置情報に基づいて撮像画像内の撮像対象者に服を着せた状態の画像を生成することが可能となる。このような場合であっても、撮像対象者は、自分で画像内の服の位置を調整したり、カメラに対する自分の位置を調整したりすることなく、自分の撮像画像に服の位置が適切に調整された画像を得ることができるので、本発明は効果的である。

本実施例におけるゲーム装置の外観図である。 本実施例におけるペットがプレイヤーに載った場合のゲーム画像を示す図である。 本実施例におけるゲーム装置の機能ブロック図である。 本実施例における画像処理の流れを示すフローチャートである。 本実施例における差分画像の模式図である。 本実施例における差分画像におけるエッジ領域を下方向に拡張した場合の模式図である。 本実施例における差分画像におけるエッジ領域を水平方向に拡張した場合の模式図である。 本実施例におけるヒストグラムの模式図である。 本実施例におけるヒストグラムを構成する行ごとの画素数の差分値を示す模式図である。 本実施例における肩位置を設定した場合の模式図である。 本実施例における頭部分の左右位置を設定した場合の模式図である。 本実施例における胴体部分の左右位置を設定した場合の模式図である。

符号の説明

１０ ゲーム装置（画像処理システム）
２０ ＵＳＢカメラ（撮像手段）
１１０ 情報生成部
１１１ エッジ領域データ生成部
１１２ ヒストグラム生成部
１１３ 差分値演算部
１１４ 肩位置データ生成部
１１５ 位置情報生成部
１１６ ゲーム画像生成部
１２２ エッジ領域データ
１２６ 撮像データ
１２８ 差分画像データ
１３０ 差分画像生成部
２００ 情報記憶媒体

Claims (14)

1. 撮像対象者の上半身を撮像して撮像画像を示す撮像データを生成する撮像手段と、
   複数の異なる時点の撮像データに基づき、差分画像を示す差分画像データを生成する差分画像生成手段と、
   前記差分画像データに基づき、前記差分画像内の前記上半身の位置を示す位置情報を生成する情報生成手段と、
   を含み、
   前記上半身は、頭頂部から肩位置までの頭部分および前記肩位置以下の胴体部分を含み、
   前記情報生成手段は、
   前記差分画像データに基づき、前記差分画像内のエッジで囲まれる領域であるエッジ領域を示すエッジ領域データを生成するエッジ領域データ生成手段と、
   前記エッジ領域データに基づき、前記エッジ領域を構成する各行の画素数を示すヒストグラムを生成するヒストグラム生成手段と、
   前記ヒストグラムを構成する所定領域ごとの画素数の差の絶対値を示す差分値を演算する差分値演算手段と、
   当該差分値演算手段によって演算された複数の差分値の変化を示すグラフにおいて極大値を有する領域を前記肩位置として決定し、当該肩位置を示す肩位置データを生成する肩位置データ生成手段と、
   前記エッジ領域データと、前記肩位置データとに基づき、前記エッジ領域を、前記肩位置を基準として区分することにより、前記位置情報を生成する位置情報生成手段と、
   を含むことを特徴とする画像処理システム。
2. 請求項１において、
   前記エッジ領域データ生成手段は、前記差分画像を構成する画素の列ごとに、前記エッジのうち最も上の位置にある画素から前記差分画像のうち最も下の画素までの列方向画素領域を設定し、前記差分画像を構成する画素の行ごとに、前記列方向画素領域に該当する画素が２つ以上ある場合、当該画素のうち最も左の位置にある画素から最も右の位置にある画素までの行方向画素領域を設定し、当該行方向画素領域をすべて組み合わせた領域を前記エッジ領域として設定することを特徴とする画像処理システム。
3. 請求項１、２のいずれかにおいて、
   前記差分値演算手段は、前記差分値として、前記ヒストグラムの行ごとの画素数の差の絶対値を演算することを特徴とする画像処理システム。
4. 請求項１〜３のいずれかにおいて、
   前記位置情報生成手段は、前記エッジ領域データと、前記肩位置データとに基づき、前記頭部分を包含する頭部バウンディングボックスと、前記胴体部分を包含する胴部バウンディングボックスを設定し、前記位置情報として、前記頭部バウンディングボックスに関する位置および前記胴部バウンディングボックスに関する位置を示す情報を生成することを特徴とする画像処理システム。
5. 請求項４において、
   前記位置情報生成手段は、前記頭部バウンディングボックスの縦横比が第１の所定範囲内にない場合または前記頭部バウンディングボックスの大きさと前記胴部バウンディングボックスの大きさとの差異が第２の所定範囲内にない場合、前記位置情報に代えて不正な撮像データであることを示す情報を生成することを特徴とする画像処理システム。
6. 請求項１〜５のいずれかに記載の画像処理システムを有するゲーム装置であって、
   前記情報生成手段は、前記撮像画像と、キャラクター画像を合成したゲーム画像を生成するゲーム画像生成手段を含み、
   前記ゲーム画像生成手段は、前記位置情報に基づき、前記ゲーム画像として前記撮像画像に含まれる前記撮像対象者の画像と前記キャラクター画像とが接触した状態の画像を生成することを特徴とするゲーム装置。
7. 撮像部を有するコンピュータを、
   前記撮像部に撮像対象者の上半身を撮像させて撮像データを生成する撮像制御手段と、
   複数の異なる時点の撮像データに基づき、差分画像を示す差分画像データを生成する差分画像生成手段と、
   前記差分画像データに基づき、前記差分画像内の前記上半身の位置を示す位置情報を生成する情報生成手段として機能させるためのプログラムであって、
   前記上半身は、頭頂部から肩位置までの頭部分および前記肩位置以下の胴体部分を含み、
   前記情報生成手段は、
   前記差分画像データに基づき、前記差分画像内のエッジで囲まれる領域であるエッジ領域を示すエッジ領域データを生成するエッジ領域データ生成手段と、
   前記エッジ領域データに基づき、前記エッジ領域を構成する各行の画素数を示すヒストグラムを生成するヒストグラム生成手段と、
   前記ヒストグラムを構成する所定領域ごとの画素数の差の絶対値を示す差分値を演算する差分値演算手段と、
   当該差分値演算手段によって演算された複数の差分値の変化を示すグラフにおいて極大値を有する領域を前記肩位置として決定し、当該肩位置を示す肩位置データを生成する肩位置データ生成手段と、
   前記エッジ領域データと、前記肩位置データとに基づき、前記エッジ領域を、前記肩位置を基準として区分することにより、前記位置情報を生成する位置情報生成手段と、
   を含むことを特徴とするプログラム。
8. 請求項７に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
9. 撮像部を有するコンピュータによる画像処理方法であって、
   前記上半身は、頭頂部から肩位置までの頭部分および前記肩位置以下の胴体部分を含み、
   前記コンピュータは、
   前記撮像部を制御することによって撮像対象者の上半身を撮像して撮像画像を示す撮像データを生成し、
   複数の異なる時点の撮像データに基づき、差分画像を示す差分画像データを生成し、
   前記差分画像データに基づき、前記差分画像内のエッジで囲まれる領域であるエッジ領域を示すエッジ領域データを生成し、
   前記エッジ領域データに基づき、前記エッジ領域を構成する各行の画素数を示すヒストグラムを生成し、
   前記ヒストグラムを構成する所定領域ごとの画素数の差の絶対値を示す差分値を演算し、
   演算した複数の差分値の変化を示すグラフにおいて極大値を有する領域を前記肩位置として決定し、当該肩位置を示す肩位置データを生成し、
   前記エッジ領域データと、前記肩位置データとに基づき、前記エッジ領域を、前記肩位置を基準として区分することにより、前記差分画像内の前記上半身の位置を示す位置情報を生成することを特徴とする画像処理方法。
10. 請求項９において、
    前記コンピュータは、
    前記差分画像を構成する画素の列ごとに、前記エッジのうち最も上の位置にある画素から前記差分画像のうち最も下の画素までの列方向画素領域を設定し、
    前記差分画像を構成する画素の行ごとに、前記列方向画素領域に該当する画素が２つ以上ある場合、当該画素のうち最も左の位置にある画素から最も右の位置にある画素までの行方向画素領域を設定し、
    当該行方向画素領域をすべて組み合わせた領域を前記エッジ領域として設定することを特徴とする画像処理方法。
11. 請求項９、１０のいずれかにおいて、
    前記コンピュータは、前記差分値として、前記ヒストグラムの行ごとの画素数の差の絶対値を演算することを特徴とする画像処理方法。
12. 請求項９〜１１のいずれかにおいて、
    前記コンピュータは、
    前記エッジ領域データと、前記肩位置データとに基づき、前記頭部分を包含する頭部バウンディングボックスを設定し、
    前記エッジ領域データと、前記肩位置データとに基づき、前記胴体部分を包含する胴部バウンディングボックスを設定し、
    前記位置情報として、前記頭部バウンディングボックスに関する位置および前記胴部バウンディングボックスに関する位置を示す情報を生成することを特徴とする画像処理方法。
13. 請求項１２において、
    前記コンピュータは、前記頭部バウンディングボックスの縦横比が第１の所定範囲内にない場合または前記頭部バウンディングボックスの大きさと前記胴部バウンディングボックスの大きさとの差異が第２の所定範囲内にない場合、前記位置情報に代えて不正な撮像データであることを示す情報を生成することを特徴とする画像処理方法。
14. 請求項９〜１３のいずれかにおいて、
    前記コンピュータは、前記撮像データと、前記位置情報とに基づき、前記撮像画像に含まれる前記撮像対象者の画像とキャラクター画像とが接触した状態のゲーム画像を生成することを特徴とする画像処理方法。

Images