JP2011248714A - 撮像画像処理システム - Google Patents

Abstract

【課題】複数の対象物のうち動作検出を行う対象物を示すマーカーを画像に表示させることで、どの対象物の動作で遅延表示を行うかを明確にする。
【解決手段】本発明の撮像画像処理システムは、カメラから入力された撮像画像から特定の対象物を選択する動作検出顔選択部と、特定の対象物の顔の向きを検出する顔向き検出部と、顔の向きに応じて通常再生モードと後姿再生モードのいずれかの処理モードを設定し、かつ再生開始情報及び再生終了情報を作成する処理モード判定部と、再生開始情報に基づいて撮像画像を保存し、再生終了情報に基づいて保存撮像画像を出力する撮像画像取得部と、処理モードが通常再生モードの場合は撮像画像を出力し、後姿再生モードの場合は保存画像を出力する処理モード切替部と、撮像画像または保存撮像画像において、特定の対象物にマーカーを付加する検出位置付加部と、を備える。
【選択図】図１

Description

本発明は、撮像画像処理システムに関し、更に詳しくは、撮像装置（カメラ）で撮影された撮像画像を表示装置で表示する際に撮像画像を遅延表示することが可能な撮像画像処理システムに関する。

従来、鏡の置き換えとして撮像装置であるカメラで撮影した撮像画像を表示装置であるモニターで表示する際、撮影している対象物の動作で、表示モードを切り替える画像処理装置が存在している（例えば、特許文献１参照）。この画像処理装置では、カメラで撮影した撮像画像を鏡のようにＰＣモニターに即時再生しているときに、顔検出部でユーザーの視線を検出し、ユーザーの視線が外れた場合に撮像画像を記憶し、視線が正面を向いたときに、記憶された撮像画像を過去再生するとともに、過去再生後に即時再生を行っている。

国際公開第２００８／１２６３３６号

しかしながら、上記特許文献１記載の画像処理装置では、カメラで撮影した撮像画像を撮影している対象物（ユーザー）の動作で表示を切り替えており、撮影している対象物が複数であった場合、どの対象に対して検出及び切り替えを行うか特定できず、誤動作してしまうという問題があった。

本発明は、上記事情に鑑みてなされたものであって、複数の対象物のうち動作検出を行っている対象物を明確にするための検出位置マーカーを画像に表示させることで、どの対象物の動作で遅延表示を行うかを明確にすることが可能な撮像画像処理システムを提供することを目的とする。

上記課題を解決するために本発明の請求項１にかかる撮像画像処理システムは、撮像装置から入力された複数の対象物を含む撮像画像を表示する撮像画像処理システムであって、撮像装置から入力された撮像画像から特定の対象物を選択し選択顔位置情報として出力する動作検出顔選択部と、選択顔位置情報に基づいて顔の向きを検出し顔向き情報として出力する顔向き検出部と、顔向き情報に応じて、即時再生を示す通常再生モードと遅延再生を示す後姿再生モードのいずれかの処理モードを設定してモード情報として出力するとともに、再生開始情報及び再生終了情報を作成して出力する処理モード判定部と、再生開始情報に基づいて撮像画像を保存撮像画像として保存するとともに、再生終了情報に基づいて保存撮像画像を出力する撮像画像取得部と、モード情報に基づいて再生モードを切り替え、再生モードが通常再生モードの場合は撮像画像を出力し、再生モードが後姿再生モードの場合は保存画像を出力する処理モード切替部と、撮像画像または保存撮像画像において、選択顔位置情報に応じた位置にマーカーを付加する検出位置付加部と、を備えることを特徴とする。

また、本発明の請求項２にかかる撮像画像処理システムは、本発明の請求項１にかかる撮像画像処理システムの構成において、顔向き情報として前向きから後ろ向きになったことを示す情報が入力された場合、処理モード判定部は、処理モードを通常再生モードに設定した状態で再生開始情報を撮像画像取得部に出力し、顔向き情報として後ろ向きから前向きになったことを示す情報が入力された場合、処理モード判定部は、再生終了情報を撮像画像取得部に出力するとともに処理モードを後姿再生モードに設定し、撮像画像取得部から保存撮像画像の出力が完了したことを示す再生完了情報が入力された場合、処理モード判定部は、処理モードを通常再生モードに設定する、ことを特徴とする。

本発明によれば、撮像装置及び表示装置を見ない状態（後ろ向きの状態）になった時の撮像画像を、表示装置を見るようになってから遅れて表示できるようする検出をどの対象物に対して行うかを明確にすることができるので、対象物は確実に遅延表示できる状態になったことを確認した上で、回転動作などを行うことが可能になる。

本発明の実施の形態１における撮像画像処理システムの構成を示すブロック図 本発明の実施の形態１における撮像画像処理システムの処理の概念を示す図

以下、本発明の一実施の形態による撮像画像処理システムについて図面を用いて説明する。

（実施の形態１）
図１は、本発明の実施の形態１における撮像画像処理システムの構成を示すブロック図である。撮像画像処理システム１０は、動作検出顔選択部１と、顔向き検出部２と、処理モード判定部３と、撮像画像保存部４と、撮像画像取得部５と、処理モード切替部６と、検出位置付加部７と、画像合成部８から構成されており、撮像装置であるカメラ１１で撮像された撮像画像を表示装置２１へ表示させる処理を行う。本実施の形態では、表示装置２１を撮像画像処理システム１０と別体の構成として説明しているが、撮像画像処理システム１０の内部の構成要素としてもよい。

動作検出顔選択部１は、カメラ１１から入力された複数の対象物を含むカメラ撮像画像から特定の対象物であるユーザーの顔を選択し、選択されたユーザーの顔の位置を示す選択顔位置情報を顔向き検出部２及び検出位置付加部７へ出力する。ここで、特定の対象物であるユーザーの顔選択は、対象物の重なりなどの情報を元に、一番前面に存在する顔を特定の対象物として選択する方法、または複数の対象物のうち、体がカメラ撮像画像に含まれている割合の大きい顔を特定の対象物として選択する方法などによって行う。なお、対象物が移動している最中は対象物に含めず、表示装置２１の前で停止したことをもって選択対象の対象物とするなどの判断を行ってもよい。

顔向き検出部２は、動作検出顔選択部１から入力された選択顔位置情報に基づいて、選択された顔の向きの検出を行い、顔向き情報として処理モード判定部３へ出力する。

処理モード判定部３は、顔向き検出部２から入力された顔向き情報及び撮像画像取得部５から入力された再生完了情報に応じて、処理モード（通常再生モード、後姿再生モード）を設定し、設定された処理モードをモード情報として処理モード切替部６へ出力する。また、顔向き検出部２から入力された顔向き情報に基づいて再生開始情報及び再生終了情報を作成して撮像画像取得部５へ出力する。

撮像画像保存部４は、撮像画像取得部５からの保存要求に基づいて、カメラ１１から入力されたカメラ撮像画像を保存撮像画像として保存する。

撮像画像取得部５は、処理モード判定部３から入力された撮影開始情報に基づいてカメラ撮像画像を保存する要求（保存要求）を撮像画像保存部４へ出力する。また、処理モード判定部３から入力された撮影終了情報に基づいて、撮像画像保存部４から保存撮影画像を取得して、再生撮像画像として処理モード切替部６へ出力する。また、処理モード切替部６への再生撮像画像の出力が終了した時点で、処理モード判定部３へ再生完了情報を出力する。

処理モード切替部６は、処理モード判定部３から入力されたモード情報に応じて、撮像画像処理システム１０の再生モードを切り替える。具体的には、処理モード判定部３からモード情報として「通常再生モード」が入力された場合は、処理モードを通常再生モードとして、カメラ１１から入力されたカメラ撮像画像を画像合成部８に出力して即時再生を実行する。一方、処理モード判定部３からモード情報として「後姿再生モード」が入力された場合は、処理モードを後姿再生モードとして、撮像画像取得部５から入力された再生撮像画像を画像合成部８へ出力して過去再生（遅延表示）を実行する。

検出位置付加部７は、動作検出顔選択部１から入力された選択顔位置情報に基づいて、表示するカメラ撮像画像または再生撮像画像にマーカーを付加表示するための検出位置マーカーを画像合成部８へ出力する。

画像合成部８は、処理モード切替部６から入力されたカメラ撮像画像または再生撮像画像に、検出位置付加部７から入力された検出位置マーカーを合成して、表示撮像画像として表示装置２１へ出力する。

図２は、本発明の実施の形態１における撮像画像処理システム１０の処理の概念を示す図である。図２では、表示装置２１及びカメラ１１の前でのユーザー（人）の行動４０に対して、処理モード４４が通常再生モード／後姿再生モードに変化するタイミングと、カメラ撮像画像４１及び保存撮像画像４２と表示撮像画像４３との関係と、撮像を見ている状態／撮像を見ていない状態／後姿の撮像を見ている状態などを持つ人の状態４５との関係を示す。

撮像画像処理システム１０においては、まず、動作検出顔選択部１が、カメラ撮像画像の中から検出すべき顔を選択する。検出位置付加部７は選択された顔の位置情報により、検出位置マーカーの情報を表示撮像画像に付加させることで、ユーザーはどのユーザーに対して顔向き検出の作業をおこなっているかを知ることが可能になる。

次に、顔向き検出部２が顔向きの検出を実施する。処理モード判定部３は、処理モード４４が通常再生モードにおいて、顔が前を向いた状態から後ろを向いた状態に変化したことを示す顔向き情報が入力された場合（人の行動４０で「前を向いた」から「後ろを向いた」に変化した場合）に、処理モード４４として通常再生モードを設定した状態のまま、顔向き情報が入力された時刻を再生開始情報４６として撮像画像取得部５へ出力する。なお、再生開始情報４６は時刻情報としているが、撮像画像保存部４における保存撮像画像の記憶領域の位置であってもよい。つまり、撮像画像保存部４から保存撮像画像の取得をはじめることが可能となる情報であれば何でもよい。これにより、撮像画像保存部４は、再生開始情報４６で指示された箇所からのカメラ撮像画像を保存撮像画像４２として保存する。

上記状態において、処理モード判定部３は、顔が後ろを向いた状態から前を向いた状態に変化したことを示す顔向き情報が入力された場合（人の行動４０で「後ろを向いた」から「前を向いた」に変化した場合）に、処理モード４４を後姿再生モードに設定して処理モード切替部６にモード情報として「後姿再生モード」を出力するとともに、顔向き情報が入力された時刻を再生終了情報４７として撮像画像取得部５へ出力する。なお、再生終了情報４７は時刻情報としているが、撮影画像保存部４における保存撮像画像の記憶領域の位置であってもよい。つまり、撮像画像保存部４から保存撮像画像の取得を終了することが可能となる情報であれば何でもよい。撮像画像取得部５は、再生撮像画像を表示撮像画像４３として表示装置２１へ出力させ、出力完了後に再生完了情報を処理モード判定部３へ出力する。処理モード判定部３は、再生完了情報が入力された場合に、処理モード４４を通常再生モードに設定する。これにより、処理モード切替部６は通常再生モードになり、カメラ１１からのカメラ撮像画像の即時再生を引き続き実行することができる。

本発明によれば、対象物が後ろを向いている間の撮像画像を遅延表示するトリガを検出するために、処理対象の対象物を示すマーカーを表示装置に表示することで、複数の対象物のうちどの対象物に対して遅延表示処理が実行されるかを認識することができるため、店頭などにおかれたカメラとモニターからなるシステムにおいて有用である。

１ 動作検出顔選択部
２ 顔向き検出部
３ 処理モード判定部
４ 撮像画像保存部
５ 撮像画像取得部
６ 処理モード切替部
７ 検出位置付加部
８ 画像合成部
１０ 撮像画像処理システム
１１ カメラ
２１ 表示装置

Claims (2)

1. 撮像装置から入力された複数の対象物を含む撮像画像を表示する撮像画像処理システムであって、
   前記撮像装置から入力された前記撮像画像から特定の対象物を選択し選択顔位置情報として出力する動作検出顔選択部と、
   前記選択顔位置情報に基づいて顔の向きを検出し顔向き情報として出力する顔向き検出部と、
   前記顔向き情報に応じて、即時再生を示す通常再生モードと遅延再生を示す後姿再生モードのいずれかの処理モードを設定してモード情報として出力するとともに、再生開始情報及び再生終了情報を作成して出力する処理モード判定部と、
   前記再生開始情報に基づいて前記撮像画像を保存撮像画像として保存するとともに、前記再生終了情報に基づいて前記保存撮像画像を出力する撮像画像取得部と、
   前記モード情報に基づいて再生モードを切り替え、前記再生モードが前記通常再生モードの場合は前記撮像画像を出力し、前記再生モードが前記後姿再生モードの場合は前記保存画像を出力する処理モード切替部と、
   前記撮像画像または前記保存撮像画像において、前記選択顔位置情報に応じた位置にマーカーを付加する検出位置付加部と、を備えることを特徴とする撮像画像処理システム。
2. 前記顔向き情報として前向きから後ろ向きになったことを示す情報が入力された場合、前記処理モード判定部は、前記処理モードを前記通常再生モードに設定した状態で前記再生開始情報を前記撮像画像取得部に出力し、
   前記顔向き情報として後ろ向きから前向きになったことを示す情報が入力された場合、前記処理モード判定部は、前記再生終了情報を前記撮像画像取得部に出力するとともに前記処理モードを前記後姿再生モードに設定し、
   前記撮像画像取得部から前記保存撮像画像の出力が完了したことを示す再生完了情報が入力された場合、前記処理モード判定部は、前記処理モードを前記通常再生モードに設定する、ことを特徴とする請求項１に記載の撮像画像処理システム。