JP2023164485A - 映像処理装置、映像処理方法および映像処理プログラム - Google Patents

映像処理装置、映像処理方法および映像処理プログラム Download PDF

Info

Publication number
JP2023164485A
JP2023164485A JP2023139766A JP2023139766A JP2023164485A JP 2023164485 A JP2023164485 A JP 2023164485A JP 2023139766 A JP2023139766 A JP 2023139766A JP 2023139766 A JP2023139766 A JP 2023139766A JP 2023164485 A JP2023164485 A JP 2023164485A
Authority
JP
Japan
Prior art keywords
video
image
eyes
face
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023139766A
Other languages
English (en)
Inventor
久 小磯
Hisashi Koiso
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2023139766A priority Critical patent/JP2023164485A/ja
Publication of JP2023164485A publication Critical patent/JP2023164485A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Stroboscope Apparatuses (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

【課題】光の照射による目への負担を軽減することができる映像処理装置、映像処理方法および映像処理プログラムを提供する。【解決手段】映像処理装置１００は、映像取得部３１、動き検出部３３、目開閉検出部および撮像制御部３４を備える。映像取得部３１は被撮像体の顔を撮影した映像を取得する。動き検出部３３は、映像取得部３１によって取得された映像から顔の少なくとも一部分における動きの速度を検出する。目開閉検出部は、映像取得部によって取得された映像から目の開状態および閉状態を検出する。撮像制御部３４は、動き検出部３３によって検出された速度および目開閉検出部によって検出された目の開閉状態に基づいて、映像取得部３１におけるシャッターの開期間を変化させる。【選択図】図１

Description

本発明は、映像処理装置、映像処理方法および映像処理プログラムに関する。
例えば車両に搭載されるドライバーモニター等の映像処理装置では、車室内を撮影して
得られる映像を記憶装置に記憶する。映像処理装置は、車室内の様子を映像として記憶す
ることや、運転者を中心に映像を記憶することなどが行われる。
例えば特許文献１には、ストロボ使用を適正に制御するブレ防止カメラが開示されてい
る。ブレ防止カメラは、カメラの手ブレ量をブレ量検出部で検出し、被写体の輝度に基づ
いてストロボ非使用時のシャッター速度をシャッター速度決定部によって決定する。ブレ
防止カメラは、シャッター速度決定部によって決定されたストロボ非使用時のシャッター
速度に対するブレ量をブレ量予測部によって予測する。ブレ防止カメラは、ブレ量予測部
の出力に基づいて、ストロボを発光させるか否かをストロボ発光決定部によって判断する
。
特開平０６－３１３９１８号公報
特許文献１に記載の従来のブレ防止カメラは、ストロボの発光または非発光を適正に制
御するが、例えば、ドライバーモニターにおいて車両の運転者等の顔に対して赤外光など
の光を連続的に照射して撮影すると、運転者の目にとって負担となってしまう。
本発明者は、車両の運転者等における目開閉度等の状態を分析するために目の輪郭等の動
きを検出する場合、動きの速度に応じてシャッターの開期間を変えることで目への負担を
軽減し得ることに気付いた。
本発明は、斯かる事情に鑑みてなされたものであり、その目的とするところは、光の照
射による目への負担を軽減することができる映像処理装置、映像処理方法および映像処理
プログラムを提供することにある。
本発明のある態様の映像処理装置は、被撮像体の顔を撮影した映像を取得する映像取得
部と、前記映像取得部によって取得された前記映像から顔の少なくとも一部分における動
きの速度を検出する動き検出部と、前記映像取得部によって取得された前記映像から目の
開状態および閉状態を検出する目開閉検出部と、前記動き検出部によって検出された前記
速度および前記目開閉検出部によって検出された目の開閉状態に基づいて、前記映像取得
部におけるシャッターの開期間を変化させる撮像制御部と、を備える。
また本発明の別の態様は映像処理方法である。この映像処理方法は、被撮像体の顔を撮
影した映像を取得する映像取得ステップと、前記映像取得ステップによって取得された前
記映像から顔の少なくとも一部分における動きの速度を検出する動き検出ステップと、前
記映像取得ステップによって取得された前記映像から目の開状態および閉状態を検出する
目開閉検出ステップと、前記動き検出ステップによって検出された前記速度および前記目
開閉検出ステップによって検出された目の開閉状態に基づいて、前記映像取得ステップに
おけるシャッターの開期間を変化させる撮像制御ステップと、を備える。
また本発明の別の態様は映像処理プログラムである。この映像処理プログラムは、被撮
像体の顔を撮影した映像を取得する映像取得ステップと、前記映像取得ステップによって
取得された前記映像から顔の少なくとも一部分における動きの速度を検出する動き検出ス
テップと、前記映像取得ステップによって取得された前記映像から目の開状態および閉状
態を検出する目開閉検出ステップと、前記動き検出ステップによって検出された前記速度
および前記目開閉検出ステップによって検出された目の開閉状態に基づいて、前記映像取
得ステップにおけるシャッターの開期間を変化させる撮像制御ステップと、をコンピュー
タに実行させる。
本発明によれば、光の照射による目への負担を軽減することができる。
実施形態１に係る映像処理装置の構成を示すブロック図である。 図２（ａ）～図２（ｃ）は、動き検出部による動きの検出例を示す模式図である。 シャッターの開期間を短くする場合を示すタイミングチャートである。 シャッターの開期間を長くした場合を示すタイミングチャートである。 映像処理装置におけるシャッターおよび発光強度の変更処理の手順を示すフローチャートである。 実施形態２に係る映像処理装置の構成を示すブロック図である。
以下、本発明を好適な実施の形態をもとに図１から図６を参照しながら説明する。各図
面に示される同一または同等の構成要素、部材には、同一の符号を付するものとし、適宜
重複した説明は省略する。また、各図面において実施の形態を説明する上で重要ではない
部材の一部は省略して表示する。
（実施形態１）
図１は、実施形態１に係る映像処理装置１００の構成を示すブロック図である。映像処
理装置１００は、例えばドライバーモニターであり、車両に搭載され、車両の車室内の乗
員を時間的に連続して撮影する。映像処理装置１００は撮影した映像を記録するようにし
てもよいし、記録せずに破棄してもよい。映像処理装置１００は、例えば車両のフロント
ガラスの下方におけるダッシュボード上などに配置される。映像処理装置１００は、例え
ば車両に搭乗している運転者を被撮像体として撮影し、撮影された被撮像体の顔全体、ま
たは目などの顔の部位を認識する。
映像処理装置１００は、夜間やトンネル内などの暗い場面でも被撮像体が認識できるよ
うに、被撮像体の顔に赤外光などの光を照射して撮影する。撮影の際に用いる赤外光は、
運転者等の視覚では認識し難い性質があるものの、発光強度をより抑制することで目の負
担を軽減することができる。
映像処理装置１００によって撮影された映像は、例えば左右の目の輪郭を判別し、目の
開閉度や、左右の目の傾きなど目の部分に関する分析に用いられる。本実施形態では、顔
の部分、例えば目などの状態に関する分析機能に関して記載を省略するが、映像処理装置
１００において、目の開閉度や左右の目の傾き等に関する分析機能を設けてもよい。また
映像処理装置１００によって蓄積または出力される映像に基づいて、外部装置において顔
の部分に関する分析を行うようにしてもよい。尚、目の開閉度や左右の目の傾き等の分析
機能は、例えば、被撮像体における眠気の度合判定や、感情状態（例えば平常状態や緊張
状態など）の判定などに用いられる。
映像処理装置１００は、撮像部１０、光照射部１１、記録部２０、映像処理部３０、外
部入力部４０および外部出力部４１、画像精度検出部５０等を備える。撮像部１０は、例
えばＣＣＤ等の検出器を有するカメラであり、車両に搭乗している例えば運転者を被撮像
体として撮影する。撮像部１０は、時間的に連続して映像を取得し、後述する映像取得部
３１へ送出する。
光照射部１１は、夜間等の暗い時でも運転者等の被撮像体が撮影できるように、適宜、
赤外光などの光を被撮像体、とくに顔部分に照射する。光照射部１１から照射される光の
発光強度は、後述する映像処理部３０の撮像制御部３４によって設定される。また光照射
部１１によって照射される光の発光期間は、シャッターの開期間と一致することが好まし
いが、シャッターの開期間との間で多少の時間ずれがあってもよい。
記録部２０は、例えばＳＤカードやＵＳＢメモリ等の着脱可能な媒体や、ハードディス
クなどであり、映像取得部３１で取得された映像を記録し、削除することができるものと
する。以下、記録部２０が設けられた構成について説明するが、映像処理装置１００が映
像を記録する部分を持たない場合には記録部２０は設けなくてもよい。記録部２０は、映
像処理装置１００に着脱可能とすることで、映像処理装置１００から取り外し、別のＰＣ
等で映像を再生等することができる。
外部入力部４０は、車両の速度情報および位置情報等を外部装置から取得する。また外
部出力部４１は、映像処理部３０によって処理された映像情報等を外部装置へ出力する。
映像処理装置１００は、外部入力部４０によって取得した速度情報および位置情報等を映
像に付加して記録または外部へ出力するようにしてもよい。
映像処理部３０は、映像取得部３１、映像認識部３２、動き検出部３３および撮像制御
部３４を有する。映像処理部３０は、例えばＣＰＵなどによって構成され、コンピュータ
プログラムに従って動作することによって、上述の各部による処理を実行する。記憶部３
０ａは、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク記憶装置
等のデータ記憶装置によって構成されており、映像処理部３０で実行するコンピュータプ
ログラム等を記憶する。また記憶部３０ａは、撮影された映像から被撮像体の顔や目等を
認識するための認識用辞書を記憶している。
映像取得部３１は、撮像部１０において撮影された映像を取得してデータ圧縮等の処理
を行い、記録部２０に出力する。尚、映像取得部３１は、撮像部１０を含んで構成されて
いてもよい。映像取得部３１において被撮像体を撮影するシャッターの開期間は、後述す
る撮像制御部３４によって設定される。また映像フレームのフレームレートについても撮
像制御部３４によって設定される。
映像認識部３２は、記憶部３０ａに記憶された認識用辞書に基づいて、映像取得部３１
から入力された映像から被撮像体の顔や目を認識する。記憶部３０ａに記憶した認識用辞
書には、顔や目等の形状データ等が含まれており、映像認識部３２は、映像に表われてい
る形状パターンを抽出し、認識用辞書に含まれる形状データと照合することによって顔や
目等を認識する。映像認識部３２は、様々な分野において開発されてきた公知の画像認識
処理の手法を用いて、映像から顔や目等を認識することができる。
動き検出部３３は、被撮像体の顔の少なくとも一部分における動きを検出しており、と
くに動きの速度を検出する。図２（ａ）～図２（ｃ）は、動き検出部３３による動きの検
出例を示す模式図である。動き検出部３３は、図２（ａ）に示すように、映像認識部３２
によって認識された目の部分において、瞬きの速度を検出して撮像制御部３４へ出力する
。目の瞬きは、時々刻々に目の輪郭部分が上下へ移動する動きによって発生する。
目の瞬きの速度が遅い場合には、映像取得部３１におけるシャッターの開期間を長くし
ても、目の瞬きによって発生する目の開状態および閉状態を認識することができる。逆に
目の瞬きの速度が速い場合には、映像取得部３１におけるシャッターの開期間が長いと、
目の瞬きによって発生する目の開状態および閉状態を認識することができなくなるので、
シャッターの開期間を短く設定しておく必要がある。
また、動き検出部３３は、図２（ｂ）に示すように、映像認識部３２によって認識され
た目の部分において、視線の動きの速度を検出して撮像制御部３４へ出力する。目の視線
の動きは、時々刻々に瞳の部分が左右や上下へ移動する動きによって発生する。
視線の動きの速度が遅い場合には、映像取得部３１におけるシャッターの開期間を長く
しても、視線の動きを撮影した映像から画像認識することができる。また、視線の動きの
速度が速い場合には、映像取得部３１におけるシャッターの開期間を短く設定しておく必
要がある。
また、動き検出部３３は、図２（ｃ）に示すように、映像認識部３２によって認識され
た顔全体について、顔全体が振れる動きの速度を検出して撮像制御部３４へ出力する。顔
が振れる動きは、時々刻々に顔の輪郭や特定の部分（例えば鼻部分）が左右や上下へ移動
する動きによって発生する。
顔が振れる動きの速度が遅い場合には、映像取得部３１におけるシャッターの開期間を
長くしても、顔が振れる動きを撮影した映像から画像認識することができる。また、顔が
振れる動きの速度が速い場合には、映像取得部３１におけるシャッターの開期間を短く設
定しておく必要がある。
撮像制御部３４は、動き検出部３３によって検出された被撮像体の顔の少なくとも一部
分における動きの速度に基づいて、映像取得部３１におけるシャッターの開期間、および
光照射部１１による発光強度を変化させる設定を行う。図３はシャッターの開期間を短く
した場合を示すタイミングチャートであり、図４はシャッターの開期間を長くした場合を
示すタイミングチャートである。
被撮像体の顔の少なくとも一部分における動きの速度が速い場合、図３に示すように映
像取得部３１におけるシャッターの開期間を短い値Ｌ１とし、光照射部１１による発光強
度を大きい値Ｐ２に設定する。撮像制御部３４は、被撮像体の顔の少なくとも一部分にお
ける動きの速度について所定の閾値を予め定めておき、動き検出部３３から入力された顔
の少なくとも一部分における動きの速度が閾値以上である場合に動きの速度が速いとし、
閾値未満である場合に動きの速度が遅いとする。
被撮像体の顔の少なくとも一部分における動きの速度が遅い場合、図４に示すように映
像取得部３１におけるシャッターの開期間を長い値Ｌ２（Ｌ２＞Ｌ１）とし、光照射部１
１による発光強度を小さい値Ｐ１（Ｐ１＜Ｐ２）に設定する。撮像制御部３４は、被撮像
体の顔の少なくとも一部分における動きの速度について所定の閾値を予め定めておき、動
き検出部３３から入力された顔の少なくとも一部分における動きの速度が閾値以上である
場合に動きの速度が速いとし、閾値未満である場合に動きの速度が遅いとする。尚、シャ
ッターの開期間であるＬ１およびＬ２、並びに発光強度Ｐ１およびＰ２は、夜間等の暗い
環境や被撮像体の顔の動きの速度などを想定して予め定めておくようにしてもよい。
撮像制御部３４は、被撮像体の顔の少なくとも一部分における動きの速度が遅い場合は
、動きの速度が速い場合に比べて、映像取得部３１におけるシャッターの開期間を長くし
、光照射部１１による発光強度を小さく設定する。また、撮像制御部３４は、被撮像体の
顔の少なくとも一部分における動きの速度に応じて、シャッターの開期間、および発光強
度を連続的に変化させて設定するようにしてもよい。
上述のように、被撮像体の顔の少なくとも一部分における動きとは、目の瞬き、視線の
動き、および顔が振れる動きなどであり、撮像制御部３４は、これらの動きに応じて、シ
ャッターの開期間および発光強度を変化させて設定する。
画像精度検出部５０は、被撮像体の顔や、顔の目や鼻などの部分の画像認識精度を検出
し、十分な画像認識精度が確保されているかを確認する。画像認識精度は、例えば、目や
鼻等の顔の部分や、顔の輪郭などが、隣接する部分と区別して認識可能であるかどうかの
尺度であり、具体的には境界部分の画像ぼけの程度等を指標とする。
また、目の開閉度および目の傾き等を分析する場合には、分析が可能な程度に画像精度
が確保されているかを確認するようにしてもよい。目の開閉度および目の傾き等を分析す
る場合、例えば、まぶた、白目および瞳の各部分の輝度値が、それぞれの部分を区別可能
な程度に差を有しているかが問題となり、各部分の輝度値の差に基づいて画像精度を規定
するようにしてもよい。即ち、各部分の輝度値の差が小さい場合に画像精度が低く、輝度
値の差が大きい場合に画像精度が高いなどとする。
例えば、シャッターの開期間を短い値から長い値に変化させるとき、画像認識精度が所
定の閾値よりも良好である場合に、撮像制御部３４は、シャッターの開期間を長い値に設
定変更する。撮像制御部３４は、シャッターの開期間を長い値に設定変更した後、画像認
識精度が十分に確保できない場合には、シャッターの開期間を短い値に戻す。同様に、例
えば、発光強度を大きい値から小さい値に変化させるとき、画像認識精度が所定の閾値よ
りも良好である場合に、撮像制御部３４は、発光強度を小さい値に設定変更する。撮像制
御部３４は、発光強度を小さい値に設定変更した後、画像認識精度が十分に確保できない
場合には、発光強度を大きい値に戻す。
また撮像制御部３４は、シャッターの開期間を長い値に設定変更する場合に、画像精度
検出部５０での画像認識精度が良好であることを確認しつつ、徐々にシャッター開期間を
短い値から長い値に設定変更していくようにしてもよい。同様に、撮像制御部３４は、発
光強度を小さい値に設定変更する場合に、画像精度検出部５０での画像認識精度が良好で
あることを確認しつつ、徐々に発光強度を大きい値から小さい値に設定変更していくよう
にしてもよい。
次に映像処理装置１００の動作について、シャッターおよび発光強度の変更処理に基づ
いて説明する。図５は、映像処理装置１００におけるシャッターおよび発光強度の変更処
理の手順を示すフローチャートである。映像処理装置１００の光照射部１１は被撮像体へ
の光の照射を開始し（Ｓ１）、撮像部１０で撮影された被撮像体の映像を映像取得部３１
によって取得する（Ｓ２）。映像認識部３２によって被撮像体の顔の少なくとも一部分を
画像認識し、認識された部分の動きの速度を動き検出部３３によって検出する（Ｓ３）。
撮像制御部３４は、動き検出部３３によって検出された動きの速度が所定の閾値以上で
あるか否かを判定する（Ｓ４）。撮像制御部３４は、被撮像体の顔の少なくとも一部分の
動きの速度が閾値以上であると判定した場合（Ｓ４：ＹＥＳ）、映像取得部３１における
シャッターの開期間を短い値とし、光照射部１１による発光強度を大きい値に設定し（Ｓ
５）、処理を終了する。但し、撮像制御部３４は、ステップＳ４における判定前からシャ
ッターの開期間が短く、発光強度を大きい値に設定されている場合には、当該設定状態を
維持する。
撮像制御部３４は、ステップＳ４において被撮像体の顔の少なくとも一部分の動きの速
度が閾値未満であると判定した場合（Ｓ４：ＮＯ）、映像取得部３１におけるシャッター
の開期間を長い値とし、光照射部１１による発光強度を小さい値に設定し（Ｓ６）、処理
を終了する。
撮像制御部３４は、更に、ステップＳ６の後に取得される映像に対して画像精度検出部
５０によって検出される画像認識精度が低下した場合、シャッターの開期間を短い値とし
、光照射部１１による発光強度を大きい値に設定変更するようにしてもよい。また、上述
のように、撮像制御部３４は、被撮像体の顔の少なくとも一部分における動きの速度に応
じて、シャッターの開期間、および発光強度を連続的に変化させて設定するようにしても
よい。
映像処理装置１００は、被撮像体の顔の少なくとも一部分の動きの速度が所定の閾値よ
りも遅い場合には、映像取得部３１におけるシャッターの開期間を長い値とし、光照射部
１１による発光強度を小さい値に設定する。映像処理装置１００は、発光強度を小さい値
に設定することによって被撮像体の目の負担を軽減し、シャッターの開期間を長い値に設
定することによって被撮像体に対して撮影に必要な光量を照射して明るい映像を取得する
ことができる。
映像処理装置１００は、被撮像体の顔の少なくとも一部分の動きの速度が所定の閾値よ
りも速い場合には、映像取得部３１におけるシャッターの開期間を短い値とし、光照射部
１１による発光強度を大きい値に設定する。映像処理装置１００は、シャッターの開期間
を短い値に設定することによって被撮像体の顔の少なくとも一部分の動きが速い場合に画
像認識精度の低下を抑制し、発光強度を大きい値に設定することによって明るい映像を取
得することができる。
映像処理装置１００は、動き検出部３３によって、被撮像体の顔の少なくとも一部分の
動きとして、目の瞬き、視線の動き、および顔が振れる動きなどを検出する。被撮像体に
おける目の瞬きの速度に応じてシャッターの開期間および発光強度を変化させることで、
目の開状態および閉状態の映像を確実に取得することができる。
また視線の動きの速度に応じてシャッターの開期間および発光強度を変化させることで
、視線の動きを捉えた映像を確実に取得することができる。同様に、顔が振れる動きの速
度に応じてシャッターの開期間および発光強度を変化させることで、被撮像体が左右およ
び上下のどの方向を向いているかを捉えた映像を確実に取得することができる。
（実施形態２）
図６は実施形態２に係る映像処理装置１００の構成を示すブロック図である。実施形態
２における映像処理装置１００は、実施形態１における構成にブレ量検出部３５を更に備
える。ブレ量検出部３５は、例えば映像処理装置１００が搭載される車両の振動などによ
って生じる被撮像体の映像におけるブレ量を、映像取得部３１によって取得した映像にお
けるエッジ部分の２重映りやボケ具合から検出する。
撮像制御部３４は、ブレ量検出部３５によって検出したブレ量に応じて、シャッターの
開期間Ｌ１およびＬ２、並びに発光強度Ｐ１およびＰ２の値を変化させる。撮像制御部３
４は、ブレ量が大きい場合には、シャッターの開期間が短く、発光強度が大きくなるよう
に設定する。また、撮像制御部３４は、ブレ量が小さい場合には、シャッターの開期間が
長く、発光強度が小さくなるように設定する。
映像処理装置１００は、ブレ量検出部３５によって検出したブレ量に応じて、シャッタ
ーの開期間Ｌ１およびＬ２、並びに発光強度Ｐ１およびＰ２の値を変化させることで、画
像認識精度の低下を抑制しつつ、被撮像体の目への負担を軽減することができる。
（変形例）
上述の各実施形態では、映像のフレームレートを変更しない範囲で、シャッターの開期
間および発光強度を可変とする例を示したが、更に映像のフレームレートを変化させるよ
うにしてもよい。撮像制御部３４は、被撮像体の顔の少なくとも一部分における動きの速
度が遅くブレ量も少ない場合、目の開閉度や左右の目の傾き等の分析のための画像認識精
度が十分に確保される範囲で、映像取得部３１によって取得する映像のフレームレートを
下げるように設定してもよい。
映像処理装置１００は、撮像制御部３４によって、取得する映像のフレームレートを下
げ、さらにシャッターの開期間を長くして発光強度を小さくすることで、被撮像体の目へ
の負担をより軽減することができる。
また上述の各実施形態において、動き検出部３３によって、被撮像体の顔の少なくとも
一部分の動きとして、目の瞬き、視線の動き、および顔が振れる動きなどを検出する例を
示したが、口や鼻等の動きを検出するようにしてもよい。また、動き検出部３３は、被撮
像体の顔の少なくとも一部分の動きとして、目の瞬きおよび視線の動きなどの一または複
数の動きを検出してもよい。撮像制御部３４は、一または複数の動きの速度に基づいて、
シャッターの開期間および発光強度を変化させるようにしてもよい。
また撮像制御部３４は、被撮像体に対して照射される外光が強く、光量が十分に確保さ
れている場合には、光照射部１１による発光強度を０に設定してもよい。撮像制御部３４
は、光量に余裕があれば、画像認識精度を上げるためにシャッターの開期間を短く設定し
てもよい。また映像処理装置１００は、更に目の開状態および閉状態を映像から検出する
目開閉検出部（図示略）を設け、目が閉じている場合には、画像認識精度を優先して、シ
ャッターの開期間を短く、発光強度を大きくしてもよい。
また映像処理装置１００は、光照射部１１において用いる光源の波長帯をカットするサ
ングラス等の存在を検知し、被撮像体が該当するサングラスを着用している場合には、画
像認識精度を優先して、シャッターの開期間を短く、発光強度を大きくしてもよい。
次に、上述の各実施形態および変形例に係る映像処理装置１００、映像処理方法および
映像処理プログラムの特徴を説明する。
映像処理装置１００は、光照射部１１、映像取得部３１、動き検出部３３および撮像制
御部３４を備える。光照射部１１は被撮像体の顔へ光を照射する。映像取得部３１は被撮
像体の顔を撮影した映像を取得する。動き検出部３３は、映像取得部３１によって取得さ
れた映像から顔の少なくとも一部分における動きの速度を検出する。撮像制御部３４は、
動き検出部３３によって検出された速度が所定の閾値よりも遅い場合には、映像取得部３
１におけるシャッターの開期間を長くして光照射部１１による発光強度を小さくし、速度
が所定の閾値よりも速い場合には、映像取得部３１におけるシャッターの開期間を短くし
て光照射部１１による発光強度を大きくする。これにより、映像処理装置１００は、発光
強度を小さい値に設定し、光の照射による被撮像体の目の負担を軽減することができる。
また動き検出部３３は、映像から目部分における瞬きの速度を検出する。これにより、
映像処理装置１００は、目の瞬きの速度に応じてシャッターの開期間および発光強度を変
化させ、目の開状態および閉状態の映像を確実に取得することができる。
また動き検出部３３は、映像から視線の動きの速度を検出する。これにより、映像処理
装置１００は、視線の動きの速度に応じてシャッターの開期間および発光強度を変化させ
、視線の動きを捉えた映像を確実に取得することができる。
また動き検出部３３は、映像から顔が振れる動きの速度を検出する。これにより、映像
処理装置１００は、顔が振れる動きの速度に応じてシャッターの開期間および発光強度を
変化させることで、被撮像体が左右および上下のどの方向を向いているかを捉えた映像を
確実に取得することができる。
映像処理装置１００は、被撮像体のブレ量を検出するブレ量検出部３５を更に備える。
撮像制御部３４は、ブレ量検出部３５によって検出されたブレ量に応じてシャッターの開
期間および発光強度を変化させる。これにより、映像処理装置１００は、画像認識精度の
低下を抑制しつつ、被撮像体の目への負担を軽減することができる。
また映像処理装置１００は、動き検出部３３によって検出された速度に基づいて、映像
取得部３１によって取得する映像のフレームレートを変化させる。これにより、映像処理
装置１００は、取得する映像のフレームレートを下げ、さらにシャッターの開期間を長く
して発光強度を小さくすることで、被撮像体の目への負担をより軽減することができる。
映像処理方法は、光照射ステップ、映像取得ステップ、動き検出ステップおよび撮像制
御ステップを備える。光照射ステップは被撮像体の顔へ光を照射する。映像取得ステップ
は被撮像体の顔を撮影した映像を取得する。動き検出ステップは、映像取得ステップによ
って取得された映像から顔の少なくとも一部分における動きの速度を検出する。撮像制御
ステップは、動き検出ステップによって検出された速度が所定の閾値よりも遅い場合には
、映像取得ステップにおけるシャッターの開期間を長くして光照射ステップによる発光強
度を小さくし、速度が所定の閾値よりも速い場合には、映像取得ステップにおけるシャッ
ターの開期間を短くして光照射ステップによる発光強度を大きくする。この映像処理方法
によれば、発光強度を小さい値に設定し、光の照射による被撮像体の目の負担を軽減する
ことができる。
映像処理プログラムは、光照射ステップ、映像取得ステップ、動き検出ステップおよび
撮像制御ステップをコンピュータに実行させる。光照射ステップは被撮像体の顔へ光を照
射する。映像取得ステップは被撮像体の顔を撮影した映像を取得する。動き検出ステップ
は、映像取得ステップによって取得された映像から顔の少なくとも一部分における動きの
速度を検出する。撮像制御ステップは、動き検出ステップによって検出された速度が所定
の閾値よりも遅い場合には、映像取得ステップにおけるシャッターの開期間を長くして光
照射ステップによる発光強度を小さくし、速度が所定の閾値よりも速い場合には、映像取
得ステップにおけるシャッターの開期間を短くして光照射ステップによる発光強度を大き
くする。この映像処理プログラムによれば、発光強度を小さい値に設定し、光の照射によ
る被撮像体の目の負担を軽減することができる。
以上、本発明の実施の形態をもとに説明した。これらの実施の形態は例示であり、いろ
いろな変形および変更が本発明の特許請求範囲内で可能なこと、またそうした変形例およ
び変更も本発明の特許請求の範囲にあることは当業者に理解されるところである。従って
、本明細書での記述および図面は限定的ではなく例証的に扱われるべきものである。
１１ 光照射部、 ３１ 映像取得部、 ３３ 動き検出部、
３４ 撮像制御部、 ３５ ブレ量検出部、 １００ 映像処理装置。

Claims (3)

  1. 被撮像体の顔を撮影した映像を取得する映像取得部と、
    前記映像取得部によって取得された前記映像から顔の少なくとも一部分における動きの
    速度を検出する動き検出部と、
    前記映像取得部によって取得された前記映像から目の開状態および閉状態を検出する目
    開閉検出部と、
    前記動き検出部によって検出された前記速度および前記目開閉検出部によって検出され
    た目の開閉状態に基づいて、前記映像取得部におけるシャッターの開期間を変化させる撮
    像制御部と、
    を備えることを特徴とする映像処理装置。
  2. 被撮像体の顔を撮影した映像を取得する映像取得ステップと、
    前記映像取得ステップによって取得された前記映像から顔の少なくとも一部分における
    動きの速度を検出する動き検出ステップと、
    前記映像取得ステップによって取得された前記映像から目の開状態および閉状態を検出
    する目開閉検出ステップと、
    前記動き検出ステップによって検出された前記速度および前記目開閉検出ステップによ
    って検出された目の開閉状態に基づいて、前記映像取得ステップにおけるシャッターの開
    期間を変化させる撮像制御ステップと、
    を備えることを特徴とする映像処理方法。
  3. 被撮像体の顔を撮影した映像を取得する映像取得ステップと、
    前記映像取得ステップによって取得された前記映像から顔の少なくとも一部分における
    動きの速度を検出する動き検出ステップと、
    前記映像取得ステップによって取得された前記映像から目の開状態および閉状態を検出
    する目開閉検出ステップと、
    前記動き検出ステップによって検出された前記速度および前記目開閉検出ステップによ
    って検出された目の開閉状態に基づいて、前記映像取得ステップにおけるシャッターの開
    期間を変化させる撮像制御ステップと、
    をコンピュータに実行させることを特徴とする映像処理プログラム。
JP2023139766A 2020-03-12 2023-08-30 映像処理装置、映像処理方法および映像処理プログラム Pending JP2023164485A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023139766A JP2023164485A (ja) 2020-03-12 2023-08-30 映像処理装置、映像処理方法および映像処理プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020042921A JP7342746B2 (ja) 2020-03-12 2020-03-12 映像処理装置、映像処理方法および映像処理プログラム
JP2023139766A JP2023164485A (ja) 2020-03-12 2023-08-30 映像処理装置、映像処理方法および映像処理プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020042921A Division JP7342746B2 (ja) 2020-03-12 2020-03-12 映像処理装置、映像処理方法および映像処理プログラム

Publications (1)

Publication Number Publication Date
JP2023164485A true JP2023164485A (ja) 2023-11-10

Family

ID=77671567

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020042921A Active JP7342746B2 (ja) 2020-03-12 2020-03-12 映像処理装置、映像処理方法および映像処理プログラム
JP2023139766A Pending JP2023164485A (ja) 2020-03-12 2023-08-30 映像処理装置、映像処理方法および映像処理プログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020042921A Active JP7342746B2 (ja) 2020-03-12 2020-03-12 映像処理装置、映像処理方法および映像処理プログラム

Country Status (5)

Country Link
US (1) US11871118B2 (ja)
EP (1) EP4120015A4 (ja)
JP (2) JP7342746B2 (ja)
CN (1) CN115104062A (ja)
WO (1) WO2021181775A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7319710B2 (ja) * 2021-09-03 2023-08-02 株式会社ユニバーサルエンターテインメント 遊技機

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3179242B2 (ja) 1993-04-28 2001-06-25 オリンパス光学工業株式会社 ブレ防止カメラ
JP4670521B2 (ja) * 2005-07-19 2011-04-13 株式会社ニコン 撮像装置
US20080158357A1 (en) * 2007-01-03 2008-07-03 International Business Machines Corporation Apparatus for driver analysis using rearview mirror
JP2010028635A (ja) * 2008-07-23 2010-02-04 Mitsubishi Electric Engineering Co Ltd 車載型映像記録装置
JP2014109958A (ja) * 2012-12-03 2014-06-12 Denso Corp 撮影画像表示装置、および撮影画像表示方法
JP2014179686A (ja) * 2013-03-13 2014-09-25 Canon Inc 撮像装置、その制御方法、および制御プログラム
JP6234762B2 (ja) * 2013-10-09 2017-11-22 アイシン精機株式会社 眼部検出装置、方法、およびプログラム
JP2017004389A (ja) * 2015-06-12 2017-01-05 学校法人早稲田大学 運転支援装置及び運転支援方法
US11093768B2 (en) * 2018-05-10 2021-08-17 Mitsubishi Electric Corporation Occupant monitoring device and occupant monitoring method

Also Published As

Publication number Publication date
CN115104062A (zh) 2022-09-23
JP7342746B2 (ja) 2023-09-12
JP2021144150A (ja) 2021-09-24
EP4120015A1 (en) 2023-01-18
WO2021181775A1 (ja) 2021-09-16
US11871118B2 (en) 2024-01-09
US20220417408A1 (en) 2022-12-29
EP4120015A4 (en) 2023-09-06

Similar Documents

Publication Publication Date Title
JP5212927B2 (ja) 顔撮影システム
JP7138168B2 (ja) 低照明光条件下での物体追跡における信号対雑音比を向上させるためのシステム及び方法
JP5761074B2 (ja) 撮像制御装置及びプログラム
US6134339A (en) Method and apparatus for determining the position of eyes and for correcting eye-defects in a captured frame
JP4845698B2 (ja) 眼部検出装置、眼部検出方法及びプログラム
WO2020179174A1 (ja) 映像処理装置、映像処理方法および映像処理プログラム
JP2023164485A (ja) 映像処理装置、映像処理方法および映像処理プログラム
JP2020145724A (ja) 運転者の目位置の検出装置と方法、及びローリングシャッター駆動方式のイメージセンサーを備えた撮像装置とその照明制御方法
KR20160050755A (ko) 전자 장치 및 그의 홍채 인식 방법
WO2011158463A1 (ja) 外光映り込み判定装置、視線検出装置及び外光映り込み判定方法
JP2007004448A (ja) 視線検出装置
CN109565549A (zh) 用于运行内饰摄像机的方法和设备
US20210357619A1 (en) Video processing device, video processing method, and recording medium for video processing
JP2004192552A (ja) 開閉眼判定装置
WO2023231479A1 (zh) 瞳孔检测方法、装置、存储介质及电子设备
CN102655565B (zh) 防红眼人像拍摄系统及方法
JP5206190B2 (ja) ドライバー監視装置
KR102038371B1 (ko) 운전자의 눈 위치 검출 장치 및 방법
JP2020101624A (ja) 撮像装置、電子機器、撮像装置の制御方法およびプログラム
US20210295516A1 (en) Image retention and stitching for minimal-flash eye disease diagnosis
JP2014216694A (ja) 高解像度化処理付き追尾雲台装置
JP2024000525A (ja) まばたき検出方法及びシステム
JP2008171107A (ja) 顔状況判定処理装置および撮像装置
JPH06347236A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230830

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240507