JP2017059103A - 判定装置、判定方法、判定プログラムおよび記録媒体 - Google Patents

判定装置、判定方法、判定プログラムおよび記録媒体 Download PDF

Info

Publication number
JP2017059103A
JP2017059103A JP2015184903A JP2015184903A JP2017059103A JP 2017059103 A JP2017059103 A JP 2017059103A JP 2015184903 A JP2015184903 A JP 2015184903A JP 2015184903 A JP2015184903 A JP 2015184903A JP 2017059103 A JP2017059103 A JP 2017059103A
Authority
JP
Japan
Prior art keywords
region
determination
area
detected
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015184903A
Other languages
English (en)
Inventor
新 浩治
Koji Arata
浩治 新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2015184903A priority Critical patent/JP2017059103A/ja
Priority to CN201610523290.7A priority patent/CN106547347A/zh
Priority to US15/243,814 priority patent/US20170083777A1/en
Priority to EP16186323.8A priority patent/EP3144850A1/en
Publication of JP2017059103A publication Critical patent/JP2017059103A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593Recognising seat occupancy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002Seats provided with an occupancy detection means mounted therein or thereon
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】機器の操作者をより高精度に判定できるようにすること。【解決手段】判定装置100は、第1位置と第2位置の間の第1領域、第1領域よりも第2位置側の第2領域、および、第1位置と第2位置の前方に設置された機器300の操作部を基準とした第3領域を含む距離画像を受け取る入力部110と、距離画像に基づいて、第1領域および第2領域の少なくとも一方において第1対象物を検知し、第3領域において第2対象物を検知する検知部120と、第1対象物が第1領域と第2領域のいずれに含まれるかを示す検知結果に基づき、第1対象物が第1領域に含まれるとき、機器300の操作者は第1位置に存在すると判定し、第1対象物が第2領域に含まれるとき、機器300の操作者は第2位置に存在すると判定する判定部130と、を備える。【選択図】図1

Description

本発明は、判定装置、判定方法、判定プログラムおよび記録媒体に関する。
近年、所定の機器を操作する人物を判定する技術が知られている。
例えば特許文献1には、撮影画像から操作者の手の重心を抽出し、その重心が画像内に設定された基準線の左側領域にあるか右側領域にあるかによって操作者を判定する装置が開示されている。
特開2004−67031号公報
しかしながら、特許文献1に記載の装置では、判定に用いられる領域が撮影画像を単純に2等分したものであり、また、判定に用いられる値が重心だけであるため、誤判定のおそれがある。
本発明の目的は、機器の操作者をより高精度に判定できる判定装置、判定方法、判定プログラムおよび記録媒体を提供することである。
本発明の一態様に係る判定装置は、第1位置と、前記第1位置との相対位置関係が固定された第2位置との間における所定範囲の第1領域、前記第1位置と前記第2位置との間における前記第1領域よりも前記第2位置の側の所定範囲の第2領域、および、前記第1位置および前記第2位置の前方に設置された機器の操作部を基準とした所定範囲内にある第3領域を含む距離画像を受け取る入力部と、前記距離画像に基づいて、前記第1領域および前記第2領域のうち少なくとも一方において所定の大きさ以上の第1対象物を検知し、前記第3領域において所定の大きさ以上の第2対象物を検知する検知部と、前記検知部によって前記第1対象物および前記第2対象物が検知された場合において、前記第1対象物が前記第1領域と前記第2領域とのうちいずれに含まれるかを示す検知結果に基づき、前記第1対象物が前記第1領域に含まれるとき、前記機器の操作者は前記第1位置に存在すると判定し、一方、前記第1対象物が前記第2領域に含まれるとき、前記機器の操作者は前記第2位置に存在すると判定する判定部と、を備える構成を採る。
本発明の一態様に係る判定方法は、第1位置と、前記第1位置との相対位置関係が固定された第2位置との間における所定範囲の第1領域、前記第1位置と前記第2位置との間における前記第1領域よりも前記第2位置の側の所定範囲の第2領域、および、前記第1位置および前記第2位置の前方に設置された機器の操作部を基準とした所定範囲内にある第3領域を含む距離画像を受け取るステップと、前記距離画像に基づいて、前記第1領域および前記第2領域のうち少なくとも一方において所定の大きさ以上の第1対象物を検知し、前記第3領域において所定の大きさ以上の第2対象物を検知するステップと、前記第1対象物および前記第2対象物が検知された場合において、前記第1対象物が前記第1領域と前記第2領域とのうちいずれに含まれるかを示す検知結果に基づき、前記第1対象物が前記第1領域に含まれるとき、前記機器の操作者は前記第1位置に存在すると判定し、一方、前記第1対象物が前記第2領域に含まれるとき、前記機器の操作者は前記第2位置に存在すると判定するステップと、を有するようにした。
本発明の一態様に係る判定プログラムは、第1位置と、前記第1位置との相対位置関係が固定された第2位置との間における所定範囲の第1領域、前記第1位置と前記第2位置との間における前記第1領域よりも前記第2位置の側の所定範囲の第2領域、および、前記第1位置および前記第2位置の前方に設置された機器の操作部を基準とした所定範囲内にある第3領域を含む距離画像を受け取る処理と、前記距離画像に基づいて、前記第1領域および前記第2領域のうち少なくとも一方において所定の大きさ以上の第1対象物を検知し、前記第3領域において所定の大きさ以上の第2対象物を検知する処理と、前記第1対象物および前記第2対象物が検知された場合において、前記第1対象物が前記第1領域と前記第2領域とのうちいずれに含まれるかを示す検知結果に基づき、前記第1対象物が前記第1領域に含まれるとき、前記機器の操作者は前記第1位置に存在すると判定し、一方、前記第1対象物が前記第2領域に含まれるとき、前記機器の操作者は前記第2位置に存在すると判定する処理と、をコンピュータに実行させるようにした。
本発明の一態様に係る記録媒体は、所定の機器を操作する人物を判定する判定装置において実行される判定プログラムを記録したコンピュータ読み取り可能で非一時的な記録媒体であって、前記判定装置のコンピュータに対して、第1位置と、前記第1位置との相対位置関係が固定された第2位置との間における所定範囲の第1領域、前記第1位置と前記第2位置との間における前記第1領域よりも前記第2位置の側の所定範囲の第2領域、および、前記第1位置および前記第2位置の前方に設置された機器の操作部を基準とした所定範囲内にある第3領域を含む距離画像を受け取る処理と、前記距離画像に基づいて、前記第1領域および前記第2領域のうち少なくとも一方において所定の大きさ以上の第1対象物を検知し、前記第3領域において所定の大きさ以上の第2対象物を検知する処理と、
前記第1対象物および前記第2対象物が検知された場合において、前記第1対象物が前記第1領域と前記第2領域とのうちいずれに含まれるかを示す検知結果に基づき、前記第1対象物が前記第1領域に含まれるとき、前記機器の操作者は前記第1位置に存在すると判定し、一方、前記第1対象物が前記第2領域に含まれるとき、前記機器の操作者は前記第2位置に存在すると判定する処理と、を実行させる判定プログラムを記録した構成を採る。
本発明によれば、機器の操作者をより高精度に判定できる。
本発明の実施の形態に係る判定装置の構成の一例を示すブロック図 第1領域、第2領域、および第3領域の一例を示す上面図 第1領域、第2領域、および第3領域の一例を示す斜視図 第1座席の乗員が機器の操作を行おうとしている状態の一例を示す上面図 図3Aに示した状態の一例を示す斜視図 第2座席の乗員が機器の操作を行おうとしている状態の一例を示す上面図 図4Aに示した状態の一例を示す斜視図 本発明の実施の形態に係る判定装置の動作の流れの一例を示すフロー図 第1領域および第2領域の変形例を示す上面図 第1領域および第2領域の変形例を示す斜視図 第1領域および第2領域の変形例を示す斜視図 各部の機能をプログラムにより実現するコンピュータのハードウェア構成の一例を示す図
以下、本発明の各実施の形態について、図面を参照して詳細に説明する。ただし、各実施の形態において、同一機能を有する構成には、同一符号を付し、重複する説明は省略する。
まず、本発明の実施の形態に係る判定装置100の構成の一例について、図1を用いて説明する。図1は、本発明の実施の形態に係る判定装置100の構成の一例を示すブロック図である。
図1に示す判定装置100、カメラ200、および機器300は、例えば、自動車、鉄道車両、船舶、航空機などの移動体に搭載される。本実施の形態では、判定装置100、カメラ200、および機器300が自動車に搭載される場合を例に挙げて説明する。
カメラ200は、例えば、測距カメラ、ステレオカメラ、TOF(Time Of Flight)方式のカメラなどであり、車室内の所定範囲を撮影して距離画像を取得し、その距離画像を判定装置100へ出力する。ここでいう所定範囲とは、車室内の空間に設定される第1領域、第2領域、第3領域を含む範囲である。
ここで、図2を用いて、第1領域、第2領域、および第3領域の一例について説明する。図2Aは、車室内を真上から見たときの第1領域、第2領域、第3領域の一例を示す上面図である。図2Bは、図2Aに示した第1領域、第2領域、第3領域の一例を、車室内の機器300側から見た斜視図である。
図2Aに示すように、第1座席S1(第1位置の一例)には乗員P1が着席しており、第2座席S2(第2位置の一例)には乗員P2が着席している。第2座席S2は、第1座席S1との相対位置関係が固定されている。本実施の形態では、例として、第1座席S1が運転席であり、乗員P1が運転者であり、第2座席S2が助手席であり、乗員P2が同乗者であるとする。
また、図2Aに示すように、第1座席S1および第2座席S2の前方には機器300(詳細は後述)が設置されている。機器300の第1座席S1および第2座席S2側の面には、機器300の操作部(図示略)が備えられているとする。
図2Aに示すように、第1領域1および第2領域2は、第1座席S1と第2座席S2との間に設定される。第1領域1は、第2領域2よりも第1座席S1側に位置する。第2領域2は、第1領域1よりも第2座席S2側に位置する。第1領域1と第2領域2は、真上から見たときに互いに平行である。このような平行な配置の場合、検知部120における演算処理の負荷が最も軽くなる。
図2Aに示すように、第3領域3は、機器300の操作部を基準として設定される。例えば、第3領域3は、真上から見たときに、機器300において操作部が備えられた面と第1領域1および第2領域2との間に設定される。
このような第1領域1、第2領域2、および第3領域3は、それぞれ、図2Bに示すように直方体状である。
以上、第1領域1、第2領域2、および第3領域3の一例について説明した。以下、図1の説明に戻る。
機器300は、自動車において用いられる機器である。機器300は、例えば、カーナビゲーション装置、オーディオ装置、エアコンディショナー装置、タブレット、スマートフォン、リアカメラ、サイドカメラ、フロントカメラ、ETC車載器である。または、機器300は、例えば、ハンドル、シフトレバー(ギアレバー)、ウィンカーレバー(ウィンカースイッチ)、ワイパーレバー(ワイパースイッチ)、ドアロックスイッチ、パワーウィンドウの昇降スイッチ、エンジンスタートスイッチ、アクセルペダル、ブレーキペダル、クラッチペダルなどでもよい。
機器300は、有線ネットワーク(例えば、CAN:Controller Area Network )、無線ネットワーク(例えば、無線LAN:Local Area Network)、または、有線ネットワークと無線ネットワークが混在したネットワークを介して判定装置100と接続される。そして、機器300は、判定装置100から受け取る制御信号(後述する第1の制御信号または第2の制御信号)に基づき制御される。
判定装置100は、入力部110、検知部120、判定部130、制御部140を備える。
入力部110は、カメラ200から距離画像を受け取り、その距離画像を検知部120へ出力する。
検知部120は、入力部110から受け取った距離画像に基づいて、第1領域1および第2領域2のうち少なくとも一方において所定の大きさ以上の第1対象物を検知し、第3領域3において所定の大きさ以上の第2対象物を検知する。第1対象物は、例えば乗員の腕であり、第2対象物は、例えば乗員の手である。ここで、腕とは、肩から手首までのうちの所定の部位をいう。また、手とは、手首から指先までのうちの所定の部位をいう。
ここで、図3、図4を用いて、検知部120の検知処理の一例について説明する。
まず、図3を用いて、乗員P1が機器300の操作を行うときの検知処理について説明する。図3Aは、乗員P1が機器300の操作を行おうとしている状態の一例を示す上面図である。図3Bは、図3Aに示した状態の一例を示す斜視図である。
図3Aに示すように、乗員P1は、腕11(第1対象物の一例)を機器300の方へ延ばして、人差し指12(第2対象物の一例)で機器300の操作部を操作しようとしている。このとき、図3Aおよび図3Bに示すように、腕11は第1領域1内にあり、人差し指12は第3領域3内にあるとする。この場合、検知部120は、第1領域1内にある物体の大きさ(例えば、物体の表面に相当する部分の画素数)が所定値以上であれば、第1領域1に腕11があると検知する。また、検知部120は、第3領域3内にある物体の大きさ(例えば、物体の表面に相当する部分の画素数)が所定値以上であれば、第3領域3に人差し指12があると検知する。
このようにして、検知部120は、第1領域1において腕11を検知し、かつ、第3領域3において人差し指12を検知した場合、腕11が第1領域1に含まれる旨を示す検知結果情報を判定部130へ出力する。
次に、図4を用いて、乗員P2が機器300の操作を行うときの検知処理について説明する。図4Aは、乗員P2が機器300の操作を行おうとしている状態の一例を示す上面図である。図4Bは、図4Aに示した状態の一例を示す斜視図である。
図4Aに示すように、乗員P2は、腕21(第1対象物の一例)を機器300の方へ延ばして、人差し指22(第2対象物の一例)で機器300の操作部を操作しようとしている。このとき、図4Aおよび図4Bに示すように、腕21は第2領域2内にあり、人差し指22は第3領域3内にある。検知部120は、第2領域2内にある腕21の大きさ(例えば、腕の表面に相当する部分の画素数)が所定値以上であれば、第2領域2に腕21があると検知する。また、検知部120は、第3領域3内にある人差し指22の大きさ(例えば、指の表面に相当する部分の画素数)が所定値以上であれば、第3領域3に人差し指22があると検知する。
このように、検知部120は、第2領域2において腕21を検知し、かつ、第3領域3において人差し指22を検知した場合、腕21が第2領域2に含まれる旨を示す検知結果情報を判定部130へ出力する。
なお、第1対象物の検知と第2対象物の検知は、同じタイミングで行われてもよいし、異なるタイミングで行われてもよい。
また、上記説明では、腕11が第1領域1のみに存在する場合と腕21が第2領域2のみに存在する場合を例に挙げたが、機器300の設置位置または機器300における操作部の配置位置によっては、機器300へ向けて延ばした所定の大きさ以上の腕11(または腕21)が第1領域1と第2領域2に跨って存在する場合も生じうる。その場合、検知部120は、第1領域1における腕11(または腕21)の部分の大きさと、第2領域2における腕11(または腕21)の部分の大きさとを比較し、大きい方の腕11(または腕21)の部分が存在する領域に腕11(または腕21)が含まれる旨を示す検知結果情報を判定部130へ出力する。例えば、第1領域1と第2領域2とに腕11が跨って存在しており、第1領域1における腕11の部分の大きさが第2領域2における腕11の部分の大きさよりも大きい場合、腕11が第1領域1に含まれる旨を示す検知結果情報を判定部130へ出力する。
以上、検知部120の検知処理の一例について説明した。以下、図1の説明に戻る。
判定部130は、検知部120から受け取った検知結果情報に基づいて、機器300の操作を行おうしている者(以下、操作者ともいう)が乗員P1であるかまたは乗員P2であるかを判定する。上述した通り、本実施の形態では、例えば、乗員P1は運転者であり、乗員P2は同乗者である。
検知結果情報が第1領域1に腕11が含まれる旨を示す場合、判定部130は、乗員P1が機器300の操作者であると判定する。
一方、検知結果情報が第2領域2に腕21が含まれる旨を示す場合、判定部130は、乗員P2が機器300の操作者であると判定する。
そして、判定部130は、上記判定結果(機器300の操作者が乗員P1または乗員P2のいずれであるか)を示す判定結果情報を制御部140へ出力する。
制御部140は、判定部130から受け取った判定結果情報に基づいて機器300を制御する制御信号を生成し、その制御信号を機器300へ出力する。
例えば、判定結果情報が、乗員P1が機器300の操作者であることを示す場合、制御部140は、機器300に対する所定の操作を制限させるための第1制御信号を生成し、その第1制御信号を機器300へ出力する。
例えば、機器300がナビゲーション装置である場合、第1制御信号は、全てのメニューを表示しないように機器300を制御する信号、または、運転者用のメニューのみを表示するように機器300を制御する信号となる。
機器300は、制御部140から受け取った第1制御信号に基づき制御され、例えば、全ての操作または一部の操作を受け付けない状態となる。これにより、運転者である乗員P1が機器300に対して行える操作は、制限されることになる。よって、運転者が運転中に機器300の操作を行うことで発生しうる事故等を防止することができる。
一方、例えば、判定結果情報が、乗員P2が機器300の操作者であることを示す場合、制御部140は、機器300に対する所定の操作を制限させないための第2制御信号を生成し、その第2制御信号を機器300へ出力する。
例えば、機器300がナビゲーション装置である場合、第2制御信号は、全てのメニューを表示するように機器300を制御する信号となる。
機器300は、制御部140から受け取った第2制御信号に基づいて制御され、例えば、全ての操作を受け付ける状態となる。これにより、同乗者である乗員P2が機器300に対して行える操作は、制限されないことになる。よって、運転に関わらない同乗者は、自由に機器300の操作を行うことができる。
なお、上記説明では、制御部140は、生成した第1制御信号もしくは第2制御信号を機器300へ出力するとしたが、同乗者である乗員P2が機器300の操作者であることを示す場合のみ、生成した第2制御信号を機器300へ出力するようにしてもよい。この場合、機器300は第2制御信号を受け取った場合のみ、全ての操作を受け付ける状態となり、第2制御信号を受け取らなかった場合には、所定の操作が制限される状態とある。これにより、機器300に出力される制御信号として第1制御信号は不要となる。
また、上記説明では、第1座席S1が運転席(乗員P1が運転者)であり、第2座席S2が助手席(乗員P2が同乗者)である場合を想定し、第1対象物が第1領域1に含まれる場合に第1制御信号が出力され、第1対象物が第2領域2に含まれる場合に第2制御信号が出力されるようにしたが、これに限定されない。例えば、第1座席S1が助手席(乗員P1が同乗者)であり、第2座席S2が運転席(乗員P2が運転者)である場合を想定し、第1対象物が第1領域1に含まれる場合に第2制御信号が出力され、第1対象物が第2領域2に含まれる場合に第1制御信号が出力されるようにしてもよい。
また、図1の例では、判定装置100が制御部140を含む構成としたが、判定装置100は、制御部140を含まない構成としてもよい。すなわち、判定装置100は、少なくとも入力部110、検知部120、および判定部130を含む構成であればよい。
次に、本発明の実施の形態に係る判定装置100の動作の一例について、図5を用いて説明する。図5は、本発明の実施の形態に係る判定装置100の動作の流れの一例を示すフロー図である。
まず、入力部110は、カメラ200から距離画像を受け取る(ステップS101)。上述した通り、距離画像は、車室内における第1領域1、第2領域2、第3領域3を含む範囲を撮影した画像である。そして、入力部110は、カメラ200から受け取った距離画像を検知部120へ出力する。
次に、検知部120は、入力部110から受け取った距離画像に基づいて、第1領域1および第2領域2のうち少なくとも一方において所定の大きさ以上の第1対象物を検知し、かつ、第3領域3において所定の大きさ以上の第2対象物を検知したか否かを判定する(ステップS102)。第1対象物は、上述した通り、例えば、乗員P1の腕11または乗員P2の腕21である。また、第2対象物は、上述した通り、例えば、乗員P1の人差し指12または乗員P2の人差し指22である。
第1対象物または第2対象物のいずれかを検知しなかった場合(ステップS102:NO)、フローはステップS101に戻る。
第1対象物および第2対象物の両方を検知した場合(ステップS102:YES)、検知部120は、検知結果情報を判定部130へ出力する。上述した通り、例えば、第1領域1において腕11を検知し、かつ、第3領域3において人差し指12を検知した場合、検知部120は、腕11が第1領域1に含まれる旨を示す検知結果情報を判定部130へ出力する。または、上述した通り、例えば、第2領域2において腕21を検知し、かつ、第3領域3において人差し指22を検知した場合、検知部120は、腕21が第2領域2に含まれる旨を示す検知結果情報を判定部130へ出力する。
次に、判定部130は、検知部120から受け取った検知結果情報に基づいて、第1対象物が第1領域1と第2領域2のどちらに含まれるかを判定する(ステップS103)。
検知結果情報が、第1対象物が第1領域1に含まれる旨を示す場合(ステップS103:第1領域)、判定部130は、第1座席S1の乗員P1が機器300の操作者であると判定する(ステップS104)。上述した通り、例えば、第1座席S1は運転席であり、乗員P1は運転者である。そして、判定部130は、第1座席S1の乗員P1が機器300の操作者であることを示す判定結果情報を制御部140へ出力する。
そして、制御部140は、判定結果情報が、第1座席S1の乗員P1が機器300の操作者であることを示すことから、機器300に対する所定の操作を制限させるための第1制御信号を生成し、その第1制御信号を機器300へ出力する(ステップS105)。機器300は、第1制御信号に基づいて制御され、例えば、全ての操作または一部の操作を受け付けない状態となる。これにより、運転者である乗員P1は、機器300に対して行える操作を制限される。
一方、検知結果情報が、第1対象物が第2領域2に含まれる旨を示す場合(ステップS103:第2領域)、判定部130は、第2座席S2の乗員P2が機器300の操作者であると判定する(ステップS106)。上述した通り、例えば、第2座席S2は助手席であり、乗員P2は同乗者である。そして、判定部130は、第2座席S2の乗員P2が機器300の操作者であることを示す判定結果情報を制御部140へ出力する。
そして、制御部140は、判定結果情報が、第2座席S2の乗員P2が機器300の操作者であることを示すことから、機器300に対する所定の操作を制限させないための第2制御信号を生成し、その第2制御信号を機器300へ出力する(ステップS107)。機器300は、第2制御信号に基づいて制御され、例えば、全ての操作を受け付ける状態となる。これにより、同乗者である乗員P2は、機器300に対して行える操作を制限されない。
以上説明したように、本実施の形態の判定装置100によれば、第2座席S2よりも第1座席S1側に設定された第1領域1、および、第1座席S1よりも第2座席S2側に設定された第2領域2の少なくとも一方において第1対象物を検知し、かつ、機器300の操作部を基準として設定された第3領域3において第2対象物を検知した場合に、第1対象物が第1領域1と第2領域2のどちらに含まれるかに応じて、操作者を判定する。よって、判定装置100は、機器の操作者をより高精度に判定でき、より適切な制御を行うことができる。
以上、本発明の実施の形態について説明したが、本発明は、実施の形態の説明に限定されない。以下、各変形例について説明する。
<変形例1>
実施の形態では、第1領域1と第2領域2が真上から見たときに平行である例(図2A参照)を挙げて説明したが、これに限定されない。例えば、図6に示すように、第1領域1と第2領域2は、真上から見たときに平行でなくてもよい。
<変形例2>
また、実施の形態では、第1領域1と第2領域2とがそれぞれ1つずつ設定される例(図2B参照)を挙げて説明したが、これに限定されない。例えば、図7Aに示すように、上下方向に2つの第1領域1a、1bが設定されてもよいし、上下方向に2つの第2領域2a、2bが設定されてもよい。このように、第1領域および第2領域の数を増やすことで、手首、肘、肩など、人物の腕に関連する複数の部位の存在の有無を同時に判定できるようになる。これにより、人体の腕以外の部分が第1領域1または第2領域2に入った状態を誤判定するケースを削減でき、第3領域3で検知される第2対象物に関連する第1対象物が運転者または同乗者のどちらのものであるかを、より正確に判定できるようになる。
<変形例3>
また、実施の形態では、第1領域1と第2領域2の形状が直方体状である例(図2B参照)を挙げて説明したが、これに限定されない。例えば、図7Bに示すように、円柱状の第1領域1cと第2領域2cが設定されてもよい。その場合、検知部120は、数式またはルックアップテーブルを用いることで、第1対象物が第1領域1cおよび第2領域2cの少なくとも一方にあるか否かを判定してもよい。ルックアップテーブルは、例えば、第1対象物が第1領域1cまたは第2領域2cにあると判定する座標(x,y,z)がリスト化されたものである。なお、直方体状は、円柱状に比べて、演算処理の負荷が軽い。また、第1領域および第2領域は、上述した円柱状以外にも、例えば、円筒形、円筒形を縦半分に割った形状、円筒形を縦半分に割ったものを第1対象物の形状(例えば、肘が折り曲がった形状)に擬えた形状であってもよい。
<変形例4>
また、実施の形態および変形例3では、第1領域および第2領域が所定の立体形状である場合を例に挙げて説明したが、平面を用いてもよい。例えば、1つの平面を用いる場合、第1対象物がその平面よりも上または下のいずれにあるかを判定することで、第1対象物の存在を判定してもよい。また、例えば、2つの平面を用いる場合、第1対象物が2つの平面の間にあるか否かを判定することで、第1対象物の存在を判定してもよい。
<変形例5>
また、実施の形態では、第1領域1および第2領域2は真上から見たときに第1座席S1と第2座席S2との間にある例(図2A参照)を挙げて説明したが、これに限定されない。例えば、第1領域1の一部分は、真上から見たときに第1座席S1と重なってもよい。また、第2領域2の一部分は、真上から見たときに第2座席S2と重なってもよい。
<変形例6>
また、実施の形態では、第1領域1と第2領域2は真上から見たときに所定の間隔を空けて設定される例(図2A参照)を挙げて説明したが、これに限定されない。例えば、第1領域1の一部分と第2領域2の一部分は、真上から見たときに重なってもよい。
<変形例7>
また、実施の形態では、第3領域3は真上から見たときに機器300の操作部が備えられた面から所定の間隔を空けて設定される例(図2A参照)を挙げて説明したが、これに限定されない。例えば、第3領域3は、その一面が機器300の操作部が備えられた面に重なってもよいし、または、機器300の一部または全体を包含してもよい。
<変形例8>
また、実施の形態では、1つの機器300に対して1つの第3領域3が設定される例を挙げて説明したが、これに限定されない。例えば、機器300が複数ある場合には、機器300毎に第3領域3が設定されてもよい。または、複数の機器300の設置位置が近い場合には、それら複数の機器300に対応して1つの第3領域3が設定されてもよい。なお、第3領域3が複数設定される場合、第3領域3のそれぞれに対応するように、第1領域1および第2領域2が複数設定されてもよい。
<変形例9>
また、実施の形態では、第1対象物が腕であり、第2対象物が指(手)である例を挙げて説明したが、これに限定されない。例えば、第1対象物は脚であり、第2対象物は足であってもよい。ここで、脚とは、足の付け根(骨盤)から足首までのうちの所定の部位である。また、足とは、足首から指先までのうちの所定の部位である。または、例えば、第1対象物は、所定の手の指の付け根から第1関節までの部分(中節および基節)または手の甲であり、その指の第1関節から指先までの部分(末節)であってもよい。または、例えば、第1対象物は肘であり、第2対象物は指であってもよい。なお、第1領域1、第2領域2、および第3領域3は、部位(第1対象物および第2対象物)の設定に応じて適宜設定される。
<変形例10>
また、実施の形態において、第1座席S1および第2座席S2が所定方向(例えば、上下方向、前後方向、左右方向)に移動可能である場合、制御部140は、移動後の座席に着座した乗員が機器300を操作する場合の第1対象物および第2対象部の存在位置に応じて、第1領域1および第2領域2のうち少なくとも一方の範囲(例えば、形状、大きさ)を変更してもよい。変更される範囲は、座席の移動後の位置毎に、実験等により得られた値に基づいて予め定められている。なお、制御部140は、座席の移動後の位置をカメラ200により撮影された距離画像から認識してもよいし、または、座席の位置を検出可能なセンサ等から車内ネットワークを介して座席の移動後の位置を示す情報を受け取ってもよい。
また、第1座席S1および第2座席S2がリクライニング可能である場合、制御部140は、リクライニング後の座席に着座した乗員が機器300を操作する場合の第1対象物および第2対象部の存在位置に応じて、第1領域1および第2領域2のうち少なくとも一方の範囲(例えば、形状、大きさ)を変更してもよい。変更される範囲は、座席のリクライニング後の角度毎に、実験等により得られた値に基づいて予め定められている。または、変更される範囲は、乗員の体格に基づいて決定されてもよい。
<変形例11>
また、実施の形態では、第1対象物が第1領域1に含まれる場合に第1制御信号を出力し、第1対象物が第2領域2に含まれる場合に第2制御信号を出力する例を挙げて説明したが、これに限定されない。例えば、第1対象物が第1領域1に含まれる場合に第2制御信号を出力し、第1対象物が第2領域2に含まれる場合に第1制御信号を出力してもよい。
例えば、図2Aにおいて、機器300が、機器300に対する操作が自動車の走行の安全面に影響を及ぼす機器(例えば、ハンドル、ギアレバー、ドアロックスイッチ等)であり、乗員P1が運転者であり、乗員P2が同乗者であるとする。この場合において、第1対象物が第1領域1に含まれる場合、制御部140は、機器300に対する操作を制限しない第2制御信号を出力し、第1対象物が第2領域2に含まれる場合、機器300に対する操作を全て制限する第1制御信号を出力してもよい。これにより、同乗者が不用意に機器300を操作することを防止でき、走行中の安全性を確保できる。
<変形例12>
また、実施の形態では、第1座席S1が運転席(乗員P1が運転者)であり、第2座席S2が助手席(乗員P2が同乗者)である例を挙げて説明したが、これに限定されない。例えば、第1座席S1が助手席(乗員P1が同乗者)であり、第2座席S2が運転席(乗員P2が運転者)であってもよい。その場合、上述した通り、第1対象物が第1領域1に含まれる場合に第2制御信号が出力され、第1対象物が第2領域2に含まれる場合に第1制御信号が出力されるようにしてもよい。
<変形例13>
また、実施の形態において、判定部130は、操作者の判定後、その判定の結果を示す判定結果情報と、その判定に用いた検知結果情報とを機器300以外の装置(例えば、記憶装置、通信装置等)に出力してもよい。機器300以外の装置に出力された各情報は、例えば、ビッグデータとして活用されてもよい。なお、判定結果情報または検知結果情報には、判定または検知が行われた時刻の情報が含まれることが望ましい。
<変形例14>
また、実施の形態では、判定装置100、カメラ200、および機器300が自動車に備えられる例を挙げて説明したが、これに限定されない。判定装置100、カメラ200、および機器300は、自動車以外の移動体(例えば、鉄道車両、船舶、航空機等)に備えられてもよいし、移動体以外の場所に備えられてもよい。
以上、本発明の実施の形態および変形例について説明した。
図8は、上述した実施の形態および変形例における各部の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。
図8に示すように、コンピュータ2100は、入力ボタン、タッチパッドなどの入力装置2101、ディスプレイ、スピーカなどの出力装置2102、CPU(Central Processing Unit)2103、ROM(Read Only Memory)2104、RAM(Random Access Memory)2105を備える。また、コンピュータ2100は、ハードディスク装置、SSD(Solid State Drive)などの記憶装置2106、DVD−ROM(Digital Versatile Disk Read Only Memory)、USB(Universal Serial Bus)メモリなどの記録媒体から情報を読み取る読取装置2107、ネットワークを介して通信を行う送受信装置2108を備える。上述した各部は、バス2109により接続される。
そして、読取装置2107は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置2106に記憶させる。あるいは、送受信装置2108が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置2106に記憶させる。
そして、CPU2103が、記憶装置2106に記憶されたプログラムをRAM2105にコピーし、そのプログラムに含まれる命令をRAM2105から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、RAM2105または記憶装置2106には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。
本発明にかかる判定装置、判定方法、判定プログラムおよび記録媒体は、所定の機器を操作する人物を判定するのに有用である。
1、1a、1b、1c 第1領域
2、2a、2b、2c 第2領域
3 第3領域
11、21 腕
12、22 人指し指
100 判定装置
110 入力部
120 検知部
130 判定部
140 制御部
200 カメラ
300 機器
2101 入力装置
2102 出力装置
2103 CPU
2104 ROM
2105 RAM
2106 記憶装置
2107 読取装置
2108 送受信装置
2109 バス

Claims (8)

  1. 第1位置と、前記第1位置との相対位置関係が固定された第2位置との間における所定範囲の第1領域、前記第1位置と前記第2位置との間における前記第1領域よりも前記第2位置の側の所定範囲の第2領域、および、前記第1位置および前記第2位置の前方に設置された機器の操作部を基準とした所定範囲内にある第3領域を含む距離画像を受け取る入力部と、
    前記距離画像に基づいて、前記第1領域および前記第2領域のうち少なくとも一方において所定の大きさ以上の第1対象物を検知し、前記第3領域において所定の大きさ以上の第2対象物を検知する検知部と、
    前記検知部によって前記第1対象物および前記第2対象物が検知された場合において、前記第1対象物が前記第1領域と前記第2領域とのうちいずれに含まれるかを示す検知結果に基づき、前記第1対象物が前記第1領域に含まれるとき、前記機器の操作者は前記第1位置に存在すると判定し、一方、前記第1対象物が前記第2領域に含まれるとき、前記機器の操作者は前記第2位置に存在すると判定する判定部と、
    を備える判定装置。
  2. 前記判定部の判定結果に基づいて制御信号を出力する制御部を、さらに備え、
    前記制御部は、前記機器の操作者の位置に基づき、前記機器の所定の操作を制限させるための前記制御信号、もしくは、前記機器の所定の操作を制限させないための前記制御信号を前記機器へ出力する、
    請求項1に記載の判定装置。
  3. 前記第1対象物は、腕であり、
    前記第2対象物は、手である、
    請求項1に記載の判定装置。
  4. 前記第1領域は、直方体状または円柱状のいずれかであり、
    前記第2領域は、直方体状または円柱状のいずれかである、
    請求項1に記載の判定装置。
  5. 前記第1位置および前記第2位置は、所定方向に移動可能な座席であり、
    前記制御部は、
    前記座席の移動後の位置に応じて、前記第1領域および前記第2領域のうち少なくとも一方の範囲を変更する、
    請求項1に記載の判定装置。
  6. 第1位置と、前記第1位置との相対位置関係が固定された第2位置との間における所定範囲の第1領域、前記第1位置と前記第2位置との間における前記第1領域よりも前記第2位置の側の所定範囲の第2領域、および、前記第1位置および前記第2位置の前方に設置された機器の操作部を基準とした所定範囲内にある第3領域を含む距離画像を受け取るステップと、
    前記距離画像に基づいて、前記第1領域および前記第2領域のうち少なくとも一方において所定の大きさ以上の第1対象物を検知し、前記第3領域において所定の大きさ以上の第2対象物を検知するステップと、
    前記第1対象物および前記第2対象物が検知された場合において、前記第1対象物が前記第1領域と前記第2領域とのうちいずれに含まれるかを示す検知結果に基づき、前記第1対象物が前記第1領域に含まれるとき、前記機器の操作者は前記第1位置に存在すると判定し、一方、前記第1対象物が前記第2領域に含まれるとき、前記機器の操作者は前記第2位置に存在すると判定するステップと、
    を有する判定方法。
  7. 第1位置と、前記第1位置との相対位置関係が固定された第2位置との間における所定範囲の第1領域、前記第1位置と前記第2位置との間における前記第1領域よりも前記第2位置の側の所定範囲の第2領域、および、前記第1位置および前記第2位置の前方に設置された機器の操作部を基準とした所定範囲内にある第3領域を含む距離画像を受け取る処理と、
    前記距離画像に基づいて、前記第1領域および前記第2領域のうち少なくとも一方において所定の大きさ以上の第1対象物を検知し、前記第3領域において所定の大きさ以上の第2対象物を検知する処理と、
    前記第1対象物および前記第2対象物が検知された場合において、前記第1対象物が前記第1領域と前記第2領域とのうちいずれに含まれるかを示す検知結果に基づき、前記第1対象物が前記第1領域に含まれるとき、前記機器の操作者は前記第1位置に存在すると判定し、一方、前記第1対象物が前記第2領域に含まれるとき、前記機器の操作者は前記第2位置に存在すると判定する処理と、
    をコンピュータに実行させる判定プログラム。
  8. 所定の機器を操作する人物を判定する判定装置において実行される判定プログラムを記録したコンピュータ読み取り可能で非一時的な記録媒体であって、前記判定装置のコンピュータに対して、
    第1位置と、前記第1位置との相対位置関係が固定された第2位置との間における所定範囲の第1領域、前記第1位置と前記第2位置との間における前記第1領域よりも前記第2位置の側の所定範囲の第2領域、および、前記第1位置および前記第2位置の前方に設置された機器の操作部を基準とした所定範囲内にある第3領域を含む距離画像を受け取る処理と、
    前記距離画像に基づいて、前記第1領域および前記第2領域のうち少なくとも一方において所定の大きさ以上の第1対象物を検知し、前記第3領域において所定の大きさ以上の第2対象物を検知する処理と、
    前記第1対象物および前記第2対象物が検知された場合において、前記第1対象物が前記第1領域と前記第2領域とのうちいずれに含まれるかを示す検知結果に基づき、前記第1対象物が前記第1領域に含まれるとき、前記機器の操作者は前記第1位置に存在すると判定し、一方、前記第1対象物が前記第2領域に含まれるとき、前記機器の操作者は前記第2位置に存在すると判定する処理と、
    を実行させる判定プログラムを記録した記録媒体。
JP2015184903A 2015-09-18 2015-09-18 判定装置、判定方法、判定プログラムおよび記録媒体 Pending JP2017059103A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015184903A JP2017059103A (ja) 2015-09-18 2015-09-18 判定装置、判定方法、判定プログラムおよび記録媒体
CN201610523290.7A CN106547347A (zh) 2015-09-18 2016-07-05 判定装置、判定方法和记录介质
US15/243,814 US20170083777A1 (en) 2015-09-18 2016-08-22 Determination apparatus, determination method, and non-transitory recording medium
EP16186323.8A EP3144850A1 (en) 2015-09-18 2016-08-30 Determination apparatus, determination method, and non-transitory recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015184903A JP2017059103A (ja) 2015-09-18 2015-09-18 判定装置、判定方法、判定プログラムおよび記録媒体

Publications (1)

Publication Number Publication Date
JP2017059103A true JP2017059103A (ja) 2017-03-23

Family

ID=57233275

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015184903A Pending JP2017059103A (ja) 2015-09-18 2015-09-18 判定装置、判定方法、判定プログラムおよび記録媒体

Country Status (4)

Country Link
US (1) US20170083777A1 (ja)
EP (1) EP3144850A1 (ja)
JP (1) JP2017059103A (ja)
CN (1) CN106547347A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021135841A (ja) * 2020-02-28 2021-09-13 日本精機株式会社 操作装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6650595B2 (ja) * 2015-09-24 2020-02-19 パナソニックIpマネジメント株式会社 機器制御装置、機器制御方法、機器制御プログラムおよび記録媒体
CN109558000B (zh) * 2017-09-26 2021-01-22 京东方科技集团股份有限公司 一种人机交互方法及电子设备
JP2019139633A (ja) * 2018-02-14 2019-08-22 京セラ株式会社 電子機器、移動体、プログラムおよび制御方法
DE112019000869T5 (de) * 2018-02-19 2020-11-05 Murakami Corporation Bedienungsdetektionsvorrichtung und Bedienungsdetektionsverfahren
JP2019152493A (ja) * 2018-03-01 2019-09-12 オムロン株式会社 判定装置および判定装置の制御方法
DE102018004954A1 (de) * 2018-06-22 2019-12-24 Faurecia Innenraum Systeme Gmbh Bedienelement zum Steuern eines Fahrzeugs
CA3028170C (en) 2018-11-09 2021-08-31 Beijing DIDI Infinity Technology and Development Co., Ltd System and method for detecting in-vehicle conflicts
KR20210017515A (ko) * 2019-08-08 2021-02-17 현대자동차주식회사 차량의 모션 인식 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004067031A (ja) 2002-08-08 2004-03-04 Nissan Motor Co Ltd 操作者判別装置およびこれを用いた車載装置
JP6014162B2 (ja) * 2012-11-08 2016-10-25 アルプス電気株式会社 入力装置
KR101537936B1 (ko) * 2013-11-08 2015-07-21 현대자동차주식회사 차량 및 그 제어방법
JP5899251B2 (ja) * 2014-01-29 2016-04-06 本田技研工業株式会社 車両用入力装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021135841A (ja) * 2020-02-28 2021-09-13 日本精機株式会社 操作装置
JP7375611B2 (ja) 2020-02-28 2023-11-08 日本精機株式会社 操作装置

Also Published As

Publication number Publication date
EP3144850A1 (en) 2017-03-22
CN106547347A (zh) 2017-03-29
US20170083777A1 (en) 2017-03-23

Similar Documents

Publication Publication Date Title
JP2017059103A (ja) 判定装置、判定方法、判定プログラムおよび記録媒体
US10773715B2 (en) Parking control method and parking control device
US11127152B2 (en) Indoor monitoring device
KR102277095B1 (ko) 차량 탑승자의 요구에 따른 자동차의 조작
CN108170264B (zh) 车辆用户输入控制系统和方法
US11037006B2 (en) Occupant detection device
EP3446948A1 (en) Parking assistance device and program
US9448641B2 (en) Gesture input apparatus
JP2017199302A (ja) 判定装置、判定方法、判定プログラム及び記録媒体
JP5141725B2 (ja) 障害物探索システム
CN111511610A (zh) 停车控制方法及停车控制装置
JP2020104680A (ja) 室内監視装置
JP2020057139A (ja) 機器制御装置
WO2018061603A1 (ja) ジェスチャ操作システム、ジェスチャ操作方法およびプログラム
JP2017030578A (ja) 自動運転制御装置、自動運転制御方法
JP2019125193A (ja) 周辺監視装置
JP5666066B2 (ja) 車載用ナビゲーション装置
JP2006256439A (ja) 乗員保護装置
JP2015202831A (ja) シート装置
WO2016031152A1 (ja) 車両用入力インターフェイス
US11440407B2 (en) Non-contact operating apparatus for vehicle and vehicle
JP2016055789A (ja) 車両用認証装置
JP2010089648A (ja) スイッチ装置
JP2019135150A (ja) 自動運転制御装置、自動運転制御方法
US11320669B2 (en) Non-contact operating apparatus for vehicle and vehicle