JP2017224068A - 質感評価システム - Google Patents

質感評価システム Download PDF

Info

Publication number
JP2017224068A
JP2017224068A JP2016117656A JP2016117656A JP2017224068A JP 2017224068 A JP2017224068 A JP 2017224068A JP 2016117656 A JP2016117656 A JP 2016117656A JP 2016117656 A JP2016117656 A JP 2016117656A JP 2017224068 A JP2017224068 A JP 2017224068A
Authority
JP
Japan
Prior art keywords
visual
skeleton
feature
image
evaluation system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016117656A
Other languages
English (en)
Other versions
JP6810996B2 (ja
Inventor
小松 英彦
Hidehiko Komatsu
英彦 小松
直一 郷田
Naoichi Goda
直一 郷田
雅之 渡邊
Masayuki Watanabe
雅之 渡邊
道田 奈々江
Nanae Michida
奈々江 道田
篤秀 岸
Atsuhide Kishi
篤秀 岸
西川 一男
Kazuo Nishikawa
一男 西川
隆秀 農沢
Takahide Nozawa
隆秀 農沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
National Institute of Natural Sciences
Original Assignee
Mazda Motor Corp
National Institute of Natural Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp, National Institute of Natural Sciences filed Critical Mazda Motor Corp
Priority to JP2016117656A priority Critical patent/JP6810996B2/ja
Priority to CN201710428267.4A priority patent/CN107507238B/zh
Priority to DE102017112806.9A priority patent/DE102017112806A1/de
Priority to US15/618,222 priority patent/US10535150B2/en
Publication of JP2017224068A publication Critical patent/JP2017224068A/ja
Application granted granted Critical
Publication of JP6810996B2 publication Critical patent/JP6810996B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/149Segmentation; Edge detection involving deformable models, e.g. active contour models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/49Analysis of texture based on structural texture description, e.g. using primitives or placement rules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/34Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】物体の視覚的な骨格特徴の観点からみた質感を評価できるようにする。【解決手段】カメラS1によって、評価対象となる物体を撮像してカラー画像が取得される。取得された画像中において、見た瞬間に目に付きやすい部分となる視覚特徴部位をそのピクセル毎の視覚的な刺激強さと共に抽出される。抽出された複数の視覚特徴部位がなす形状範囲について、画像の各ピクセル毎の視覚的骨格特徴量が決定される。決定された視覚的骨格特徴量がディスプレイ等に表示される。【選択図】 図9

Description

本発明は、質感評価システムに関するものである。
質感評価が種々の分野において行われている。特許文献1には、デジタルカメラにおける画像の質を、撮影対象の位置関係、輝度値、輝度差から評価するものが開示されている。特許文献2には、印刷面の質を、印刷対象の輝度分布から評価するものが開示されている。
特開2006−254107号公報 特開2006−120005号公報
ところで、物体の質感を評価する際に、物体の形状がなす骨格と表面の質感との両方の要素が大きなウエイトを占めるものである。しかしながら、従来は、表面の質感に対する評価に対して重点がおかれて、形状骨格の観点からの質感評価については殆ど行われていないのが実情である。
本発明は以上のような事情を勘案してなされたもので、その目的は、物体の視覚的な骨格特徴の観点からみた質感を評価できるようにした質感評価システムを提供することにある。
前記目的を達成するため、本発明にあっては次のような解決手法を採択してある。すなわち、請求項1に記載のように、
評価対象となる物体を撮像してカラー画像を取得する撮像手段と、
前記撮像手段で取得された画像中において、見た瞬間に目に付きやすい部分となる視覚特徴部位をそのピクセル毎の視覚的な刺激強さと共に抽出する視覚特徴部位抽出手段と、
前記視覚特徴部位抽出手段により抽出された複数の視覚特徴部位がなす形状範囲について、画像の各ピクセル毎の視覚的骨格特徴量を決定する視覚的骨格特徴量決定手段と、
前記視覚的骨格特徴量決定手段により決定された視覚的骨格特徴量を表示する表示手段と、
を備えているようにしてある。
上記解決手法によれば、見た瞬間に目に付きやすい部分となる視覚特徴部位によって形作られる形状について、その骨格構造を目立ちやすさの度合いとなる視覚的骨格特徴量の分布状態でもって表示させることにより、形状骨格(Medial Axis)に応じた質感を評価することができる。
上記解決手法を前提とした好ましい態様は、請求項2以下に記載のとおりである。すなわち、
前記視覚特徴部位の種類として、少なくとも輝度、色、方位が含まれている、ようにしてある(請求項2対応)。この場合、輝度、色、方位は、見た瞬間に目立ちやすい特徴部分を構成する要素となりやすいことから、これらの要素を視覚特徴部位として含めることにより、高レベルでの質感評価を行う上で好ましいものとなる。
前記視覚特徴部位抽出手段は、前記画像に基づいて視覚特徴部位の種類毎に画像を分類して、各分類された各画像毎に視覚特徴部位を抽出した後、各画像毎に抽出された視覚特徴部位を1つの画像に統合する、ようにしてある(請求項3対応)。この場合、輝度、色、方位の全てについての個々の視覚的骨格特徴量を精度よく反映した画像を得て、質感評価を高いレベルで行えるようにする上で好ましいものとなる。
視覚的骨格特徴量決定手段は、画像の各ピクセル毎に、各ピクセルを中心とすると共に直径の相違する複数の円によって分割された複数の円環状部分を設定して、各円環状部分に含まれるピクセルのもつ視覚的な刺激強さを加算することにより各円環状部分での視覚的な刺激強さを決定して、この各円環状部分での視覚的な刺激強さに基づいて各ピクセル毎の視覚的骨格特徴量を決定する、ようにしてある(請求項4対応)。この場合、各ピクセルの有する視覚的骨格特徴量を、周囲の視覚的骨格特徴量をも加味しつつノイズの影響を極力排除して、精度よく決定する上で好ましいものとなる。
前記視覚的骨格特徴量決定手段は、外側の前記円環状部分での視覚的な刺激強さに対して内側にある前記円環状部分での視覚的な刺激強さを順次加算していくことにより、最終的に各ピクセル毎の視覚的骨格特徴量を決定するようにされ、
前記順次加算の際に、今回の合計値をDmnk+1、前回までの合計値をDmnk、今回加算される円環状部分での視覚的な刺激強さをSmnk、vをパラメータ(1>v>0)としたとき、今回の加算値Dmnk+1が次式(2)でもって算出される(ただし、mnは円環状部分の中心となる座標で、kはサフィックス)、ようにしてある(請求項5対応)。この場合、各ピクセルごとの視覚的骨格特徴量を決定するための具体的な計算手法が提供される。
Figure 2017224068
前記視覚的骨格特徴量決定手段が、視覚的骨格特徴量のピーク位置を決定する、ようにしてある(請求項6対応)。この場合、視覚的骨格特徴量をピーク位置に基づいて質感評価を行う上で好ましいものとなる。
前記視覚的骨格特徴量決定手段が、視覚的骨格特徴量の主成分を決定する、ようにしてある(請求項7対応)。この場合、視覚的骨格特徴量の主成分に基づいて質感評価を行う上で好ましいものとなる。
前記視覚的骨格特徴量決定手段が、視覚的骨格特徴量のピーク位置を決定すると共に、視覚的骨格特徴量の主成分を決定する、ようにしてある(請求項8対応)。この場合、視覚的骨格特徴量のピーク位置と主成分との両方に基づいて、質感評価を精度よく行う上で好ましいものとなる。
評価対象となる前記物体が、車両の内装品とされている、ようにしてある(請求項9対応)。この場合、車両内装品についての質感評価を、視覚的骨格特徴量のピーク位置と主成分との両方を用いて精度よく行う上で好ましいものとなる。
本発明によれば、物体の視覚的な骨格特徴の観点から、物体の質感を評価することができる。
形状骨格の例を示す図。 形状骨格の例を示す図。 形状骨格の例を示す図。 形状骨格の例を示す図。 図4の状態から大きな石を1つ除去したときに、形状骨格が変更される状況を示す図。 図4の状態から大きな石を1つ追加したときに、形状骨格が変更される状況を示す図。 車両のインストルメントパネルを撮像した画像を示す図。 図7の画像に基づいて得られた視覚的骨格特徴量の分布状態を示すマップ。 図8のマップのうち、所定高さ位置での視覚的骨格特徴量の分布状態を示す図。 多数の車両におけるインストルメントパネルについての視覚的骨格特徴量の分布状態を示すもので、図9に対応した図。 多数の車両におけるインストルメントパネルについての視覚的骨格特徴量の分布を成分分析した状態を示す図。 ドライバ成分としてのドライバー中心と助手席中心との特性を示す図。 ヒューマン成分としての車中心と人間中心との特性を示す図。 多数の車両におけるインストルメントパネルについて、ドライバー成分とヒューマン成分とをパラメータとする特性図中での位置づけを示す図。 本発明の制御系統例を示す図。 本発明の制御例を示すフローチャート。 ノイズを含む形状から、内接円のみを利用して形状骨格を抽出した状態を示す図。 ノイズを含む形状から、各ピクセル毎に同心状の複数の円環状部分での視覚的骨格特徴量を用いて形状骨格を抽出した状態を示す図。 複数の円環状部分のそれぞれについて、視覚的骨格特徴量を決定する状況を示す図。 輝度、色、方位のそれぞれについての視覚的骨格特徴量を統合したマップを得るための処理工程を示す図。
以下、本発明の実施形態について説明するが、先ず、形状の骨格を示すMedial Axisについて説明する。なお、以下の説明で、Medial Axisを「形状骨格」として表現することもある。
Medial Axisつまり形状骨格は、人間がある物体の質感(美観ともいえる)を評価するときに、物体表面の質感と共に認識される要素であり、質感評価に際して大きなウエイトを占めるものとなる。そして、形状骨格およびその付近は、視覚特徴点と共に視覚感度が高く、無意識のうちに認識されやすい(視線が向きやすい)ものとなる。
図1は、人間にとって視認されやすい部分となる複数の視覚特徴点を結ぶことにより構成された形状K1が示される。この形状K1についての形状骨格(Medial Axis)MA1は、形状K1に対して2点以上で内接する円を求めて、この円の中心を結んだ線状のものとなる。換言すれば、MA1の形状を認識することによって、形状K1を認識するともいえる。図2は、側方から見た動物の猫の形状骨格がMA2として示される。図3には、人間の手の形状骨格がMA3として示される。
形状骨格(Medial Axis)について、図4〜図6を参照しつつさらに説明する。図4は、石庭を有する実際に存在するあるお寺について、その上方からの形状を簡略的に示すものである。図中、1は石庭、2は、廊下を挟んで石庭1に臨む仏間中のある特定位置である。石庭1は、多数の小石(砂利)を敷き詰めた中に、視覚特徴点となる5個の大きな石S1〜S5を配置したものとなっている。図4の配置における形状骨格が符号MA11で示される。形状骨格MA11は、石庭1の中では複数に枝分かれした状況であるが、この枝分かれたした形状骨格MA1は、1本の形状骨格MA11−1に集中された状態で特定位置2に向かうようになっている。石庭1を眺めるときの最良の場所と称される位置が、この特定位置2に向かう1本の形状骨格MA11−1上あるいはこの付近とされている。このことからも理解されるように、形状骨格は、視認による美観認識の上で極めて重要な要素になる。
図5は、図4の状態から、石S1を除去した場合を示し、そのときの形状骨格がMA12、MA13で示される。図5の場合は、特定位置2が存在する方向への形状骨格としてMA12−1とMA13の2種類が現れることになる。図6は、図4の状態から、大きな石S6を追加した場合を示し、そのときの形状骨格がMA14で示される。図6の場合は、特定位置2が存在する方向への形状骨格としてMA14−1とMA14−2の2本が現れることになる。図5の場合における形状骨格は、実質的に仏間には向いておらず、図6の場合における形状骨格は、図4の場合よりもかなりずれた状態で仏間に向かうようになる。なお、図4〜図6は、形状骨格の相違による美観の優劣を示すものではなく、視覚特徴点となる大きな石(S1〜S6)の配置を相違させことによって形状骨格にどのような変化するかを示すものである。
次に、図7〜図9を参照しつつ、車両としての自動車におけるインストルメントパネル(車室内装品)の造形が、見る者に対してどのような影響を与えるかを説明するためのものである。図7は、ある実際の車両におけるインストルメントパネルを撮像した画像G1である。画像G1中において、インストルメントパネルが符号10で示され、インストルメントパネル10の関連して装備された装備品として、ステアリングハンドル11、ディスプレイ12、メータパネル13、空調風の吹出口14等が示される。図7に示す画像G1は、車幅方向中央部位置で、インストルメントパネル10の後方から撮像したもので、撮像機器としてはカラー撮影可能なデジタルカメラを用いてある。
図7の画像G1から、サリエンシーとなる部分を抽出した補正画像が後述するように取得されて、この補正画像に基づいて、目立ちやすさの度合いとなる特徴量が図8に示すようにマップ形式で算出される。なお、サリエンシーは、見た瞬間に認識されやすい部分(領域)であり、実施形態では、輝度、色(コントラスト)、方位に基づいて(パラメータとして)、見た瞬間に認識されやすい部分を特定するようにしてある。なお、方位は、実質的に凹凸など周囲と異なるエッジ方向を示すものである。
図7に示す画像G1において、サリエンシー(見た瞬間に認識されてやすい部分)としては、インストルメントパネル10の色、大きさ、形状、ステアリングハンドル11(突起状物体であることや輝度が高くなるメタリック装飾された部分)、ディスプレイ12(輝度が高く、突起物)、吹出口13(特異な形状や周縁部に施されたメタリック装飾部分)等がある。
上記サリエンシーが形作る形状(仮想形状となる)について、形状骨格を取得することにより、図8に示すような視覚的骨格特徴量が取得される。なお、以下の説明あるいは図面において、視覚的骨格特徴量を単に特徴量として示すこともある。図8では、もっとも視認されやすい部位(視覚的骨格特徴量が大)から視認されにくい部位(視覚的骨格特徴量が小)に向けて、黒塗り、ダブルハッチング、破線ハッチング、点々、白塗りの順で簡略的に示してある。
視覚的骨格特徴量を示す図8の画像から、シートベルト高さ位置での視覚的骨格特徴量を、車幅方向に展開して示したのが、図9である。図9に示す「水平位置」は車幅方向位置を示し、水平位置における「0位置」が車幅方向中心位置を示し、「ドライバー席」が運転席の左右中心位置を示し、「助手席」が助手席の左右中心位置を示す。また、図8中、「シートベルト高さ」が、シートベルトの高さ位置を示す(より具体的には、乗員の肩部付近に設定されるシートベルトアンカの位置で、乗員の眼の高さ位置に近い高さ位置となる)。
図9においては、目立ちやすさを示す視覚的骨格特徴量のピーク点(ピーク位置)として、ドライバー席付近と、助手席のうち車幅方向中央部寄りの位置の2点に出現されている。ただし、ドライバー席付近の視覚的骨格特徴量は、他の部位に比して、視覚的骨格特徴量が極めて大きくなっている。図9では、インストルメントパネルおよびその付近のデザインが、ドライバー席を中心にして目立ちやすくなるように設定されている、と評価することができる。
図9の特徴を見て、例えば、インストルメントパネルのうち助手席の直前方部分の領域に、例えば車幅方向に伸びるメタリックの装飾を追加することにより、助手席付近の視覚的骨格特徴量が大きく増大されるものとして変更することが可能である。逆に、運転席前方に存在するメータパネルから、例えば見だちやすいメタリック風の装飾部位を除去したり、ステアリングハンドルに付されている例えばメタリック風の装飾部位を除去することにより、ドライバー席付近での視覚的骨格特徴量を小さくすることができる。さらに、インストルメントパネルのうち車幅方向中央部部位に設けられている例えばオーディオ機器や空調機器を操作パネルを、より目立ちい設定とすることにより、車幅方向中央付近の視覚的骨格特徴量を大きくすることが可能となる。
ここで、複数の視覚特徴点を含む仮想形状を想定する。仮想形状は、複数の視覚特徴点を取り巻く形状とされて、その外縁は、視覚的な刺激強さが相対的に小さい範囲で所定値以上となる部分を結ぶことにより形成される。そして、この仮想形状についての視覚的な形状骨格上あるいはその付近においては、視覚感度が高く、無意識のうちに視線が向きやすい(視線誘導されやすい)部位となる。よって、この視覚的な形状骨格を意識したデザインを行うことが好ましいものとなる。例えば、操作頻度が高いスイッチ等に関しては、形状骨格上あるいはその付近に配置することが好ましいものとなる。逆に、操作頻度が低いスイッチ等やあまり視認して欲しくないものについては、視覚的な形状骨格から外れた外れた位置に配置するのが好ましいものである。
図10は、実際に市販されている多くの車両(自動車)について、図7に示すのと同様な画像を取得して、図9に対応した視覚的骨格特徴量を得た場合の結果を示す。そして、図10の取得結果を主成分分析した結果が図11に示される。多くの車両においては、ドライバー席の視覚的骨格特徴量が極めて大きくなる(助手席の視覚的骨格特徴量が小さい)ドライバーを中心とした視覚的骨格特徴量の設定を主体としたものと、ドライバー席と助手席との各視覚的骨格特徴量がほぼ同程度の大きさで、かつ車幅方向中央部の視覚的骨格特徴量が小さくなるようにした人間中心の設定としたものが多くなっている、という結果であった。
ここで、視覚的骨格特徴量について、ドライバー(運転者)と助手席乗員との間での優先度合いを評価するために、ドライバー成分として、上述したドライバー中心の設定の他に、助手席中心を設定した。すなわち、ドライバー中心の視覚的骨格特徴量の設定(特性)が、図12の(a)に示してある(図11の実線対応)。また、助手席中心の視覚的骨格特徴量の設定(特性)が、図12の(b)に示してある(ドライバー中心とは逆に、視覚的骨格特徴量が助手席付近もっとも大きく、ドライバー席付近では小さい設定)。
また、人間と車両との間での優先度合いを評価するために、ヒューマン成分として、前述の人間中心(乗員中心)の他に、車中心を設定した。人間中心の設定(特性)が図13(b)で示され(図11の破線で示す成分対応)、車中心の設定(特性)が図13(a)で示される(人間中心とは逆に、ドライバー席および助手席での視覚的骨格特徴量が小さく、その中間部位の視覚的骨格特徴量がもっとも大きくなる設定)。
実際の視覚的骨格特徴量は、上記「ドライバー中心」、「助手席中心」、「車中心」、「人間中心」のいずれか単独でもって区別されるものではなく、これらが総合されたものとされる。図14は、上記「ドライバー中心」、「助手席中心」、「車中心」、「人間中心」の特性をパラメータとして、実際の車両がどのような位置づけになるかを示したものである。図14中、丸印が、実際の車両を示す。このうち、ハッチングを付した丸印の車両において、サリエンシーを変更することにより、例えば矢印で示す種々の方向に向けてその特性を変更することが可能である。
図14では、「ドライバー中心」、「助手席中心」、「車中心」、「人間中心」の相関関係を示してあるが、「ドライバー中心」と「助手席中心」との間での相関関係のみを示す特性を得るようにしてもよく、あるいは「車中心」と「人間中心」との間での相関関係のみを示す特性を得るようにしてもよい。
本発明によって得た視覚的骨格特徴量に基づく特性は、見た目の善し悪し(美しさの度合い)を評価するものではなく、視覚的にどのような影響を与えるかを物理的に(客観的に)示すことができるようにしたものである。したがって、例えばスポーツカーのように運転者や車が中心として好ましい車両においては、図14に示すような特性マップ上において、ドライバー中心に近づくように、かつ車中心に近くづくように、デザイン設計(あるいはその変更)を行えばよいことになる。逆に、ファミリーカーのように、運転者や車を重視しない車両にあっては、助手席中心の視覚的骨格特徴量に近くづくように、かつ人間中心の視覚的骨格特徴量に近づくように、デザイン設計(あるいはその変更)を行えばよいことになる。いずれにしても、サリエンシーに基づく視覚的骨格特徴量の特性を、物理的に把握できることにより、上記デザイン設計やその変更に際して大きく役立つことになる。
次に、図9で示すような視覚的骨格特徴量を取得するための制御系統例について説明する。まず、図15において、Uはマイクロコンピュータを利用して構成されたコントローラである(実施形態では市販のパーソナルコンピュータを利用して構成)。このコントローラUには、カラー撮影可能なデジタル式のカメラS1で撮像された画像(図7の画像G1対応)が入力される。コントローラUは、入力された画像に基づいて、2種類の特性を出力する(ディスプレイへの表示)。出力する特性としては、視覚的骨格特徴量のピーク値を示す特性S11と、主成分を示す特性S12とされている。
コントローラUにおける制御内容が、図16に示される。以下図16のフローチャートについて説明するが、以下の説明でQはステップを示す。
まず、Q1において、画像が入力される(図7に示すような画像で、カラー画像である)。この後、Q2において、入力された画像に基づいて、後述するようにして、サリエンシーマップが作成される。Q3では、Q2で作成されたサリエンシーマップから、形状骨格(Medial Axis)が算出される(図8で示すような特性の取得)。
Q3の後、Q4において、画像中の所望高さ位置での水平断面が抽出される(図8のシートベルト高さ位置での抽出に対応)。この後、Q5において、視覚的骨格特徴量のピーク(ピーク値とその位置)が抽出される。次いで、Q6において、水平断面での主成分分析が行われる。この後、Q7において、Q5で抽出された特性が、特性S11として出力(画面表示)されると共に、Q6で分析された結果が出力(画面表示)される。
次に、図16におけるQ2でのサリエンシーマップの作成手法例(図8のような視覚的骨格特徴量の分布を示すマップの作成例)について、図20を参照し説明する。まず、図7に示すようなデジタルカメラS1によって撮像された画像G1に対して、処理1が行われる。処理1は、線形フィルタリングによって、画像G1が、輝度と色と方位との3つの別々の画像に分類される。より具体的には、入力されたRGBのカラー画像に対し、解像度を段階的に縮小したスケール画像をいくつか作成する。そして各スケール画像の各々に対して、輝度・色・方位の各成分の抽出を順次行う。
処理1の後、処理2が行われる。処理2では、その前段処理として、分類された3種類の各画像それぞれについて、中心と周辺の間の差分と正規化が行われる。この処理2は、分散小のガウス関数(高解像度の平滑化画像)から分散大のガウス関数(低解像度の平滑化画像)を差し引くことにより、特徴抽出した特徴マップの作成が行われる(メキシカンハット関数に類似した特徴抽出されたマップの取得)。
処理2では、さらに、上記前段処理に引き続いて後段処理が行われる。すなわち、前段処理で作成された3種類の各特徴マップにおいてそれぞれ、刺激強度の最大値Mとその平均値mを求めて、例えば次のような正規化処理が行われる。すなわち、特徴マップ上の値が固定の範囲(0〜M)になるように正規化する。そして、特徴マップ上の最大値Mを取る場所を検出して、それ以外にある局所的な最大値(極大値)を全て抽出してその平均値mを求める。この後、特徴マップ上の全ての値に(M−m)2を掛けて、新たな特徴マップを作成する。このようにして求められた3種類の特徴マップにおいては、ピクセル位置をXY座標上に設定したときに、Z軸上に視覚的な刺激の強さが設定されたものとなる。
この後、処理3において、処理2において作成された3種類の特徴マップについて、異なるスケールのマップの線形和と正規化とが行われる。すなわち、各マップについて、特徴(輝度、色、方位)毎に線形和をとり、特徴毎に顕著性マップを作成する。さらに各特徴についての顕著性マップに対して、処理の後段処理と同様の処理が行われる。
この後、処理4によって、線形和が算出されて、3種類の特徴マップが統合された1つのマップが取得される(サリエンシーマップの取得)。すなわち、処理3で求められた各特徴の顕著性マップを足し合した後、1/3を掛け合わせることで、1つのスケールマップ(サリエンシーマップ)が作成される。
なお、実施形態では、サリエンシーとして、輝度、色、方位の3種類を設定したことから、図20の処理では、輝度、色、方位毎の画像に分けて処理を行うようにしたが、サリエンシーとして4種類以上設定する場合は、4種類以上に分類して同様の処理を行えばよい。このように、サリエンシーの種類毎に分けて画像処理することによって、サリエンシーの種類毎にその視覚的な刺激強さを精度よく取得することが可能となる。もっとも、サリエンシーの種類に分けることなく、一挙に画像処理することも考えられるが、この場合は、サリエンシーの種類によってはその視覚的な刺激強さを十分に反映されたものとするのが難しい場合が生じる。
次に、図19を参照しつつ、作成されたサリエンシーマップに基づいて、各画素(ピクセル)についての視覚的骨格特徴量を算出する手法について、図19を参照しつつ説明する。なお、図19の例は、形状骨格の抽出に対応した処理で、画素(ピクセル)の有するノイズが極力除去できるようにした手法となっている。
図19において、あるピクセル(座標m、n)が、ある所定値以上の大きさの視覚的な刺激強さを有するピクセルに2点以上でもって内接しているとき、このピクセルを中心として、ピクセルの大きさ単位でもって直径が相違された複数の円l(エル)1〜l4を設定する。各円l1〜l4の間は、円環状となり、図19の場合は円環状部分の総数Lが4個の場合が示される。各円環状部分での視覚的な刺激強さの総和が符号Smn0〜Smn3として示される。Smn0〜Smn3は、各円環状部分内に位置する所定値以上の視覚的な刺激強さを有するピクセルが有する視覚的な刺激強さの総和とされる。すなわち、次式(1)で示すようにして、各円環状部分Smn0〜Smn3が算出される。なお、式中Cxyは、座標(x、y)にある1つのピクセルが有する視覚的な刺激強さである。
Figure 2017224068
各円環状部分Smn0〜Smn3で算出された視覚的な刺激強さは、パラメータ「v」(1>V>0)によって加算値が調整されつつ、その総和DmnLが算出される。具体的には、外側の円環状部分での視覚的な刺激強さの総和は、その内側の円環状部分での視覚的な刺激強さの総和に対して、パラメータ「v」だけ減衰(減少)された値とされる。すなわち、次式(2)に基づいて今回の加算値(合計値)をDmnK+1が算出される。なお、前回までの加算値がDmnKであり、今回加算される円環状部分の総和がSmnKであり、kはサフィックスである。
Figure 2017224068
そして、次式(3)に示すように、(2)を用いて全ての円環状部分についての加算値を算出した後のDmnLが、各ピクセル毎の視覚的骨格特徴量HSTmnとなる。
Figure 2017224068
(2)式から理解されるように、今回の合計値DmnK+1の算出は、基本的には、今回の加算値SmnKを前回の合計値DmnKに加算することにより行われる。ただし、この加算に際しては、前回の合計値DmnKは、今回の加算値SmnKに対してパラメータvを乗算した値に応じて減少された値とされる。すなわち、今回の加算値SmnKが大きいほど、前回の合計値DmnKの反映度合いが小さい状態でもって、今回の合計値DmnK+1が算出されることになる。
パラメータvが、0に近い値となる例えば0.001であると、各円環状部分での総和SmnKを個々に反映した度合いが大きくなりすぎて、マップ中での視覚的骨格特徴量の差違を出しにくいものとなる。逆に、パラメータvを1に近い値となる例えば0.5に設定すると、上記とは逆に、視覚的骨格特徴量の差違が大きくなりすぎて、全体的な視覚的骨格特徴量の分布がわかりにくいものとなる。ちなみに、パラメータvを0.01前後の値とすることにより、視覚的骨格特徴量がマップ中において適度に差別化して状態で分布されて、例えば図8のような特性を得ることができる。上記説明から理解されるように、前記パラメータvは、解析対象に応じて適宜設定(選択)されることになる。
ここで、前述した手法により各ピクセルの有する視覚的骨格特徴量を算出する手法の利点について、図17、図18を参照しつつ説明する。まず、図17、図18において、サリエンシーに基づいて想定された形状K21において、その外周に切欠状のノイズN1が存在し、形状K21内において小さい円形のノイズN2が存在する場合を想定する。この場合、図1で説明したように、内接点が2点以上存在する円の中心を結んで形状骨格を作成すると、ノイズN1、N2が加味されることにより、得られる形状骨格MA21が、形状K21の上部と下部とで枝分かれしたものとなってしまい、形状K21の形状を的確に示すものとはならない。
しかしながら、前述した図19や式(1)〜(3)を用いた手法で形状骨格MA22を得た場合は、図18で示すように、形状骨格MA22が形状K21の上部と下部とで枝分かれすることなく、形状K21の形状を的確に表現したものとなる。
以上実施形態について説明したが、本発明は、実施形態に限定されるものではなく、特許請求の範囲の記載された範囲において適宜の変更が可能である。インストルメントパネルの質感評価としてばかりでなく、車両においては、例えば車室内の種々の面を種々の方向から見たものとして図9に示すような特性を得て、その質感を評価することができる。また、例えば、運転席側のドアをあけて運転席に乗り込もうとするとき、目視可能な範囲となる運転席シート、インストルメントパネルのうち運転席側端部、センターコンソール、助手席側ドアの内張部分等が乗り込もうとする者の視野範囲となる。このとき、運転席シートに大きな視覚的骨格特徴量を有する一方、遠い位置にある助手席側ドアの内張部分の視覚的骨格特徴量が小さいときは、視線が近くにある運転製に向きやすいことから、乗り込みにくいデザインとなる(奥行き感小で、この場合は、スポーツカーのように、運転席中心のデザインの上では好ましいものとなる)。逆に、運転席シートの視覚的骨格特徴量が小さい一方、助手席側ドアの内張部分の視覚的骨格特徴量が大きいときは、視線が遠くにある助手席側ドアの内張部分に向きやすくなり、乗り込みやすい設定となる(奥行き感大で、ファミリーカーに好適なデザインとなる)。勿論、車両においては、車室内の評価に限らず、外観デザインの評価に用いることができる。
本発明は、車両に限らず、店舗、室内の種々の調度品等々においても、同様に適用することができる。例えば、店舗のデザイン設計においては、その入り口をいかに目立ちやすくするかや、外部から入り口に向けて視線誘導されやすくする等のために、本発明による評価を利用することができる。また、店舗において、入店したお客を誘導したい席に向けて視線誘導させるために、入り口近くの壁面デザインを工夫する等のことがあり、壁面に例えばディスプレイを設置して、ディスプレイでの表示内容を変更することにより、お客を誘導する(視線移動を促す)方向を適宜変更することもできる。また、例えば浴室のデザイン設計において、その入り口に立って浴室内を向いたときに、どの方向(位置)に視線誘導されやすいのかの検証や、所望方向へ視線誘導するようなデザイン設計(あるいは設計変更)を行う際に本発明を適用できる。以上はあくまで一例であり、本発明による評価を利用して、種々のデザイン設計やその変更を的確に行うことが可能となる。最終的に出力される視覚的骨格特徴量の特性としては、ピーク位置と主成分との両方に限らず、例えば評価対象物の種類等に応じてそのいずれか一方のみであってもよい。勿論、本発明の目的は、明記されたものに限らず、実質的に好ましいあるいは利点として表現されたものを提供することをも暗黙的に含むものである。
本発明は、視覚感度向上による視認のしやすさに関連した評価を客観的に行うことが可能となり、デザイン設計やその変更を的確に行う等の上で好ましいものとなる。
U:コントローラ
S1:カメラ
S11:評価(ディスプレイへの表示)
S12:評価(ディスプレイへの表示)
G1:画像

Claims (9)

  1. 評価対象となる物体を撮像してカラー画像を取得する撮像手段と、
    前記撮像手段で取得された画像中において、見た瞬間に目に付きやすい部分となる視覚特徴部位をそのピクセル毎の視覚的な刺激強さと共に抽出する視覚特徴部位抽出手段と、
    前記視覚特徴部位抽出手段により抽出された複数の視覚特徴部位がなす形状範囲について、画像の各ピクセル毎の視覚的骨格特徴量を決定する視覚的骨格特徴量決定手段と、
    前記視覚的骨格特徴量決定手段により決定された視覚的骨格特徴量を表示する表示手段と、
    を備えていることを特徴とする質感評価システム。
  2. 請求項1において、
    前記視覚特徴部位の種類として、少なくとも輝度、色、方位が含まれている、ことを特徴とする質感評価システム。
  3. 請求項2において、
    前記視覚特徴部位抽出手段は、前記画像に基づいて視覚特徴部位の種類毎に画像を分類して、各分類された各画像毎に視覚特徴部位を抽出した後、各画像毎に抽出された視覚特徴部位を1つの画像に統合する、ことを特徴とする質感評価システム。
  4. 請求項1ないし請求項3のいずれか1項において、
    視覚的骨格特徴量決定手段は、画像の各ピクセル毎に、各ピクセルを中心とすると共に直径の相違する複数の円によって分割された複数の円環状部分を設定して、各円環状部分に含まれるピクセルのもつ視覚的な刺激強さを加算することにより各円環状部分での視覚的な刺激強さを決定して、この各円環状部分での視覚的な刺激強さに基づいて各ピクセル毎の視覚的骨格特徴量を決定する、ことを特徴とする質感評価システム。
  5. 請求項4において、
    前記視覚的骨格特徴量決定手段は、外側の前記円環状部分での視覚的な刺激強さに対して内側にある前記円環状部分での視覚的な刺激強さを順次加算していくことにより、最終的に各ピクセル毎の視覚的骨格特徴量を決定するようにされ、
    前記順次加算の際に、今回の合計値をDmnk+1、前回までの合計値をDmnk、今回加算される円環状部分での視覚的な刺激強さをSmnk、vをパラメータ(1>v>0)としたとき、今回の加算値Dmnk+1が次式(2)でもって算出される(ただし、mnは円環状部分の中心となる座標で、kはサフィックス)、ことを特徴とする質感評価システム。
    Figure 2017224068
  6. 請求項1ないし請求項5のいずれか1項において、
    前記視覚的骨格特徴量決定手段が、視覚的骨格特徴量のピーク位置を決定する、ことを特徴とする質感評価システム。
  7. 請求項1ないし請求項5のいずれか1項において、
    前記視覚的骨格特徴量決定手段が、視覚的骨格特徴量の主成分を決定する、ことを特徴とする質感評価システム。
  8. 請求項1ないし請求項5のいずれか1項において、
    前記視覚的骨格特徴量決定手段が、視覚的骨格特徴量のピーク位置を決定すると共に、視覚的骨格特徴量の主成分を決定する、ことを特徴とする質感評価システム。
  9. 請求項8において、
    評価対象となる前記物体が、車両の内装品とされている、ことを特徴とする質感評価システム。
JP2016117656A 2016-06-14 2016-06-14 質感評価システム Active JP6810996B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016117656A JP6810996B2 (ja) 2016-06-14 2016-06-14 質感評価システム
CN201710428267.4A CN107507238B (zh) 2016-06-14 2017-06-08 纹理评价系统
DE102017112806.9A DE102017112806A1 (de) 2016-06-14 2017-06-09 Texturevaluationssystem
US15/618,222 US10535150B2 (en) 2016-06-14 2017-06-09 Texture evaluation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016117656A JP6810996B2 (ja) 2016-06-14 2016-06-14 質感評価システム

Publications (2)

Publication Number Publication Date
JP2017224068A true JP2017224068A (ja) 2017-12-21
JP6810996B2 JP6810996B2 (ja) 2021-01-13

Family

ID=60419940

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016117656A Active JP6810996B2 (ja) 2016-06-14 2016-06-14 質感評価システム

Country Status (4)

Country Link
US (1) US10535150B2 (ja)
JP (1) JP6810996B2 (ja)
CN (1) CN107507238B (ja)
DE (1) DE102017112806A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019215688A (ja) * 2018-06-12 2019-12-19 国立大学法人神戸大学 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11393166B2 (en) * 2020-04-22 2022-07-19 Adobe Inc. Generating representations to approximate digital shapes using sample circles

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006082979A1 (ja) * 2005-02-07 2006-08-10 Matsushita Electric Industrial Co., Ltd. 画像処理装置および画像処理方法
JP2014167673A (ja) * 2013-02-28 2014-09-11 Dainippon Printing Co Ltd 顕著性分析装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04238116A (ja) * 1991-01-22 1992-08-26 Sony Corp 磁気ディスク
JP4068596B2 (ja) * 2003-06-27 2008-03-26 株式会社東芝 図形処理方法、図形処理装置およびコンピュータ読取り可能な図形処理プログラム
US7580556B2 (en) * 2004-01-26 2009-08-25 Drvision Technologies Llc Image region partitioning using pre-labeled regions
JP2005260725A (ja) 2004-03-12 2005-09-22 Canon Inc 画像評価装置および画像評価機能を有する画像形成装置
JP2006254107A (ja) 2005-03-10 2006-09-21 Olympus Imaging Corp 画像評価装置、画像評価プログラム、画像評価プログラムを記録する記録媒体、画像評価方法
US8229164B2 (en) * 2006-07-10 2012-07-24 Synthesis Corporation Pedestrian tracking method and pedestrian tracking device
KR101509003B1 (ko) * 2011-12-16 2015-04-07 도꾸리쯔교세이호징 가가꾸 기쥬쯔 신꼬 기꼬 특징량 추출 방법, 피사체 분류 방법, 피사체 판별 방법, 특징량 추출 장치, 피사체 분류 장치, 피사체 판별 장치, 특징량 추출·피사체 분류 및 피사체 판별 프로그램, 및 그 프로그램을 기록한 기록 매체
CN102722888A (zh) * 2012-05-22 2012-10-10 天津大学 基于生理与心理立体视觉的立体图像客观质量评价方法
EP2862113B1 (en) * 2012-06-19 2019-10-30 Health Discovery Corporation Computer-assisted karyotyping
US10204432B2 (en) * 2014-06-12 2019-02-12 Interdigital Ce Patent Holdings Methods and systems for color processing of digital images
JP6241672B2 (ja) 2014-12-19 2017-12-06 二村 芳弘 抗ウイルス作用を呈するエラグ酸誘導体及びその製造方法
KR102534792B1 (ko) * 2015-02-10 2023-05-19 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 약도
CN106683072B (zh) * 2015-11-09 2020-02-21 上海交通大学 一种基于pup图的3d图像舒适度质量评价方法及系统
US10599926B2 (en) * 2015-12-16 2020-03-24 Regents Of The University Of Minnesota Automated detection of nitrogen deficiency in crop
CN105631932B (zh) * 2015-12-22 2018-06-12 北京航空航天大学 一种轮廓线指导的三维模型重构造方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006082979A1 (ja) * 2005-02-07 2006-08-10 Matsushita Electric Industrial Co., Ltd. 画像処理装置および画像処理方法
JP2014167673A (ja) * 2013-02-28 2014-09-11 Dainippon Printing Co Ltd 顕著性分析装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019215688A (ja) * 2018-06-12 2019-12-19 国立大学法人神戸大学 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム
JP7168953B2 (ja) 2018-06-12 2022-11-10 国立大学法人神戸大学 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム

Also Published As

Publication number Publication date
US10535150B2 (en) 2020-01-14
JP6810996B2 (ja) 2021-01-13
CN107507238A (zh) 2017-12-22
DE102017112806A1 (de) 2017-12-14
US20170358097A1 (en) 2017-12-14
CN107507238B (zh) 2020-09-25

Similar Documents

Publication Publication Date Title
US10896335B2 (en) Adaptive transparency of virtual vehicle in simulated imaging system
US9100554B2 (en) Method for displaying an image on a display device in a vehicle, driver assistance system and vehicle
DE102015214744B4 (de) Head-up-Display-System und Verfahren zum Kalibrieren eines Head-up-Display-Systems
JP4135123B2 (ja) 表示処理装置
US10489981B2 (en) Information processing device, information processing method, and program for controlling display of a virtual object
JP5482737B2 (ja) 視認負荷量推定装置、運転支援装置、および視認負荷量推定プログラム
US9826166B2 (en) Vehicular surrounding-monitoring control apparatus
DE112014004212T5 (de) Vorrichtung und Verfahren, Programm und Speichermedium zur Gestenbedienung
JP2007241740A (ja) 車両周辺監視装置
EP1617371A2 (de) Verfahren zur Kennzeichnung von Bildinformationen in der Darstellung eines mit einer fahrzeugseitigen Bildaufnahmeeinrichtung aufgenommenen Nachtsichtbildes und zugehöriges Nachtsichtsystem
JP2012148710A (ja) 画像表示装置
US20220083786A1 (en) Method and system for monitoring a person using infrared and visible light
JP2007323578A (ja) 車両周辺監視装置
EP3456574A1 (en) Method and system for displaying virtual reality information in a vehicle
JP2014015127A (ja) 情報表示装置、情報表示方法およびプログラム
CN106405837A (zh) 用于在平视显示器上显示信息的方法和系统
CN107507238B (zh) 纹理评价系统
JP2016111509A (ja) 車両用画像処理装置、車両用画像処理方法およびプログラム
CN108693962B (zh) 模拟环境显示系统及方法
JP2016170688A (ja) 運転支援装置及び運転支援システム
JP5521275B2 (ja) 車両用表示装置および車両用表示方法
CN111241946B (zh) 一种基于单dlp光机增大fov的方法和系统
JP2005071041A (ja) 運転者視対象検出装置及び運転者視対象検出システム
CN111016786A (zh) 基于3d视线估计的汽车a柱遮挡区域显示方法
JP7371419B2 (ja) 運転支援システムおよび運転支援プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190604

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201211

R150 Certificate of patent or registration of utility model

Ref document number: 6810996

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250